Navicat导出百万级数据时，报错：2013 - Lost connection to MySQL server during query
网上一番搜索，修改mysql如下几处配置文件即可：
-
select @@sql_mode;
-
SET sql_mode=(
SELECT
REPLACE(@@sql_mode,
'ONLY_FULL_GROUP_BY',
''));
-
-
4194304
-- 2013 - Lost connection to MySQL server during query
-
select @@max_allowed_packet;
-
show
global
variables
like
'max_allowed_packet';
-
-- SET max_allowed_packet = 524288000
-
SET
GLOBAL max_allowed_packet =
524288000
操作成功结果如下：
另一个VPN远端数据库（MySQL5.6.x）导出结果csv：
最近做数据处理时的一点感触：
1、网络IO对程序的影响真的很大，通过VPN插入更新数据比本机操作MySQL速度要慢数十倍；
如19114条数据，通过VPN网络操作DB用了164.2s，本地数据库操作使用了2.9s。（50+倍）
2、索引真的很重要，百万级别的操作速度可相差好几百倍；
创建索引前，查询一百多万条数据用了481.3s，创建增加索引用了12.7s，创建索引后用了0.9s。（500+倍）
PS：一些设置方法：
-
SELECT
version();
-
SHOW
engines;
-
SHOW
variables
like
'%storage_engine%';
-
-
MySQL设置session,global变量的方法
-
SHOW
VARIABLES
LIKE
'%auto_increment%';
-
-- SET GLOBAL auto_increment_offset = 1;
-
-- SET GLOBAL auto_increment_increment = 1;
-
-- -- 设置或修改系统日志有效期
-
SHOW
VARIABLES
LIKE
'%expire_logs_days%';
-
-- SET GLOBAL expire_logs_days=8;
-
SHOW
VARIABLES
LIKE
'%max_connections%'
-
-- SET GLOBAL max_connections = 2648;
-
如果要修改全局变量, 必须要显示指定
"GLOBAL"或者
"@@global.", 同时必须要有SUPER权限
-
set
global wait_timeout=
100;
-
set @@global.wait_timeout=
100;
-
select @@global.wait_timeout
-
show
global
variables
like
'wait_timeout';
-
-
其中
show
variables的话就等同于使用
show
session
variables, 查询的是会话
session变量, 只有使用
show
global
variables查询的才是全局变量.
-
-
设置会话变量方法: 在命令行里通过
SET来设置
-
set wait_timeout=
10;
-
set
session wait_timeout=
10;
-
set @@wait_timeout=
10;
-
set @@session.wait_timeout=
10;
-
查看设置是否成功:
-
select @@wait_timeout;
-
select @@session.wait_timeout;
-
show
variables
like
'wait_timeout';
-
show
session
variables
like
'wait_timeout';
-
将会话变量值设置为对应的全局变量值:
-
set @@session.wait_timeout=@@global.wait_timeout;
-
-
-
SHOW
KEYS
FROM user_csv_bak;
-
SHOW
INDEX
FROM user_csv_bak;
