mysql中迅速插入百万条测试数据的方法

2023年 4月 21日 55.3k 0

对比一下,首先是用 mysql 的存储过程弄的: 复制代码 代码如下: mysqldelimiter $ mysqlSET AUTOCOMMIT = 0$$ mysql create procedure test() begin declare i decimal (10) default 0 ; dd:loop INSERT INTO `million` (`categ_id`,

对比一下,首先是用 mysql 的存储过程弄的: 复制代码 代码如下: mysql>delimiter $ mysql>SET AUTOCOMMIT = 0$$ mysql> create procedure test() begin declare i decimal (10) default 0 ; dd:loop INSERT INTO `million` (`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `add_date`, `picture_url`, `thumb_url`, `is_display_front`, `create_html_time`, `hit`, `buy_sum`, `athor`, `templete _style`, `is_hot`, `is_new`, `is_best`) VALUES (268, 2, '0,262,268,', 0, '2342', '423423', '123123', '2012-01-09 09:55:43', 'upload/product/20111205153432_53211.jpg', 'upload/product/thumb_20111205153432_53211.jpg', 1, 0, 0, 0, 'admin', '0', 0, 0, 0); commit; set i = i+1; if i= 1000000 then leave dd; end if; end loop dd ; end;$ mysql>delimiter ; mysql> call test; 结果 mysql> call test; Query OK, 0 rows affected (58 min 30.83 sec) 非常耗时。 于是我又找了一个方法 先用PHP代码生成数据,再导入: 复制代码 代码如下: <?php $t=mktime(); set_time_limit(1000); $myFile="e:/insert.sql"; $fhandler=fopen($myFile,'wb'); if($fhandler){ $sql="268\t2\t'0,262,268,'\t0\t '2342'\t'423423'\t'123123'\t'23423423'\t'2012-01-09 09:55:43'\t'upload/product/20111205153432_53211.jpg'\t'upload/product/thumb_20111205153432_53211.jpg'\tNULL\tNULL\t38\t'件'\t''\t123\t123\t0"; $i=0; while($i<1000000)//1,000,000 { $i++; fwrite($fhandler,$sql."\r\n"); } echo"写入成功,耗时:",mktime()-$t; } 然后再导入 复制代码 代码如下: LOAD DATA local INFILE 'e:/insert.sql' INTO TABLE tenmillion(`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `description`, `add_date`, `picture_url`, `thumb_url`, `shop_url`, `shop_thumb_url`, `brand_id`, `unit`, `square_meters_unit`, `market_price`, `true_price`, `square_meters_price`); 注意字段不再以逗号分割,以\t分割,条记录以\r\n分割。结果我插入10次数据,100W平均只要1分钟搞定。 第二种方式mysql中间省略了很多中间步骤,导致插入速度远胜于第一种,具体的没有研究。 快速生成mysql上百万条测试数据由于测试需要,原表中只有1万条数据,现在随机复制插入记录,快速达到100万条。 itemid是主键。 运行几次下面代码。随机取1000条插入, insert into downitems (chid,catid,softid,....) SELECT chid,catid,softid... FROM `downitems` WHERE itemid >= (SELECT floor(RAND() * (SELECT MAX(itemid) FROM `downitems`))) ORDER BY itemid LIMIT 1000; 然后可以修改1000的数字了。改为5000或者1万。很快可以达到100万的数据量了。

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论