在ThinkPHP6中使用Mysql进行大批量数据导入

2023年 8月 5日 78.6k 0

随着数据量不断增加,许多企业需要将大量数据导入到数据库中。但是对于开发人员来说,如何高效地进行数据导入,却是一个值得探讨的问题。在本文中,我们将介绍如何在ThinkPHP6框架中使用Mysql进行大批量数据导入。

  • 准备数据
  • 在开始导入之前,我们需要准备好数据。数据可以以CSV、Excel等格式导出,也可以直接由代码生成。在本文中,我们将使用代码生成数据。

    先来创建一个数据表user

    CREATE TABLE `user` (
    `id` int(11) NOT NULL AUTO_INCREMENT,
    `name` varchar(255) DEFAULT NULL,
    `age` int(11) DEFAULT NULL,
    `created_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
    `updated_at` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
    PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

    登录后复制

    然后编写以下代码生成1000条数据:

    use thinkacadeDb;

    // 生成测试数据
    $data = [];
    for ($i = 1; $i 'User' . $i,
    'age' => mt_rand(18, 60),
    ];
    }

    // 批量插入数据
    Db::name('user')->insertAll($data);

    登录后复制

  • 使用Mysql的LOAD DATA功能导入数据
  • Mysql提供了一个非常方便的功能LOAD DATA,可以将数据从文件导入到表中。我们只需要将数据保存到一个CSV文件中,然后使用LOAD DATA命令将数据导入到表中。

    首先,将所有数据保存到CSV文件中。在本例中,我们将数据保存到user.csv文件中:

    use thinkacadeDb;

    $data = Db::name('user')->select();

    $fp = fopen('user.csv', 'w');

    //写数据到CSV文件中
    foreach ($data as $item) {
    fputcsv($fp, [$item['name'], $item['age']]);
    }

    fclose($fp);

    登录后复制

    然后使用以下代码将数据导入到数据库中:

    use thinkacadeDb;

    $filename = 'user.csv';

    $sql = select();

    $limit = 500;
    $total = count($data);
    for ($i = 0; $i insertAll(array_slice($data, $i, $limit));
    }

    登录后复制

    在上述代码中,我们使用循环的方式将数据分批插入。每次最多插入500条数据,直到全部完成。

    总结:

    在ThinkPHP6中进行大批量数据导入,可能会遇到内存溢出、性能瓶颈等问题,但是通过使用Mysql的LOAD DATA功能、TP6自带的批量插入功能、手动分批插入数据等方法,可以有效提高数据导入的效率。在实际开发过程中,需要根据情况选择合适的方法,以达到最优的导入效果。

    以上就是在ThinkPHP6中使用Mysql进行大批量数据导入的详细内容,更多请关注每日运维网(www.mryunwei.com)其它相关文章!

    相关文章

    JavaScript2024新功能:Object.groupBy、正则表达式v标志
    PHP trim 函数对多字节字符的使用和限制
    新函数 json_validate() 、randomizer 类扩展…20 个PHP 8.3 新特性全面解析
    使用HTMX为WordPress增效:如何在不使用复杂框架的情况下增强平台功能
    为React 19做准备:WordPress 6.6用户指南
    如何删除WordPress中的所有评论

    发布评论