PHP导入大量数据到MySQL的性能优化技巧

问题背景与分析

在实际项目中，假设我们需要从一个包含电话号码的 txt 文件中读取数据，并根据特定规则将其导入 MySQL 数据库。数据库表结构较为简单，主要包含两个字段：存储电话号码的 tel 字段和表示状态的 type 字段（例如：c 代表已拨通，d 代表未拨通等）。

导入逻辑通常如下：

1. 读取 txt 文件，解析出电话号码数组。
2. 遍历数组，逐一检查该号码是否已在数据库中存在。
3. 如果不存在，则执行 INSERT 操作插入新记录；如果存在，则可能需要更新状态或跳过。

在这种逻辑下，每次循环都会产生一次独立的数据库交互。对于少量的数据，这种方式尚可接受；但当数据量达到一万条甚至更多时，成千上万次的网络往返和执行计划解析将成为巨大的开销。

低效实现：逐条插入

许多初学者会采用最直观的“一行一查、一行一插”的方式。以下是典型的错误写法：

$array = explode("\n", file_get_contents("phone.txt")); // 假设这是从文件读取的电话号码数组
$str = 'c'; // 状态值
$usertable = "user_table";

foreach ($array as $tel) {
    $tmpstr = "'" . addslashes($tel) . "','" . addslashes($str) . "'";
    $sql = "INSERT INTO $usertable (tel, type) VALUES ($tmpstr)";
    mysql_query($sql); // 注意：这里使用了废弃的mysql_*函数，仅作历史参考
}

问题分析： 虽然每次 INSERT 语句本身很快，但在 PHP 脚本执行过程中，每行代码都意味着一次与 MySQL 服务的通信。在处理 15000 条记录时，这种累积延迟可能导致整个导入过程耗时超过 30 分钟，这显然是不可接受的。

优化方案：批量插入（Batch Insert）

要解决上述性能问题，核心思路是尽可能减少数据库写入次数。MySQL 允许在一条 INSERT 语句中插入多行数据，这不仅能减少网络 IO，还能让数据库引擎更高效地处理事务。

第 1 步：构建批量 SQL 语句

我们可以将所有的数据组合成一个单一的 SQL 字符串，使用逗号分隔每一行的值。语法格式为：INSERT INTO table (col1, col2) VALUES (val1, val2), (val3, val4), ...;

以下是优化后的 PHP 代码实现：

$array = explode("\n", file_get_contents("phone.txt"));
$str = 'c';
$usertable = "user_table";

// 初始化 SQL 语句头部
$sql2 = "INSERT INTO $usertable (tel, type) VALUES";

// 遍历数据，拼接 VALUES 部分
foreach ($array as $tel) {
    $tmpstr = "'" . addslashes($tel) . "','" . addslashes($str) . "'";
    $sql2 .= "($tmpstr),";
}

// 去除最后一个多余的逗号
if (substr($sql2, -1) == ',') {
    $sql2 = substr($sql2, 0, -1);
}

// 执行单一的大规模插入操作
mysql_query($sql2);

第 2 步：参数处理与安全提醒

在上述示例中，我们使用了 addslashes() 来简单转义字符串，以防止 SQL 注入风险。但在生产环境中，建议始终使用预处理语句（Prepared Statements），例如通过 PDO 或 MySQLi 扩展来实现更安全的数据绑定。不过，即便是使用预处理语句进行批量插入，其底层也是通过组装单个大的 INSERT 语句或利用 LOAD DATA INFILE 等方式来提升速度。

第 3 步：处理超长 SQL 的限制

虽然批量插入能极大提升速度，但需要注意 MySQL 的配置参数 max_allowed_packet。如果一次性生成的 SQL 字符串体积超过了该参数的限制，数据库可能会报错拒绝执行。对于超大规模数据（如百万级），建议分批次插入，例如每 1000 或 5000 条记录组装成一批执行。

性能对比测试结果

根据实际测试场景，针对 15000 条电话记录的数据导入任务：

• 优化前（逐条插入）： 累计执行 15000 次独立 SQL 请求，总耗时约 5 分钟（不含额外的判断逻辑时间）。
• 优化后（批量插入）： 仅执行 1 次 SQL 请求，总耗时仅需约 10 秒。

可以看出，通过将写入次数从上万次降低到 1 次，处理效率提升了数十倍。即使加上之前的去重判断逻辑，整体导入速度也有了质的飞跃。

总结

在进行 PHP 和 MySQL 的数据交互时，面对大数据量的导入需求，务必避免在循环中进行单条数据库操作。通过构建批量插入语句（Batch Insert），可以显著减少数据库连接的开销和执行计划解析的成本。这是一种简单却极其有效的性能优化手段，值得在所有涉及高频写入库操作的场景中被应用。