PHP实现百万级数据分表：1亿条数据拆分至MySQL 100张表的实战

周叙

发布时间：2026-10-13 | 2人浏览过

原创

当数据库面临亿级数据压力时，单表读写性能往往成为瓶颈。本文将演示如何利用PHP编写脚本，通过哈希算法（CRC32）将数据均匀分散到100张子表中，并利用MySQL的MERGE存储引擎实现统一视图查询，从而提升大数据量下的存储效率与检索速度。

结果与目标

在单机或常规服务器环境下，单张MySQL表处理超过千万级甚至上亿条记录时，索引维护与全表扫描的性能会显著下降。本方案的目标是建立一套基于应用层哈希规则的分表机制，将数据物理隔离到多个结构相同的子表中，同时保持业务层对“虚拟总表”的透明访问。

准备条件

MySQL环境：支持MyISAM或InnoDB引擎，建议使用较新版本以获取更好的性能优化。
数据类型：假设数据包含唯一标识符（如full_code）和创建时间（create_time）。
数量设定：本例设定为1亿条数据，划分为100张分表（code_0 至 code_99）。

真实操作顺序

第1步：批量创建子表结构

首先需要在数据库中创建100张结构一致的空表。每张表包含主键字段、时间戳以及必要的索引。使用MYISAM或InnoDB均可，但需注意事务需求。

$i=0;
while($i<=99){
    $sql = "CREATE TABLE `code_".$i."` (
        `full_code` char(10) NOT NULL,
        `create_time` int(10) unsigned NOT NULL,
        PRIMARY KEY (`full_code`)
    ) ENGINE=MyISAM DEFAULT CHARSET=utf8";
    // 注意：旧版mysql_query已废弃，现代PHP建议使用PDO或mysqli
    mysql_query($sql);
    $i++; 
}

第2步：实现数据分片哈希算法

确定数据应落入哪张表的核心在于哈希函数。我们使用crc32对主键值进行计算，取正数后对表总数（100）取模，确保数据分布相对均匀且可预测。

function get_hash_table($table, $code, $s=100){
    // sprintf("%u", crc32($code)) 确保结果为无符号整数，避免负数导致fmod异常
    $hash = sprintf("%u", crc32($code));
    $hash1 = intval(fmod($hash, $s));
    return $table."_".$hash1;
}

// 使用示例：
$targetTable = get_hash_table('code', 'A1B2C3D4E5');
// 返回类似 code_72 的表名

第3步：写入数据路由

在业务代码中插入数据前，先调用上述函数获取目标表名，然后将数据插入对应的code_N表中。这样实现了数据的物理分散。

$fullCode = 'USER_CODE_001';
$tableName = get_hash_table('code', $fullCode);
$sql = "INSERT INTO `$tableName` (full_code, create_time) VALUES ('$fullCode', UNIX_TIMESTAMP())";
// 执行插入...

第4步：创建Merge表实现聚合查询

为了方便管理，可以创建一个使用MERGE（或MRG_MYISAM）存储引擎的虚拟总表。该表不存储实际数据，而是作为指向所有子表的逻辑入口。这样可以通过SELECT * FROM code直接查询所有数据。

CREATE TABLE IF NOT EXISTS `code` (
    `full_code` char(10) NOT NULL,
    `create_time` int(10) unsigned NOT NULL,
    INDEX(full_code)
) TYPE=MERGE UNION=(code_0,code_1,code_2,code_3,code_4,code_5,code_6,code_7,code_8,code_9,code_10,code_11,code_12,code_13,code_14,code_15,code_16,code_17,code_18,code_19,code_20,code_21,code_22,code_23,code_24,code_25,code_26,code_27,code_28,code_29,code_30,code_31,code_32,code_33,code_34,code_35,code_36,code_37,code_38,code_39,code_40,code_41,code_42,code_43,code_44,code_45,code_46,code_47,code_48,code_49,code_50,code_51,code_52,code_53,code_54,code_55,code_56,code_57,code_58,code_59,code_60,code_61,code_62,code_63,code_64,code_65,code_66,code_67,code_68,code_69,code_70,code_71,code_72,code_73,code_74,code_75,code_76,code_77,code_78,code_79,code_80,code_81,code_82,code_83,code_84,code_85,code_86,code_87,code_88,code_89,code_90,code_91,code_92,code_93,code_94,code_95,code_96,code_97,code_98,code_99) INSERT_METHOD=LAST;

注意：Merge表仅适用于读多写少或特定分析场景，且要求所有子表结构完全一致。由于本例子表已定义主键，建议在使用Merge表时谨慎测试复杂查询性能。