PHP Curl并发优化：从经典模式到滚动并发

传统CURL并发的局限性与资源浪费

在标准的PHP cURL多句柄（Multi-Handle）应用中，最常见的实现逻辑是将所有待访问的URL初始化后加入并发队列，启动执行，然后在循环中持续轮询，直到所有句柄都获取到数据后，统一进行后续的数据解析与业务处理。

这种模式虽然在代码结构上简单直接，但在实际的网络请求场景中存在明显的缺陷。受限于目标服务器的响应速度和网络传输的抖动，各个URL的请求耗时差异巨大。经典并发机制必须阻塞主线程，强制等待最慢的那个请求返回后，才能触发数据处理环节。

核心痛点：如果某个链接响应极慢，那么已经率先返回的其他几十上百个请求的结果都必须被迫处于内存缓存中等待，不仅占用系统内存，更关键的是浪费了宝贵的CPU周期和网络连接释放时间。对于大规模并发（如上千个URL），这种“木桶效应”带来的延迟是难以接受的。

改进的Rolling CURL并发机制原理

为了克服上述等待造成的性能损耗，我们可以采用Rolling CURL（滚动并发）的设计思想。其核心逻辑在于：当任意一个子请求完成时，立即触发回调函数处理该数据，并在同一时刻去检查是否还有新的请求需要入队或继续轮询其他未完成的任务。

这种方法实现了真正的“流式处理”，即处理速度与最快/平均响应时间的节点绑定，而不是被最慢的节点拖拽。它消除了因等待长尾响应而产生的空闲期，提高了整体的吞吐量。

第1步：初始化并发环境

首先需要创建cURL multi句柄以及一个用于映射句柄与URL对应关系的数组。

$queue = curl_multi_init();
$map = array();

foreach ($urls as $url) {
    $ch = curl_init();
    // 设置基础选项
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_TIMEOUT, 5); 
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    // 防止超时信号错误
    curl_setopt($ch, CURLOPT_NOSIGNAL, true);

    curl_multi_add_handle($queue, $ch);
    // 记录句柄对应的URL，便于回传结果时匹配
    $map[(string) $ch] = $url;
}

第2步：构建实时监听与处理循环

这是Rolling机制的关键部分。利用 curl_multi_info_read() 函数可以获取刚刚完成的句柄信息，从而实现在循环中动态移除已完成的任务并处理数据。

$responses = array();

// 进入外部循环，只要仍有活跃句柄则继续
while (true) {
    // 执行内部操作
    do {
        $mrc = curl_multi_exec($queue, $active);
    } while ($mrc == CURLM_CALL_MULTI_PERFORM);

    // 如果没有操作且没有活跃句柄，则退出
    if ($active === 0 && $mrc != CURLM_CALL_MULTI_PERFORM) break;

    // 如果有活跃句柄，让程序暂时休眠以节省CPU
    if ($active > 0) {
        curl_multi_select($queue, 0.5);
    }

    // 核心步骤：读取已完成的句柄信息
    while ($done = curl_multi_info_read($queue)) {
        $info = curl_getinfo($done['handle']);
        $error = curl_error($done['handle']);
        $results = curl_multi_getcontent($done['handle']);
        
        // 对单个请求结果进行处理（例如正则提取、存储等）
        // callback函数的定义见下文
        $processed_result = process_response($results, $delay);
        
        // 将结果存入最终数组，键为原始URL
        $key = $map[(string) $done['handle']];
        $responses[$key] = [
            'info' => $info,
            'error' => $error,
            'data' => $processed_result
        ];

        // 清理当前完成的句柄
        curl_multi_remove_handle($queue, $done['handle']);
        curl_close($done['handle']);
    }
}

curl_multi_close($queue);
return $responses;

性能对比与最佳实践建议

为了验证Rolling机制的有效性，我们模拟了对多个淘宝商品详情页的并发抓取，并根据数据处理的耗时（Callback Delay）进行了两组测试。

• 无延迟回调测试： 当仅对HTML内容做简单的字符串匹配而无额外计算耗时，两种方式性能差距不大，因为瓶颈在于网络IO而非CPU处理。
• 带有5ms人工延迟回调测试： 模拟了真实的文本解析、分词或数据库写入动作。结果显示，Rolling CURL比经典并发模式快了约40%。

为什么会有如此大的提升？ 在经典的模式中，处理下一个请求必须等上一批全部下载完；而在Rolling模式中，一旦第一个数据包到达并解析完毕，就可以立即开始下一个网络请求的接收，或者处理队列中积压的计算任务，实现了并行度的最大化。

关于超大数据量的控制： 当URL列表非常庞大（例如超过1000个）时，为了防止瞬间打开过多连接导致服务器崩溃或被封禁，可以在Rolling机制的基础上增加并发上限控制（Max Runs）。每当有一个请求完成并从队列中移出时，再从剩余未发送的URL列表中取出一个新的加入队列。这种动态平衡的策略既利用了Rolling的高效率，又保证了系统的稳定性。