PHP结合Snoopy与DOMDocument解析网页内容

江屿

发布时间：2026-10-14 | 3人浏览过

原创

本示例演示了如何在PHP中利用Snoopy组件抓取网页HTML源码，并通过DOMDocument和DOMXPath精准定位目标节点。核心步骤包括：初始化Snoopy客户端、执行fetch获取页面内容、加载HTML文档对象模型，以及遍历指定ID的元素以提取内部数据（如图片资源）。该方法适用于需要处理轻量级页面结构或提取嵌入式脚本数据的场景。

准备条件

在开始之前，请确保你的PHP环境已安装并引入 Snoopy.php 库文件。该代码片段主要依赖PHP内置的DOM扩展，通常无需额外安装即可使用。确保运行脚本的用户对目标目录具有写入权限，以便保存提取的文件。

真实操作顺序

第1步：设置环境与引入类库

首先，解除PHP脚本的时间限制以防止长时间请求超时，并设置正确的字符编码。接着，引入Snoopy类文件并进行实例化，这是发起HTTP请求的关键。

目的：配置运行环境并初始化网络请求工具。
入口：脚本头部。
动作：调用 set_time_limit(0) 去除时间上限，设置 header 为UTF-8，并使用 require_once 加载类库。
重要参数：'./Snoopy.php' 是类文件路径。
完成状态：$snoopy 变量成功指向一个Snoopy对象实例。

set_time_limit(0);
header("content-Type: text/html; charset=utf-8");
require_once './Snoopy.php';
$snoopy = new Snoopy();

第2步：发起网页请求并获取结果

构造目标URL，调用Snoopy的 fetch 方法获取网页原始内容。注意URL中的参数格式，例如分页信息通常通过查询字符串传递。

目的：从指定网站获取HTML源码。
入口：逻辑起始处。
动作：定义 $uri，执行 $snoopy->fetch($uri)，并通过 getResults() 接收返回的字符串内容。
重要参数：$uri 需包含完整的协议、域名及路径（如 ?page=1）。
完成状态：$con 变量存储了完整的HTML源代码文本。

$uri = 'http://www.juzimi.com/meitumeiju?page=1';
$snoopy->fetch($uri);
$con = $snoopy->getResults();

第3步：加载HTML文档对象模型 (DOM)

将获取到的HTML字符串加载到 DOMDocument 中，从而允许通过标准的DOM API进行树形结构的导航和查询。这对于解析复杂的HTML层级非常有效。

目的：将纯文本HTML转换为可编程的对象模型。
入口：数据处理阶段。
动作：实例化 new DOMDocument() 并调用 loadHTML($con) 填充数据。
重要参数：$con 为上一步获取的HTML字符串。
完成状态：$doc 变量持有可操作的DOM文档树。

$doc = new DOMDocument();
$doc->loadHTML($con);

第4步：查询目标节点并提取数据

使用 DOMXPath 根据特定的CSS选择器或XPath表达式查找元素。在本例中，目标是ID为 bdshare 的容器。遍历找到的元素，从中提取JSON格式的元数据，并将其中的资源保存到本地。

目的：精确定位并解析嵌套在HTML中的关键数据块。
入口：循环处理模块。
动作：
a. 创建 DOMXPath 对象并查询 //*[@id="bdshare"]。
b. 对每个匹配元素，使用 saveHTML() 获取其HTML片段。
c. 通过字符串搜索 (stripos) 定位JSON数据的起止位置，截取并修正引号为标准双引号。
d. 使用 json_decode() 解析JSON获取图片地址和描述。
e. 下载图片文件并存入指定目录。
重要参数：'//*[@id="bdshare"]' 是查询路径；/Uploads/... 是保存路径模板。
完成状态：匹配节点内的结构化数据被成功解析，相关资源文件已落盘。

$result = [];
$i = 0;
foreach( ( new DOMXPath( $doc ) )->query( '//*[@id="bdshare"]' ) as $element ) {
  $row = $doc->saveHTML($element);
  // 简单策略：寻找JSON包裹符提取内容
  $start = stripos($row, '{');
  $end = stripos($row, '}');
  if ($start !== false && $end !== false) {
      $len = $end - $start + 1;
      $json = substr($row, $start, $len);
      $json = str_replace("'", '"', $json); // 单引号转双引号
      
      $obj = json_decode($json);
      if ($obj && isset($obj->pic)) {
          $pic = $obj->pic;
          $filename = '/Uploads/meiju/card' . date('ymdhis') . $i . '.png';
          $file = '/alidata/www/test' . $filename;
          
          // 注意：实际生产中应检查 file_get_contents 是否成功
          $image = file_get_contents($pic);
          file_put_contents($file, $image);
          $i++;
      }
  }
}