C#中使用HtmlAgilityPack解析HTML字符串与提取数据

Jasper

发布时间：2026-10-14 | 4人浏览过

原创

在C#开发中处理非标准HTML或需要提取特定网页内容时，HtmlAgilityPack是一个轻量且高效的工具。本文将演示如何通过引入该库，利用XPath语法精准定位并抓取HTML文档中的目标节点数据。

准备工作

要在项目中使用HtmlAgilityPack，首先需要确保环境中已包含该库。推荐使用NuGet包管理器进行安装，这是管理.NET第三方依赖的标准方式：

Install-Package HtmlAgilityPack

安装完成后，在需要使用的代码文件头部添加对相应命名空间的引用：

using HtmlAgilityPack;

基本操作流程

第1步：获取或定义HTML源数据

HtmlAgilityPack的解析入口是HtmlDocument类。首先需要将待处理的HTML源码以字符串形式传入，或通过LoadHtml方法加载。为了模拟真实场景，可以通过简单的HTTP请求获取网页内容，也可直接使用硬编码的测试字符串。

第2步：加载文档并定位节点

创建HtmlDocument实例后，调用LoadHtml(htmlString)即可解析HTML结构。接着，使用SelectNodes方法配合XPath表达式筛选目标节点。XPath能够精确匹配标签属性、层级关系等条件。

以下完整示例展示了如何获取指定URL的HTML，并提取表格中的数据（假设目标元素为class="dataintable"的table）：

static void Main(string[] args)
{
    // 1. 获取 HTML 源码
    string html = GetHtml("https://www.jb51.net");

    // 2. 创建文档对象并加载 HTML
    HtmlDocument doc = new HtmlDocument();
    doc.LoadHtml(html);

    // 3. 根节点访问
    HtmlNode node = doc.DocumentNode;

    // 4. 使用 XPath 选择特定元素 (例如: class='dataintable' 的 table)
    // 注意：SelectNodes 返回 NodeList，需检查是否为空以防止索引越界
    var nodes = node.SelectNodes("//table[@class='dataintable']");
    if (nodes != null && nodes.Count > 0)
    {
        // 获取第一个匹配的元素
        HtmlNode div = nodes[0];
        
        // 5. 输出结果
        Console.WriteLine(div.InnerHtml);
    }

    Console.Read();
}

/// <summary>
/// 简单的 HTTP 请求获取页面源码
/// </summary>
static string GetHtml(string url)
{
    try
    {
        WebRequest request = WebRequest.Create(url);
        using (WebResponse res = request.GetResponse())
        using (StreamReader sr = new StreamReader(res.GetResponseStream(), Encoding.UTF8))
        {
            return sr.ReadToEnd();
        }
    }
    catch (Exception ex)
    {
        Console.WriteLine($"请求失败: {ex.Message}");
        return "";
    }
}

关键注意事项

XPath语法：XPath是Web开发和DOM操作的核心技能，熟练掌握如//tag[@attr='value']的写法能极大提升提取效率。
异常处理：在实际爬虫开发中，网页结构可能随时变化，务必在访问数组索引前判断SelectNodes返回的结果集合是否为null或Count为0。
资源释放：WebRequest和WebResponse等实现IDisposable接口的对象，建议使用using语句包裹，以确保网络连接被正确关闭。