Python爬取微信公众号文章:API接口与网页抓取两种方法

江岸
江岸
发布时间:2026-11-20 | 13人浏览过
原创

本文详细讲解使用Python爬取微信公众号文章的两种主流实用方案:基于微信公众平台后台API接口与基于搜狗微信网页自动化抓取,涵盖核心原理、完整代码示例、反爬对策及选型对比。

微信公众号由于其封闭的内容生态与严格的反爬安全机制,一直是网络数据采集中技术壁垒较高的目标。实现微信公众号文章的自动化采集,业界主要演化出两条成熟路径:基于公众平台管理后台的官方搜索API接口与基于搜狗微信搜索入口的网页自动化抓取。前者依靠后台图文检索机制获取原生结构化数据,速度快且质量高;后者借助网页搜索引擎与浏览器模拟,无需公众号管理权限。本文将逐层拆解这两种方案的技术原理、实现步骤、完整代码及反爬防护应对策略。

一、微信公众号文章生态与反爬机制原理

在编写抓取代码前,必须先看清微信文章的技术载体与其防御壁垒。公众号文章本质上是一套受控的 Web 页面,但它并不向普通公开网络直接暴露完整的历史列表分页接口。微信文章的分发依赖两套不同的核心参数链路:

  • 永久唯一标识参数:包括代表公众号唯一身份的 __biz、代表文章消息批次的 mid、文章内部位置序列 idx 以及内容校验签名的 sn。这四个参数共同锚定了一篇独立文章。
  • 动态鉴权会话参数:在微信客户端或公众平台内部流转时,伴随携带 key、pass_ticket、appmsg_token 等时效性极强的校验串。缺少这些动态串,部分接口将拒绝下发阅读数、点赞数乃至历史图文列表。

此外,微信文章内的多媒体资源(尤其是图片)普遍采用 data-src 懒加载机制,且图片域名 mmbiz.qpic.cn 设置了 Referer 检查,未正确处理时易出现“此图片来自微信公众平台,未经允许不可引用”的占位图。

Python爬取微信公众号文章:API接口与网页抓取两种方法
图1:微信公众号文章数据链路、处理流程与主要风控防护分布

二、方法一:基于微信公众平台后台 API 接口抓取

这是目前针对特定目标公众号进行历史文章批量抓取时最稳定、结构最规范的技术手段。任何拥有普通个人订阅号或服务号的开发者,都可以在公众号后台利用“新建图文素材 -> 插入超链接”功能,调用微信官方后台提供的图文检索接口。

1. 运作原理与关键参数

在公众平台写文章时,编辑器支持搜索其他公众号的文章并引用其链接。该过程实际上向服务端发送了两个关键接口请求:

  1. /cgi-bin/searchbiz:根据输入的公众号名称(如“Python猫”或特定微信号),搜索并返回该公众号对应的内部唯一标识 fakeid(即该公众号对外的 __biz 经过 Base64/内部映射的编码值)。
  2. /cgi-bin/appmsg:携带提取到的 fakeid、当前登录管理员的 token 以及有效的 Cookie,以分页的形式请求该公众号已发布的文章列表,直接返回包含标题、链接、发布时间等字段的纯 JSON 响应。
Python爬取微信公众号文章:API接口与网页抓取两种方法
图2:微信公众平台后台 API 接口抓取操作流程

2. Python 完整实现示例

下面是一个使用 requests 库实现的完整自动化查询与翻页抓取脚本。执行前需替换自己的有效 COOKIE 和 TOKEN:

import time
import random
import requests

class WeChatMpApiScraper:
    def __init__(self, cookie_str: str, token: str):
        self.token = token
        self.session = requests.Session()
        self.session.headers.update({
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36",
            "Referer": f"https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit_v2&action=edit&isNew=1&type=77&token={token}&lang=zh_CN",
            "Cookie": cookie_str
        })
        self.base_url = "https://mp.weixin.qq.com/cgi-bin"

    def get_fakeid(self, target_account_name: str) -> str:
        """根据公众号名称获取对应的 fakeid"""
        search_url = f"{self.base_url}/searchbiz"
        params = {
            "action": "search_biz",
            "begin": "0",
            "count": "5",
            "query": target_account_name,
            "token": self.token,
            "lang": "zh_CN",
            "f": "json",
            "ajax": "1"
        }
        resp = self.session.get(search_url, params=params, timeout=10)
        data = resp.json()
        
        if data.get("base_resp", {}).get("ret") != 0:
            raise RuntimeError(f"搜索公众号失败: {data.get('base_resp')}")
            
        biz_list = data.get("list", [])
        if not biz_list:
            raise ValueError(f"未找到公众号: {target_account_name}")
            
        target_biz = biz_list[0]
        print(f"匹配到公众号: {target_biz['nickname']} (fakeid: {target_biz['fakeid']})")
        return target_biz["fakeid"]

    def fetch_articles(self, fakeid: str, max_pages: int = 3):
        """分页获取图文列表"""
        appmsg_url = f"{self.base_url}/appmsg"
        articles = []
        
        for page in range(max_pages):
            begin = page * 5
            params = {
                "action": "list_ex",
                "begin": str(begin),
                "count": "5",
                "fakeid": fakeid,
                "type": "9",
                "query": "",
                "token": self.token,
                "lang": "zh_CN",
                "f": "json",
                "ajax": "1"
            }
            
            resp = self.session.get(appmsg_url, params=params, timeout=10)
            res_data = resp.json()
            
            if res_data.get("base_resp", {}).get("ret") != 0:
                print(f"获取文章列表受限或Token失效: {res_data.get('base_resp')}")
                break
                
            msg_list = res_data.get("app_msg_list", [])
            if not msg_list:
                print("已无更多历史文章。")
                break
                
            for item in msg_list:
                article_info = {
                    "title": item.get("title"),
                    "link": item.get("link"),
                    "create_time": item.get("create_time"),
                    "aid": item.get("aid")
                }
                articles.append(article_info)
                print(f"[{page+1}] 抓取到: {article_info['title']}")
                
            # 严格控制访问频次,避免触发后台频控
            sleep_duration = random.uniform(3.5, 6.0)
            time.sleep(sleep_duration)
            
        return articles

# 示例调用 (需替换实际凭据)
if __name__ == "__main__":
    MY_COOKIE = "slave_user=...; slave_sid=...; bizuin=...;"
    MY_TOKEN = "123456789"
    
    scraper = WeChatMpApiScraper(cookie_str=MY_COOKIE, token=MY_TOKEN)
    try:
        biz_id = scraper.get_fakeid("人民日报")
        results = scraper.fetch_articles(fakeid=biz_id, max_pages=2)
        print(f"共抓取到 {len(results)} 篇文章元数据")
    except Exception as e:
        print(f"抓取异常: {e}")
注意事项与适用边界:公众平台后台接口有单日抓取额度限制(单次连续翻页通常在 30~50 次左右会触发短暂停用或要求重新扫码验证)。此外,该接口返回的 URL 为包含 sn 的真实微信文章长链接,但不直接包含阅读量与在看量(阅读数接口需要微信移动客户端环境的 key 才能调取)。

三、方法二:基于搜狗微信搜索与网页自动化抓取

如果手头没有可用的微信公众号管理后台,或者抓取目标是全网按关键词搜索聚合文章,搜狗微信搜索(weixin.sogou.com)则是首选公开渠道。搜狗是目前极少数拥有微信官方授权建立外网搜索索引的平台,支持按账号检索与按关键词检索。

1. 运作机制与中间跳转链解析

搜狗微信并不是直接展示微信文章的最终链接,而是采用了一套防爬转向机制:

  • 列表页搜索:请求 https://weixin.sogou.com/weixin?type=2&query=关键词。搜狗服务端在 HTML 中返回匹配的简要文章卡片。
  • 动态加密中间链接:卡片中的 <a href="/link?url=..."> 并非微信原生网址,而是经过搜狗自身算法混淆的中间重定向地址。
  • 脚本计算与跳转:当用户点击链接时,搜狗页面加载一段微型 JavaScript 代码,在客户端拼接出一段带时间戳与防篡改签名的计算参数,最后通过 window.location.replace() 跳转至真正的 mp.weixin.qq.com/s?... 页面。

对于这类包含前端脚本混淆与反爬重定向的页面,使用基于浏览器的无头自动化工具(如 Playwright 或 Selenium)比手写逆向 JS 更加健壮且抗变动。

Python爬取微信公众号文章:API接口与网页抓取两种方法
图3:基于 Playwright 的搜狗微信网页自动化检索与跳转还原链路

2. Playwright 自动化网页抓取代码

在 Python 环境中执行 pip install playwright 并运行 playwright install chromium,使用如下脚本即可实现免逆向的搜狗微信自动化检索与正文清洗:

import asyncio
from playwright.async_api import async_playwright

async def scrape_wechat_by_sogou(keyword: str, max_articles: int = 5):
    """
    使用 Playwright 自动化检索搜狗微信并抓取文章正文
    """
    async with async_playwright() as p:
        # 启动 Chromium 浏览器,避免特征检测
        browser = await p.chromium.launch(
            headless=True,
            args=["--disable-blink-features=AutomationControlled"]
        )
        context = await browser.new_context(
            user_agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36"
        )
        page = await context.new_page()

        # 访问搜狗微信文章检索接口
        search_url = f"https://weixin.sogou.com/weixin?type=2&query={keyword}"
        print(f"正在访问搜狗微信检索页面: {search_url}")
        await page.goto(search_url)

        # 检查是否遭遇验证码拦截
        if "antispider" in page.url:
            print("触发搜狗反爬验证码,请配置代理IP或减缓采集频次。")
            await browser.close()
            return []

        # 获取文章卡片列表
        article_items = await page.query_selector_all(".news-box .news-list li")
        print(f"当前页面共发现 {len(article_items)} 条搜索结果")

        collected_data = []

        for idx, item in enumerate(article_items[:max_articles]):
            title_elem = await item.query_selector("h3 a")
            if not title_elem:
                continue

            title = (await title_elem.inner_text()).strip()
            # 获取搜狗跳转链接
            intermediate_href = await title_elem.get_attribute("href")
            if not intermediate_href:
                continue

            full_link = f"https://weixin.sogou.com{intermediate_href}" if intermediate_href.startswith("/") else intermediate_href

            # 打开新标签页处理重定向并抓取正文
            detail_page = await context.new_page()
            try:
                await detail_page.goto(full_link, wait_until="domcontentloaded", timeout=15000)
                await detail_page.wait_for_timeout(2000)  # 等待JS自动跳转完成

                real_url = detail_page.url
                if "mp.weixin.qq.com" not in real_url:
                    print(f"[{idx+1}] 跳转未完成或仍在搜狗域名: {real_url}")
                    await detail_page.close()
                    continue

                # 提取微信文章正文元素
                content_elem = await detail_page.query_selector("#js_content")
                if content_elem:
                    # 将图片 data-src 替换为实际可用 src
                    await detail_page.evaluate("""
                        () => {
                            const imgs = document.querySelectorAll('#js_content img');
                            imgs.forEach(img => {
                                const realSrc = img.getAttribute('data-src');
                                if (realSrc) {
                                    img.setAttribute('src', realSrc);
                                }
                            });
                        }
                    """)
                    clean_html = await content_elem.inner_html()
                    collected_data.append({
                        "title": title,
                        "url": real_url,
                        "html_content": clean_html[:200] + "..."  # 示例截取
                    })
                    print(f"[{idx+1}] 成功采集文章: {title}")
                else:
                    print(f"[{idx+1}] 未定位到 #js_content 容器")

            except Exception as err:
                print(f"处理文章 [{title}] 时出错: {err}")
            finally:
                await detail_page.close()

            # 随机休眠防风控
            await asyncio.sleep(3.0)

        await browser.close()
        return collected_data

if __name__ == "__main__":
    articles = asyncio.run(scrape_wechat_by_sogou("Python技术", max_articles=2))
    print(f"采集结束,成功落地 {len(articles)} 篇正文。")

四、两种抓取方法的深度对比与选型指南

在实际工程选型中,不能孤立看待技术难易,而是要依据具体的业务需求(目标是监控特定账号的历史沉淀,还是全网按词汇抓取最新资讯)在两者之间权衡选择:

Python爬取微信公众号文章:API接口与网页抓取两种方法
图4:两种微信文章抓取方式多维度综合对比矩阵
对比维度 公众平台后台 API 接口 搜狗微信网页自动化抓取
账号门槛 需要注册任意一个普通微信公众号并扫码登录 无需账号,打开网页即可访问
历史回溯能力 极强,可翻页抓取目标账号自注册以来的所有图文 较弱,搜狗搜索通常仅保留近期的 10 页索引结果
抓取数据格式 纯 JSON 数据,包含精确发布时间戳、永久链接 HTML 页面,需解析临时中间链接后再重定向到真实页面
资源开销与速度 轻量 HTTP 请求,并发资源占用极低,单条响应百毫秒级 需常驻无头 Chromium 实例,CPU 与内存消耗较大
反爬触发机制 单日翻页次数超限后触发会话注销或封禁接口访问 单 IP 频繁访问直接触发滑块验证码与 IP 临时封禁

五、数据清洗落地与长期维护要点

在拿到微信文章的最终真实链接与 HTML 源码后,若要将内容用于知识库构建或排版归档,还需进行关键的清洗处理:

  1. 替换图片懒加载属性:微信文章内的 <img> 标签几乎都不直接携带 src,而是写入在 data-src 中。入库前必须使用脚本遍历所有图片节点,将 data-src 的值赋予 src,否则直接渲染文章时所有图片均会显示为空白或损坏。
  2. 图片防盗链处理:由于微信图片服务器检测 Referer 请求头,在前端展示抓取到的 HTML 时,可以在 HTML 页面的 <head> 中加入 <meta name="referrer" content="no-referrer">,或在服务端下载图片转存至本地或专属对象存储中。
  3. 去除无用动态注入脚本:微信文章尾部常包含动态点赞动画、推荐阅读、举报模块等容器(例如 #js_toobar3、#js_cmt_area),在解析 DOM 时仅需截取 #js_content 节点并剥离外层不相关标签,即可获得干净的正文 HTML。
  4. 法律与合规准则:数据采集应仅用于个人知识归档或学术研究用途,严禁未授权批量抓取他人原创文章进行商业洗稿、抄袭或违规分发;同时必须严格控制抓取频率,不得对目标服务平台造成性能压迫。

本站声明

本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。

Python 相关产品和应用

全部下载

专题列表