怎么在Python爬虫中调用JS加密函数生成签名参数
本文详解在Python爬虫中调用JS加密函数生成请求签名参数的完整方案与操作流程,包含前端加密定位、JS核心函数提取、执行环境补齐以及Python高效调用的具体实现与注意事项。
在编写Python网络爬虫抓取接口数据时,现代网站普遍会在HTTP请求头或URL参数中附带动态签名(如 sign、token 或 signature),用于防范爬虫未授权抓取。面对经过混淆和高强度魔改的JavaScript算法,完全用Python重写不仅耗时费力,还容易因浮点数精度、位运算差异导致签名不匹配。最实际可行的技术路径,是先在浏览器调试工具中精准定位并提取出该加密JS函数,再借助Node.js子进程或JavaScript运行环境桥接,在Python主程序中直接调用该函数计算签名,随后将生成的签名随请求发送。
一、Python调用JS加密签名的架构原理
调用JS函数的本质是跨语言环境协同:Python负责网络请求的发起、并发控制以及最终数据的清洗入库;而JavaScript执行引擎(如本地系统的 Node.js 环境或嵌入式 QuickJS 引擎)则负责执行扣取下来的算法代码。两者之间通过标准输入输出(I/O)、进程调用或局部RPC服务进行参数交互。
二、提取与调用JS加密函数的四步操作流程
完成一次完整的动态签名调用,需要经历从网络抓包、逻辑定位、代码抠取到Python集成的标准流水线。遵循清晰的步骤能够避免在冗长的混淆代码中做无用功。
第一步:定位前端加密入口
在目标页面打开 Chrome DevTools(F12),切换至 Network 面板。触发数据请求后,观察请求 URL 参数或 Request Headers。若看到形如 sign: 7a8f19c3b... 的字段:
- 点击该请求的 Initiator(发起程序)列,查看调用栈堆栈,点击紧随业务代码最近的一行 JS 文件(通常在
axios或fetch封装层)。 - 在 Sources 面板中,若代码已被压缩混淆,点击左下角的
{}(Pretty-print)进行格式化。 - 在疑似生成签名的位置打上条件断点或行断点,重新触发请求。断点命中后,在右侧 Scope 栏检查此时的作用域变量,确认传入的明文参数以及最终计算出的密文字符串。
第二步:剥离核心JS代码到本地文件
定位到生成函数后,将该函数以及它依赖的子函数(例如自定义的哈希散列、编码置换表或加盐逻辑)完整复制出来,保存为本地文件 sign.js。为了能够被外部调用,通常在脚本底部声明全局暴露:
// sign.js - 剥离出的核心加密模块
function customHash(str, salt) {
let hash = 0;
const combined = str + salt;
for (let i = 0; i < combined.length; i++) {
hash = (hash << 5) - hash + combined.charCodeAt(i);
hash |= 0;
}
return Math.abs(hash).toString(16);
}
function generateSignature(params, timestamp) {
// 假设业务逻辑是将参数名按ASCII升序排列后拼接
const keys = Object.keys(params).sort();
const kvPairs = keys.map(k => `${k}=${params[k]}`);
const rawString = kvPairs.join('&') + `&ts=${timestamp}`;
const salt = "kU_aI_fRaM_sEcReT";
return customHash(rawString, salt);
}
// 供 Node.js 环境下通过标准模块或全局对象导出
if (typeof module !== 'undefined' && module.exports) {
module.exports = { generateSignature };
}
if (typeof global !== 'undefined') {
global.generateSignature = generateSignature;
}
node -e "const {generateSignature} = require('./sign.js'); console.log(generateSignature({keyword:'python'}, 1697500000));"。先确保在纯 Node 环境下能跑通,能排除 90% 以上由跨语言传参带来的干扰。
三、Python调用JS函数的具体实现方案
方法一:使用 Python 标准库 subprocess(最稳定、零额外依赖)
这是在生产环境中最健壮的做法。不需要安装任何第三方 Python-JS 绑定库,直接利用系统安装好的 Node.js 进程进行计算,天然避免了 C++ 绑定库的内存泄漏和多线程兼容问题。
# crawler_subprocess.py
import json
import subprocess
import time
import requests
def get_signature_by_node(params: dict, timestamp: int) -> str:
"""
通过 Node.js 子进程执行 JS 计算签名
"""
# 将参数转换为 JSON 字符串传递给 node 执行命令
script = f"""
const {{ generateSignature }} = require('./sign.js');
const params = {json.dumps(params, ensure_ascii=False)};
const ts = {timestamp};
console.log(generateSignature(params, ts));
"""
# 启动 Node 子进程执行脚本
process = subprocess.run(
["node", "-e", script],
capture_output=True,
text=True,
encoding="utf-8",
check=True
)
# 获取输出并剔除末尾换行
signature = process.stdout.strip()
return signature
# 实际调用示例
if __name__ == "__main__":
business_params = {
"page": 1,
"size": 20,
"query": "数据爬取"
}
current_ts = int(time.time() * 1000)
# 获取签名
sign = get_signature_by_node(business_params, current_ts)
print(f"[+] 动态签名生成成功: {sign}")
# 组装请求抓取数据
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)",
"X-Sign": sign,
"X-Timestamp": str(current_ts)
}
# response = requests.get("https://api.example.com/items", params=business_params, headers=headers)
方法二:使用 PyExecJS / execjs 模块(内联直接调用)
如果希望在 Python 内部像普通方法一样调用 JS 函数,可以使用 PyExecJS(或维护更新更积极的 PyExecJS2)。它会在底层自动选择机器上的 JS 运行时。
# crawler_execjs.py
import execjs
import time
# 1. 读取剥离出的 JS 源代码
with open("sign.js", "r", encoding="utf-8") as f:
js_source = f.read()
# 2. 编译 JS 代码构建上下文环境
context = execjs.compile(js_source)
# 3. 传入参数调用 JS 中的具体函数
params = {"category": "tech", "sort": "desc"}
ts = int(time.time())
# context.call("函数名", 参数1, 参数2, ...)
signature = context.call("generateSignature", params, ts)
print(f"[+] PyExecJS 产生签名: {signature}")
四、关键细节:解决缺少浏览器环境(补环境)
很多前端加密代码并非纯数学计算,而是夹杂了浏览器特有的对象检测,比如读取屏幕分辨率、Canvas 指纹、navigator.userAgent 或当前网页的 window.location.href。当这类代码直接在 Node.js 中执行时,往往会直接抛出 ReferenceError: window is not defined 或 document is not defined。
常用简易补环境垫片模板
在 sign.js 文件的最顶端直接添加常见的全局对象伪造即可解决绝大部分常规检测:
// 环境补齐通用基础桩(在所有算法代码前加载)
var window = global;
var document = {
createElement: function(tag) {
return {
getContext: function() { return {}; },
toDataURL: function() { return ""; }
};
},
getElementById: function() { return null; },
cookie: ""
};
var navigator = {
userAgent: "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
platform: "Win32",
plugins: []
};
var location = {
href: "https://target-website.com/",
protocol: "https:",
host: "target-website.com"
};
var screen = {
width: 1920,
height: 1080,
colorDepth: 24
};
Object.prototype.toString.call(window) 判定是否为 "[object Window]"),简单的对象赋值会失效。此时建议引入 jsdom 库(npm install jsdom)构建拟真沙盒环境。
五、方案对比与选型建议
针对不同的抓取规模和并发需求,调用 JS 的架构也应有所权衡:
| 方案类型 | 实现方式 | 执行性能 | 环境依赖 | 推荐适用场景 |
|---|---|---|---|---|
| Node.js 子进程 | subprocess.run(["node", ...]) |
中等(单次约 30-80ms) | 仅需本地安装 Node.js | 中小型单机爬虫,快速开发与验证 |
| PyExecJS 模块 | execjs.compile() |
较快(单次约 10-20ms) | 需要安装 PyExecJS2 |
希望直接在 Python 内部进行对象调用的场景 |
| Node RPC 微服务 | 本地部署 Express 接口提供签名生成 | 极高(单次 < 3ms,并发能力强) | 需常驻一个本地 Node 后台服务 | 大规模分布式爬虫、多爬虫节点共享加密算力 |
| CDP / Playwright | page.evaluate("window.sign(...)") |
较低(资源消耗大) | 需运行 Chromium 浏览器 | 反爬防护极强、深度依赖复杂 DOM 与硬件指纹的接口 |
六、常见问题与排查指南
1. 生成的签名总是被服务端提示“签名无效”或“403 Forbidden”
出现这种情况通常有三个排查方向:
- 时间戳不一致:很多签名算法将
timestamp参与了哈希运算。Python 端发送 HTTP 请求头中的时间戳,必须与传给 JS 加密函数的时间戳严格相同。同时注意服务端要求的是 10 位秒级时间戳还是 13 位毫秒级时间戳。 - 参数排序规则:绝大部分签名会对 Query 或 Body 参数按键名 ASCII 升序排列。排查传入 JS 前对象的键值排序是否与浏览器实际请求一致。
- 编码差异:中文字符或特殊符号在 URL 编码(
encodeURIComponent)时的规范与 Pythonurllib.parse.quote可能存在细微差异(例如空格编码为+还是%20)。应保证进入哈希算法前的原始字符串一字不差。
2. Windows 环境下中文参数乱码或报编码错误
在使用 subprocess 时,Windows 控制台默认可能使用 GBK 编码。在调用 subprocess.run 时务必显式指定 encoding="utf-8",并在向 Node 传递脚本字符串时使用 json.dumps(params, ensure_ascii=False),确保字符流以原生 UTF-8 格式传输。
3. 多线程爬取时的并发性能优化
若使用单进程反复拉起 node 会产生明显的 CPU 负载。若爬虫采用多线程或异步协程(asyncio),推荐编写一个极简的本地 Node.js HTTP 签名服务(例如使用 Express 或 Fastify 监听 127.0.0.1:3000),Python 爬虫在发包前通过本地 requests.post 获取签名。由于 Node 进程常驻且 JIT 已预热,生成一次签名通常耗时不足 2 毫秒,足以支撑数百并发的爬取需求。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













