Python爬虫处理URL中字典与列表参数的编码方案
发布时间：2026-10-14 |
4人浏览过
本文探讨Python爬虫中URL包含字典或列表等非字符串参数时的编码问题。通过对比直接urlencode与先进行json序列化再urlencode两种方法，展示Python2环境下生成的URL差异，并建议当直接编码导致访问失败时，采用json序列化方式以确保参数正确解析。
URL复杂参数编码背景
在常规的URL请求中，参数通常以键值对（key-value）的形式存在，且值多为字符串类型。
若遇到需要将字典或列表等复杂数据结构作为参数传递的情况，处理起来会相对特殊。
Python2编码实现与对比
以下是Python2环境下的相关代码实现示例。
import json
from urllib import urlencode
# 1. 直接将url编码
params = {
"name": "Tom",
"hobby": ["ball", "swimming"],
"books": [{"name": "语文", "pages": 20}]
}
print(urlencode(params))
"""
hobby=%5B%27ball%27%2C+%27swimming%27%5D&
books=%5B%7B%27name%27%3A+%27%5Cxe8%5Cxaf%5Cxad%5Cxe6%5Cx96%5Cx87%27%2C+%27pages%27%3A+20%7D%5D&
name=Tom
"""
# 2. 先用json序列化字典和列表参数
params = {
"name": "Tom",
"hobby": json.dumps(["ball", "swimming"]),
"books": json.dumps([{"name": "语文", "pages": 20}])
}
print(urlencode(params))
"""
hobby=%5B%22ball%22%2C+%22swimming%22%5D&
books=%5B%7B%22name%22%3A+%22%5Cu8bed%5Cu6587%22%2C+%22pages%22%3A+20%7D%5D&
name=Tom
"""
对比上述两种方式的序列化结果，可以发现生成的URL参数格式存在差异。如果直接使用第一种方式生成的URL无法被服务器正常解析或访问，则建议采用第二种方式，即先对字典和列表进行json序列化，再进行url编码。
本站声明
本文内容仅供参考，不代表本站观点。转载或引用请注明出处。如发现内容问题，请通过联系我们页面反馈。
