Nginx反爬：User-Agent与频率限制

识别异常User-Agent：先判断哪些请求值得拦截

User-Agent（UA）是HTTP请求头中用于标识客户端浏览器、操作系统或爬虫引擎的字符串。在Nginx反爬体系中，UA通常作为第一道过滤网，用于快速识别并拦截已知恶意爬虫或脚本工具。常见的异常UA特征包括：空值、极短字符串、包含python-requests、curl、scrapy、Go-http-client等明确标识，或频繁使用默认库名称。在Nginx中，推荐使用map指令进行高效匹配，避免在location块中滥用if导致性能损耗。例如，可通过map $http_user_agent $block_ua { default 0; ~*python|scrapy|curl 1; }构建黑名单，随后在server块中通过if ($block_ua) { return 403; }拦截。若需保护特定爬虫，可结合白名单逻辑。需特别强调的是，UA极易被伪造，仅凭UA拦截极易导致误杀或漏防，必须将其作为辅助维度，与IP频率、行为特征等策略组合使用，才能构建稳健的防护基线。

配置频率限制：用limit_req控制请求洪峰

Nginx的限流核心由limit_req_zone与limit_req两个指令协同完成。limit_req_zone定义在http块中，用于创建共享内存区域并指定限流维度（如$binary_remote_addr）与基础速率（rate）；limit_req则作用于server或location块，引用该区域并细化突发处理策略。rate表示单位时间内的平均请求数，例如rate=10r/s代表每秒允许10个请求。burst则定义了令牌桶算法中的缓冲容量，允许瞬时请求超过rate但需排队处理，超出burst的请求将直接返回503。针对高频接口，可采用差异化配置：在http块声明limit_req_zone $binary_remote_addr zone=api_limit:10m rate=5r/s;，在关键API的location中写入limit_req zone=api_limit burst=10 nodelay;。该配置既保障了正常用户的突发访问体验，又有效压制了恶意刷接口的洪峰流量，是生产环境中最易落地的限流范式。

组合防护与验证：确认规则真的生效

将UA拦截与频率限制组合部署后，必须通过真实请求验证规则是否按预期生效。首先，使用curl -A "python-requests/2.28" http://your-domain.com/api模拟异常UA，预期应直接返回HTTP 403状态码，证明黑名单匹配成功。其次，使用正常UA发起单次请求，应返回200，确认白名单或默认放行逻辑无误。最后，针对限流策略，可通过脚本或循环命令for i in {1..20}; do curl -s -o /dev/null -w "%{http_code}\n" http://your-domain.com/api; done快速发送高频请求。观察输出序列，前若干次应返回200，随后应稳定出现503状态码，表明burst耗尽且限流机制已触发。若未出现预期状态码，需检查Nginx配置重载是否成功（nginx -s reload）及共享内存是否分配充足。通过分层验证，可确保反爬策略在生产环境中精准拦截且不误伤。

常见避坑：避免误伤搜索引擎与正常用户

在实际运维中，反爬配置常因参数激进或架构差异引发误伤。首要陷阱是过度依赖UA拦截，导致伪装成正常浏览器的爬虫长驱直入，而部分老旧设备或特殊客户端却被误封。其次，rate设置过低或burst未启用nodelay，会使正常用户在页面加载瞬间触发503，严重影响体验。在代理或CDN架构下，Nginx默认读取的$remote_addr往往是代理服务器IP，若直接以此限流，会导致单一代理IP下的所有用户共享配额。正确做法是配置set_real_ip_from与real_ip_header X-Forwarded-For还原真实客户端IP。此外，缺乏日志监控会使策略沦为黑盒。建议定期分析access.log，统计403与503的分布比例，结合业务峰谷动态调整rate与burst阈值。通过灰度发布与持续观测，才能在安全与可用性之间找到最佳平衡点。