1. 为什么你的爬虫总被封锁每次看到爬虫程序被目标网站封禁那种感觉就像打游戏时突然断网——既愤怒又无奈。我刚开始做爬虫时也经常遇到这种情况后来才发现问题出在太老实上。大多数新手爬虫工程师最容易犯的错误就是直接用本机IP高频访问目标网站这相当于举着我是机器人的牌子在门口晃悠。网站的反爬机制其实很像商场保安他们会重点关注三种异常行为高频访问比如每分钟请求100次、固定行为模式每次访问间隔完全一致、非人类特征缺少正常浏览器的请求头。最近帮客户处理的一个案例特别典型他们的爬虫每30秒准时请求一次数据连续三天后整个IP段都被封了。这种规律性访问在服务器日志里就像黑夜中的萤火虫一样显眼。2. 代理IP的实战技巧2.1 如何选择靠谱的代理IP市面上代理IP主要分三种类型数据中心IP便宜但易被封、住宅IP模拟真实用户、移动IP最难被识别。我做过对比测试用100个数据中心IP抓取电商网站两小时内被封了87个而相同数量的住宅IP存活率能达到92%。不过要注意有些代理商所谓的高质量住宅IP其实是虚拟机伪造的这里教大家一个鉴别方法def check_ip_quality(ip): headers {User-Agent: Mozilla/5.0} try: resp requests.get(https://httpbin.org/headers, proxies{http: ip, https: ip}, headersheaders, timeout5) return origin in resp.json() except: return False这个脚本会检查代理IP是否真的修改了原始请求IP。如果返回True说明代理生效。建议每次采购新IP池时先用这个脚本批量检测我遇到过号称百万IP池的供应商实际可用率不到30%。2.2 动态IP轮换方案静态代理迟早会被识别成熟的爬虫系统需要智能切换策略。推荐两种经过验证的方案按请求次数切换每N次请求更换IP适合数据量小的场景自适应切换监测响应状态码遇到429/503立即切换这是我目前在用的自动切换代码框架class ProxyRotator: def __init__(self, ip_list): self.ip_pool Cycle(ip_list) self.fail_count defaultdict(int) def get_proxy(self): current_ip next(self.ip_pool) if self.fail_count[current_ip] 3: return self.get_proxy() return {http: current_ip, https: current_ip} def report_status(self, ip, success): if not success: self.fail_count[ip] 13. 请求头伪装的艺术3.1 必带的HTTP头字段最近帮某金融客户做爬虫优化时发现缺少Accept-Language头的请求被封概率高出40%。完整的请求头应该包含这些关键字段头字段示例值重要性User-AgentMozilla/5.0 (Windows NT 10.0)★★★★★Accepttext/html,application/xhtmlxml★★★★Accept-Encodinggzip, deflate, br★★★Connectionkeep-alive★★Refererhttps://www.google.com/★★★★3.2 动态生成请求头不要用固定的User-Agent这里分享我的动态生成器from fake_useragent import UserAgent import random def generate_headers(): ua UserAgent() return { User-Agent: ua.random, Accept-Language: fen-US;q0.{random.randint(5,9)},en;q0.{random.randint(3,8)}, Accept-Encoding: random.choice([gzip, deflate, br]), Referer: random.choice([ https://www.google.com/, https://www.bing.com/, https://www.baidu.com/ ]) }实测这套方案能使爬虫存活时间延长3-5倍。有个细节要注意不同网站的Accept-Encoding支持度不同建议先用浏览器开发者工具抓取真实请求观察。4. 会话管理的核心细节4.1 Cookie的智能处理很多反爬系统会通过Cookie埋点追踪访问轨迹。正确的做法是首次访问不带Cookie解析响应中的Set-Cookie后续请求携带完整Cookie链这里有个坑某些网站会设置蜜罐Cookie如__tracker一旦携带就会触发验证。建议用这个过滤方法def sanitize_cookies(cookies): blacklist [__tracker, __cfduid, __utm] return {k:v for k,v in cookies.items() if not any(b in k for b in blacklist)}4.2 会话保持技巧对于需要登录的网站建议每20-30分钟重新建立会话。我通常会用这样的会话管理器class SmartSession: def __init__(self): self.session requests.Session() self.last_renew time.time() def get(self, url, **kwargs): if time.time() - self.last_renew 1800: self.renew_session() return self.session.get(url, **kwargs) def renew_session(self): self.session requests.Session() # 重新登录等操作 self.last_renew time.time()5. 行为模拟的进阶策略5.1 鼠标移动与滚动模拟现代反爬系统会检测页面交互行为。通过Selenium可以模拟真实用户操作from selenium.webdriver.common.action_chains import ActionChains def human_like_interaction(driver): # 随机移动鼠标 for _ in range(random.randint(3,7)): x random.randint(0, 800) y random.randint(0, 600) ActionChains(driver).move_by_offset(x, y).perform() # 模拟滚动 driver.execute_script( fwindow.scrollBy(0, {random.randint(200,800)})) time.sleep(random.uniform(0.5, 2))5.2 请求间隔优化固定间隔是爬虫最大的破绽。建议用指数退避算法def get_delay(base1, max_delay10): delay min(base * (2 ** random.uniform(0,1)), max_delay) return round(delay, 2)这套算法会让重试间隔呈指数增长同时加入随机因子。在最近的一个电商爬虫项目中采用该方案后封禁率从35%降到了3%以下。6. 终极防御特征混淆系统把前面所有技术组合起来就形成了完整的反反爬体系。这是我设计的特征混淆架构流量分发层多个代理IP轮换协议层动态TLS指纹使用curl_cffi库行为层随机操作间隔鼠标轨迹容错层自动降级机制实现示例class StealthCrawler: def __init__(self): self.proxy_rotator ProxyRotator(IP_LIST) self.delay_generator get_delay def crawl(self, url): try: delay self.delay_generator() time.sleep(delay) proxy self.proxy_rotator.get_proxy() headers generate_headers() resp requests.get(url, headersheaders, proxiesproxy, timeout10) self.proxy_rotator.report_status(proxy, True) return resp except Exception as e: self.proxy_rotator.report_status(proxy, False) return self.crawl(url) # 自动重试在实际项目中这套系统可以稳定运行数月不被封禁。关键是要持续监控封禁率当发现异常升高时比如超过5%就需要调整策略参数或者更换IP池。