传统定向爬虫依赖人工编写CSS选择器与XPath语法针对异构站点适配成本高网页迭代改版后原有匹配规则极易失效。大语言模型LLM具备HTML语义解析能力可自适应异构页面无需人工维护选择器显著降低爬虫开发运维成本。本文构建LLM驱动的智能爬虫架构实现页面采集—HTML精炼—结构化提取—语义清洗自动化流程结合亿牛云代理IP规避封禁限制完成高通用性、高稳定性的数据采集方案。一、传统爬虫与大模型爬虫对比从提取机制、迭代适配、成本开销等维度对比两类爬虫技术明确差异化适用场景维度传统规则爬虫大模型爬虫数据提取人工编写选择器语法LLM语义解析自动提取页面迭代规则失效需二次开发自适应页面结构变更数据清洗正则规则引擎格式清洗语义级智能标准化清洗开发成本单站单独定制规则通用Prompt跨站复用准确率高精度硬匹配中高准确率依赖模型性能响应速度毫秒级响应1~3秒/次模型推理耗时运行成本算力成本极低含模型API调用费用1.1 场景适配原则传统爬虫页面结构固化、对延迟与准确率要求严苛的采集场景。大模型爬虫站点量大、页面异构性强、规则维护成本高的业务场景。混合架构LLM生成适配选择器规则引擎执行高速提取兼顾通用性与采集效率。二、技术架构与选型2.1 整体流程本文采用线性串联架构依托代理IP实现反爬防护流程如下 网页采集 → HTML冗余剔除 → LLM结构解析 → JSON结构化输出 → 语义清洗 → 本地化存储辅助模块动态代理IP实现请求指纹离散化规避访问封禁2.2 技术栈选型组件技术方案选型依据HTTP请求requests轻量稳定兼容代理隧道配置HTML预处理BeautifulSoup精简网页结构降低LLM Token开销大模型GPT-4o-mini性价比高结构化JSON输出稳定性优异代理IP亿牛云动态转发代理毫秒级IP轮换适配高频采集反爬场景三、环境依赖执行以下命令安装项目依赖库pip install requests beautifulsoup4 openai四、核心代码实现4.1 全局参数配置集中管理模型接口、代理隧道、请求头参数便于工程化维护importrequestsimportjsonimportrandomimporttimefrombs4importBeautifulSoupfromopenaiimportOpenAI# 模型接口配置OPENAI_API_KEYyour-api-keyOPENAI_BASE_URLhttps://api.openai.com/v1MODEL_NAMEgpt-4o-mini# 代理隧道配置PROXY_CONFIG{host:t.16yun.cn,port:31111,user:username,pass:password}proxy_metahttp://%(user)s:%(pass)s%(host)s:%(port)s%PROXY_CONFIG PROXIES{http:proxy_meta,https:proxy_meta}# 模拟浏览器请求头HEADERS{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) Chrome/125.0.0.0 Safari/537.36,Accept:text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8,}4.2 页面采集与HTML精炼为控制LLM输入Token量级需剔除网页冗余标签与无效属性保留语义骨架同时集成代理IP实现指纹混淆。deffetch_page(url,use_proxyTrue):网页采集异常容错代理轮换req_headersHEADERS.copy()ifuse_proxy:tunnelrandom.randint(1,10000)req_headers[Proxy-Tunnel]str(tunnel)try:resprequests.get(url,headersreq_headers,proxiesPROXIESifuse_proxyelseNone,timeout15)resp.raise_for_status()returnclean_html(resp.text)exceptrequests.exceptions.HTTPErrorase:statuse.response.status_codeife.responseelse0ifstatus429:time.sleep(3)print(fHTTP异常码{status})returnNoneexceptExceptionase:print(f采集异常{e})returnNonedefclean_html(html):HTML语义精炼剔除噪音标签压缩上下文soupBeautifulSoup(html,html.parser)# 移除非功能性标签fortaginsoup([script,style,nav,footer,aside,iframe,form]):tag.decompose()# 清除无用属性减少模型干扰fortaginsoup.find_all(True):tag.attrs{k:vfork,vintag.attrs.items()ifkin[href,src,alt,title]}returnstr(soup)4.3 LLM结构化数据提取通过规范化系统提示词约束模型输出格式采用低温度参数保证推理稳定性实现无选择器通用提取。clientOpenAI(api_keyOPENAI_API_KEY,base_urlOPENAI_BASE_URL)defextract_with_llm(html_content,extraction_prompt,max_retries2):LLM通用结构化提取接口max_chars8000iflen(html_content)max_chars:html_contenthtml_content[:max_chars]\n...(截断)system_prompt你是网页提取专家严格按要求输出JSON缺省值填null禁止编造数据。user_promptf{extraction_prompt}\nHTML内容{html_content}for_inrange(max_retries):try:responseclient.chat.completions.create(modelMODEL_NAME,messages[{role:system,content:system_prompt},{role:user,content:user_prompt}],temperature0.1,response_format{type:json_object})returnjson.loads(response.choices[0].message.content)exceptException:time.sleep(2)continuereturnNone4.4 多场景业务适配封装电商商品、新闻资讯两类通用采集函数适配结构化业务数据提取。defextract_product_info(url):电商商品结构化提取htmlfetch_page(url)ifnothtml:returnNoneprompt提取title、price(纯数字)、original_price、brand、sales、rating、reviews_count、specs、descriptionresextract_with_llm(html,prompt)ifres:res.update({source_url:url,crawl_time:time.strftime(%Y-%m-%d %H:%M:%S)})returnresdefextract_news_info(url):新闻资讯结构化提取htmlfetch_page(url)ifnothtml:returnNoneprompt提取title、author、publish_time、source、category、summary、content、tagsreturnextract_with_llm(html,prompt)4.5 语义级数据清洗区别于规则清洗LLM可完成量词换算、语义空值统一、格式标准化等复杂处理。defclean_data_with_llm(raw_data,cleaning_rules):语义化数据标准化清洗promptf原始数据{json.dumps(raw_data,ensure_asciiFalse)}\n清洗规则{cleaning_rules}returnextract_with_llm(数据清洗,prompt)# 通用清洗规则cleaning_rules1.金额仅保留纯数字2.时间统一为YYYY-MM-DD HH:MM:SS3.中文量词万转为阿拉伯数字4.无效文本统一置为null4.6 批量采集与持久化defbatch_crawl(urls,extract_fn,output_fileoutput.json):批量采集、容错存储results[]foridx,urlinenumerate(urls):print(f[{idx1}/{len(urls)}] 采集{url})dataextract_fn(url)ifdata:results.append(data)time.sleep(random.uniform(1,3))withopen(output_file,w,encodingutf-8)asf:json.dump(results,f,ensure_asciiFalse,indent2)returnresultsdefmain():product_urls[https://example.com/product/1,https://example.com/product/2,https://example.com/product/3]resultsbatch_crawl(product_urls,extract_product_info,products.json)ifresults:foriteminresults:clean_data_with_llm(item,cleaning_rules)if__name____main__:main()五、代理IP反爬策略大模型爬虫延迟较高但仍存在IP指纹封禁风险。本文采用动态转发隧道代理单次请求轮换IP适配requests无状态请求。5.1 代理模式选型动态转发单次请求更换IP适用于短链接无状态采集。固定转发1~3分钟IP固化适用于浏览器自动化渲染场景。5.2 链路优化与异常处理HTTPS长连接会抑制IP切换强制关闭长连接保障代理生效req_headers[Connection] Close。常见异常处理403校验请求头、407核对代理密钥、429降低采集频率。六、Prompt工程优化方案约束输出格式强制JSON结构化返回杜绝自然语言冗余输出。固化处理规则在提示词内定义单位转换、空值判定逻辑减少后置处理。控制Token开销HTML预清洗字符截断降低推理成本与延迟。七、技术局限性与优化方案7.1 现存局限局限性成因优化策略推理延迟高LLM算力推理耗时列表页规则采集详情页LLM解析调用成本模型API计费选用轻量模型压缩输入Token模型幻觉大模型随机生成特性规则二次校验多轮推理核验7.2 混合采集架构为平衡性能与成本采用分层采集策略列表页依托传统爬虫高速抓取异构详情页采用LLM语义提取后置清洗环节统一使用大模型完成语义标准化形成高效、低维护、强适配的复合型爬虫方案。