Python爬虫入门：用requests库30分钟抓取电商数据并保存到Excel

前言想学爬虫但不知道从哪开始本文用最简单的requests库带你30分钟内完成第一个电商数据采集项目。学完即可接单赚钱一、环境准备pipinstallrequests pandas openpyxl二、requests库基础requests 是 Python 最流行的 HTTP 库4行代码就能抓取网页importrequests responserequests.get(https://www.example.com)print(response.status_code)# 200print(response.text[:500])# 网页前500字符核心参数参数说明示例url请求地址https://api.example.com/dataheaders请求头{‘User-Agent’: ‘Mozilla/5.0’}paramsURL参数{‘page’: 1, ‘size’: 20}dataPOST数据{‘username’: ‘admin’}timeout超时时间10proxies代理{‘https’: ‘http://ip:port’}三、实战抓取电商商品数据以某电商网站为例抓取商品名称、价格、销量importrequestsimportpandasaspdimporttimeimportrandom headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36,Referer:https://www.example.com/,Accept:application/json,}defscrape_products(keyword,pages5):all_products[]forpageinrange(1,pages1):urlhttps://api.example.com/searchparams{keyword:keyword,page:page,size:20,}resprequests.get(url,headersheaders,paramsparams,timeout10)ifresp.status_code200:dataresp.json()foritemindata.get(products,[]):all_products.append({商品名称:item.get(title),价格:item.get(price),销量:item.get(sales),链接:item.get(url),})time.sleep(random.uniform(1,3))returnall_products productsscrape_products(Python书籍,pages5)print(f共抓取{len(products)}条数据)四、保存到Exceldfpd.DataFrame(products)df.to_excel(商品数据.xlsx,indexFalse)print(数据已保存到 商品数据.xlsx)print(f平均价格:{df[价格].mean():.2f})print(f最高价:{df[价格].max()})print(f最低价:{df[价格].min()})五、反爬初探遇到403或验证码试试这些技巧1. 随机User-Agentimportfake_useragent uafake_useragent.UserAgent()headers{User-Agent:ua.random}2. 使用代理IPproxies{http:http://127.0.0.1:7890,https:http://127.0.0.1:7890,}resprequests.get(url,proxiesproxies)3. 使用Session保持Cookiesessionrequests.Session()session.get(https://www.example.com)respsession.get(https://www.example.com/data)## 六、接单变现指南学会爬虫后怎么赚钱闲鱼接单发布爬虫定制服务单价 50-500元BOSS直聘搜索Python爬虫兼职线上接单程序员客栈注册开发者接派单项目数据售卖采集行业数据打包卖给研究机构自动化工具开发爬虫工具在CSDN/闲鱼售卖总结本文从零开始用 requests 库完成了电商数据采集全流程。下一步可以学习 Playwright 处理JS渲染页面突破更复杂的反爬。专栏后续会更新Selenium自动化、Playwright高级爬虫、反爬突破实战、数据清洗进阶等内容欢迎关注有问题欢迎评论区交流需要爬虫定制服务可以私信。