python自动化驱动 爬虫 爬取 某电商网站 某风扇 商品数据

小肥狼haoran

1. from selenium import webdriver  # 导入自动化测试模块
   
2. from lxml import etree  # 导入etree模块对HTML内容进行解析
   
3. import time  # 导入时间模块，强制等待用
   
4. 
   
5. browser = webdriver.Chrome()  # 谷歌游览器自动化驱动 实例化
   
6. 
   
7. def main():
   
8.     browser.get('https://www.suning.com/')  # 实例化需要进入的网站
   
9.     browser.maximize_window()  # 游览器最大化，不然无法拿取第一页的总页数
   
10.     browser.find_element_by_id('searchKeywords').send_keys('格力风扇')  # 定位搜索框，输入搜索关键词
    
11.     browser.find_element_by_id('searchSubmit').click()  # 点击首页搜索按钮
    
12.     num = browser.find_element_by_xpath('/html/body/div[8]/div/div[3]/span').text  # 定位第一页的总页数文本
    
13.     num = int(num[2:])  # 将字符串转为整数，方便下面循环多少次使用
    
14.     for page in range(num):
    
15.         scroll()  # 调用滚屏函数
    
16.         time.sleep(0.5)
    
17.         html = browser.page_source  # 网页源码
    
18.         tree = etree.HTML(html)  # 源码给到etree解析
    
19.         li_list = tree.xpath('//div[@id="product-list"]/ul/li')  # xpath规则获取列表
    
20.         for li in li_list:  # 循环取每条数据
    
21.             price = li.xpath(
    
22.                 './/div[@class="price-box"]/span[@class="def-price"]//text()')  # 价格
    
23.             if price == ['\n']:
    
24.                 price = ['暂无', '价格']
    
25.             price = ''.join(price).split()[0]  # 价格
    
26.             info = li.xpath('.//div[@class="title-selling-point"]/a/text()')
    
27.             info = ''.join(info).split()[0]  # 商品详情
    
28.             evaluate = li.xpath('.//div[@class ="evaluate-old clearfix"]//text() ')
    
29.             if evaluate == ['\n']:
    
30.                 evaluate = ['暂无', '评价']
    
31.             evaluate = ''.join(evaluate).split()[0]  # 评价
    
32.             shop_name = li.xpath('.//div[@class="store-stock"]/a/text()')[0]  # 店名
    
33.             label = li.xpath('.//div[@class="sales-label"]//text()')
    
34.             if label == []:
    
35.                 label = ['暂无标签']
    
36.             label = '，'.join(label)  # 商品标签
    
37.             print(price, info, evaluate, shop_name, label)
    
38.         try:  # 异常处理，尝试执行以下代码
    
39.             print(f'{page + 1}页数据采集完成')  # 告知多少页的数据采集完成
    
40.             browser.find_element_by_id('nextPage').click()  # 查询元素id为nextPage好持续翻下一页
    
41.         except Exception as e:  # 所有异常处理
    
42.             print(f'{page + 1}页是最后一页采集完成')  # 因没有下一页点击了，所以数据爬到最后一页，提示爬完了。
    
43. 
    
44. 
    
45. def scroll():  # 滚动屏幕函数
    
46.     for page in range(0, 14000, 1000):  # 每次向下滚动1000px，累计滚动14000px
    
47.         time.sleep(0.2)  # 代码休眠，强制等待0.2秒
    
48.         browser.execute_script(f'window.scroll(0,{page})')  # 从0开始，每次累加1000的数值
    
49.         time.sleep(0.4)  # 代码休眠1是网速加载网页内容，2是让测试驱动模仿真人的样子等待。
    
50. main()  # 调用函数
    
51. browser.quit()  # 关闭游览器

复制代码

以上代码可以让自动化驱动打开一个谷歌游览器，假装人进行数据爬取。经过今天一天的仔细研究学习，圆满完成。后面还有一段保存在exc表格的步骤就没粘贴进来。分享出来给大家学习一下，这些知识点是我最近在学的爬虫的内容。

lscp

收藏个，先

sunshine_8205

小肥狼haoran

lscp 发表于 2024-6-28 09:06
收藏个，先

最后补上了两行代码。调用函数main和关闭游览器，代码结束

小肥狼haoran

sunshine_8205 发表于 2024-6-28 11:33

共勉，一起学习！