爬虫:爬取豆瓣TOP250(Beautifulsoup&lxml)

pegasustiger

学习学习

totoro12366

学习学习

Gaizi

6

kuxiao

太强了加油

froeverX

学习一下

mwy1024

一位小白

厉害

Alextssui

111

ryan2836

来学习了

小肥狼haoran

1. from selenium import webdriver
   
2. import time
   
3. from lxml import etree
   
4. 
   
5. browser = webdriver.Chrome()
   
6. 
   
7. 
   
8. def main():
   
9.     browser.get("https://movie.douban.com/top250?start=0&filter=")
   
10.     for page in range(10):
    
11.         browser.execute_script('window.scroll(0,document.documentElement.scrollHeight)')  # 拉动滚动条到页面底部
    
12.         html = browser.page_source  # .page_source获取网页源码
    
13.         tree = etree.HTML(html)
    
14.         for div in tree.xpath('//ol[@class="grid_view"]/li/div'):
    
15.             title1 = div.xpath('.//div[@class="hd"]/a/span[1]/text()')[0]  # 电影名信息1
    
16.             title2 = div.xpath('.//div[@class="hd"]/a/span[2]/text()')[0]  # 电影名信息2
    
17.             title3 = div.xpath('.//div[@class="hd"]/a/span[3]/text()')  # 电影名信息3
    
18.             if title3 == []:
    
19.                 title3 = ['/ 暂无标签']
    
20.             title3 = ''.join(title3).replace('\\xa0/\\xa0', '/')  # 上面3电影名信息拼起来并替换掉多的\xa0/\xa0
    
21.             info1 = div.xpath('.//div[@class="bd"]/p//text()')  # 取导演，年份，国家的详细信息
    
22.             # print(info1)
    
23.             info = '+'.join(info1).replace('\n', '').replace(' ', '')
    
24.             director = info.split("主")[0]  # 导演 用主字 分割 字符串 并取列表下标0的部分
    
25.             year_country_type = info.split("+")  # 将字符串info 用+分割出 [主演，年、 国家、电影类型，电影描述] 为列表类型
    
26.             # print(len(year_country_type))   # 查看列表长度区别
    
27.             if len(year_country_type) > 2:  # 用列表长度判断 有电影描述列表长度=5
    
28.                 year_country_type = year_country_type[1]  # 获取列表下标为1的年、 国家、电影类型
    
29.             else:  # 没有电影描述 列表长度为2
    
30.                 year_country_type = year_country_type[-1]  # 获取列表下标为-1的年、 国家、电影类型
    
31.             # print(year_country_type)  # 测试，寄生虫影片无电影描述，成功走if判断获取正确的年、 国家、电影类型
    
32.             star = div.xpath('.//div[@class="star"]/span[1]/@class')[0]  # 电影评分几颗星
    
33.             if star == 'rating5-t':  # 找到规律的关键字，加个判断和符号，美观一点
    
34.                 star = '5星★★★★★'
    
35.             elif star == 'rating45-t':
    
36.                 star = '4.5星★★★★⭐️'
    
37.             else:
    
38.                 star = '4星★★★★ ️'  # 经过测试筛选250个电影没有低于4星的，所以判断也只到4星截止
    
39.             score = div.xpath('.//div[@class="star"]/span[2]/text()')[0] + '分'  # 满分10分，评价分数
    
40.             man_score = div.xpath('.//div[@class="star"]/span[4]/text()')[0]  # 评分人数
    
41.             if len(info1) > 2:  # 判断此列表长度，筛选出没有电影描述的影片，给其替换一个暂无描述的的数据
    
42.                 quote = div.xpath('.//div[@class="bd"]/p[2]/span/text()')[0]
    
43.             else:
    
44.                 quote = '暂无描述'
    
45.             print(title1, title2, title3, director, year_country_type, star, score, man_score, quote)
    
46.         browser.find_element_by_xpath('//span[@class="next"]').click()  # 游览器在xpath规则内匹配一次元素 找span标签单击鼠标
    
47. 
    
48. 
    
49. main()
    
50. time.sleep(3)
    
51. browser.quit()  # 退出游览器或者browser.close() 关闭当前标签页

复制代码

好巧,前段时间我也学爬这个来着, 不过我学的是用selenium自动化爬取的, 需要提前准备好 自动化的驱动 的环境

小肥狼haoran

附上一张爬取下来的部分数据截图

xiaohe.he

学习