[求助] 爬豆瓣Top250的亿点小问题

WangJS

爬虫的前面都没有问题



就是到了第10页,有四个电影没有简介



就出现了简介与电影名对不上的问题

因为zip的问题，最后面4个电影都没有保存到列表里

我自己也想了个办法：
就是判断一下有没有<p class="quote">这个标签，没有就把简介一项设为空的

最后发现自己不会爬取一小部分的源代码
所以来求助了



这是我现在的代码：

1. import requests
   
2. import openpyxl
   
3. from lxml import etree
   
4. 
   
5. """
   
6. 先创建一个表格
   
7. """
   
8. 
   
9. # 实例化
   
10. wb = openpyxl.Workbook()
    
11. sheet = wb.active
    
12. sheet.title = 'Top250'
    
13. sheet.append(['序号', '名称', '评分', '简介'])
    
14. sheet.column_dimensions['B'].width = 30
    
15. 
    
16. """
    
17. 爬虫 + 写入表格
    
18. """
    
19. # 请求头
    
20. headers = {
    
21.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
    
22. # 第一页的url
    
23. url = "https://movie.douban.com/top250?start=0&filter="
    
24. 
    
25. # 共10页，循环10次
    
26. for zzz in range(10):
    
27.     # 获取源代码
    
28.     Res = requests.get(url, headers=headers).text
    
29.     # 解析代码
    
30.     data = etree.HTML(Res)
    
31.     # 获取电影相关
    
32.     index = data.xpath('//em[@class=""]')
    
33.     name = data.xpath('//div[@class="hd"]//span[@class="title"][1]')
    
34.     score = data.xpath('//span[@class ="rating_num"]')
    
35.     Introduction = data.xpath('//p[@class="quote"]/span[@class="inq"]')
    
36.     # 打印单个电影相关
    
37.     for dx, n, s, i, x in zip(index, name, score, Introduction, range(1, 251)):
    
38.         index_text = dx.text
    
39.         name_text = n.text
    
40.         score_text = s.text
    
41.         Introduction_text = i.text
    
42. 
    
43.         end_list = [index_text, name_text, score_text, Introduction_text]
    
44. 
    
45.         # print(end_list)
    
46.         sheet.append(end_list)
    
47.         if zzz != 9:
    
48.             z_url = data.xpath('//span[@class="next"]//@href')[0]
    
49.     # 拼接下一页链接
    
50.     url = 'https://movie.douban.com/top250' + z_url
    
51. 
    
52. """
    
53. 保存表格
    
54. """
    
55. 
    
56. wb.save(r"C:\Users\86185\Desktop\豆瓣Top250.xlsx")
    
57. print('保存成功！')

复制代码

先谢谢大佬们了

qiuyouzhi

最后发现自己不会爬取一小部分的源代码

这个是什么意思？

WangJS

qiuyouzhi 发表于 2020-6-7 15:52
这个是什么意思？

我想把bd标签里的所有代码爬下来
然后判断有没有p class="quote"
但是……不会啊

qiuyouzhi

WangJS 发表于 2020-6-7 15:55
我想把bd标签里的所有代码爬下来
然后判断有没有p class="quote"
但是……不会啊

你直接用xpath判断呗
xpath('/p[@class="quote"]')
/p前面填路径，然后看列表是否为空不就得了

WangJS

qiuyouzhi 发表于 2020-6-7 16:08
你直接用xpath判断呗
xpath('/p[@class="quote"]')
/p前面填路径，然后看列表是否为空不就得了

具体咋做呢？

帮忙改一下呗
我自己做的就是没有这个标签就直接跳过了

Twilight6

qiuyouzhi 发表于 2020-6-7 16:08
你直接用xpath判断呗
xpath('/p[@class="quote"]')
/p前面填路径，然后看列表是否为空不就得了

这样不行吧，Xpath 如果没匹配到会直接忽略掉这次匹配，匹配下一个对应的

WangJS

Twilight6 发表于 2020-6-7 17:30
这样不行吧，Xpath 如果没匹配到会直接忽略掉这次匹配，匹配下一个对应的

是啊，都没有没有这个标签

Twilight6

WangJS 发表于 2020-6-10 17:04
是啊，都没有没有这个标签

  过了 0202年了才回复，我已经是这个账号的 第九代传人了

WangJS

Twilight6 发表于 2020-6-10 17:06
过了 0202年了才回复，我已经是这个账号的 第九代传人了

Mike_python小

Twilight6 发表于 2020-6-10 17:06
过了 0202年了才回复，我已经是这个账号的 第九代传人了

？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？