[已解决]豆瓣爬取问题

83519489

豆瓣爬取电影TOP250遇到匹配的问题，标签下内容数量不等，按照现有代码只可以匹配一个信息，麻烦大神解答下
需要爬取的内容如下：
<br>
<span class="pl">类型:</span>
<span property="v:genre">剧情</span>
/
<span property="v:genre">喜剧</span>
/
<span property="v:genre">爱情</span>
/
<span property="v:genre">战争</span>
<br>

爬取的代码如下：

1. import requests
   
2. from lxml import etree
   
3. import time
   
4. import csv
   
5. import re
   
6. 
   
7. headers={
   
8.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
   
9. }
   
10. #写入请求头
    
11. fp = open('C:\doupoxiaoshuo\doubanshoudong.csv','wt',newline='',encoding='utf-8')
    
12. writer= csv.writer(fp)
    
13. writer.writerow(('title','leixing','time_out','lanuage'))
    
14. #创建CSV文件，写入首行
    
15. def get_movie_url(url):
    
16.     res=requests.get(url,headers=headers)
    
17.     response=etree.HTML(res.text)
    
18.     movie_hrefs=response.xpath('//div[@class="hd"]/a/@href')#请求网站信息爬取需要的URL
    
19.     for movie_href in movie_hrefs:
    
20.         get_movie_info(movie_href)#循环爬取URL
    
21. def get_movie_info(url):
    
22.     res=requests.get(url,headers=headers)
    
23.     response=etree.HTML(res.text)#进入需要爬取的URL页面
    
24.     try:
    
25.         title=response.xpath('//*[@id="content"]/h1/span[1]/text()')[0]
    
26.         leixing=re.findall('<span property="v:genre">(.*?)分钟</span>',res.text)[0]
    
27.         time_out=re.findall('<span property="v:runtime" content=".*?">(.*?)分钟</span>',res.text,re.S)[0]
    
28.         lanuage=re.findall('<span class="pl">制片国家/地区:</span>(.*?)<br/>',res.text,re.S)[0]
    
29.         writer.writerow((title,leixing,time_out,lanuage))
    
30. #爬取需要的信息并写入CSV
    
31.     except IndexError:
    
32.         pass
    
33. #出现错误跳过
    
34. 
    
35. if __name__ =='__main__':
    
36.     urls=['https://movie.douban.com/top250?start={}'.format(str(i))for i in range(0,50,25)]
    
37.     for url in urls:
    
38.         get_movie_url(url)
    
39.         time.sleep(2)
    
40. #循环爬取所有电影的详细信息

复制代码

最佳答案

月排行榜 / 总排行榜

彩虹七号

2019-8-22 12:46:58

pl_list = []
pl = response.xpath('//*[@id="info"]/span[@property="v:genre"]')
for i in pl:
        pl_list.append(i.text)

跳转到最佳答案楼层

彩虹七号

pl_list = []
pl = response.xpath('//*[@id="info"]/span[@property="v:genre"]')
for i in pl:
        pl_list.append(i.text)

83519489

彩虹七号 发表于 2019-8-22 12:46
pl_list = []
pl = response.xpath('//*[@id="info"]/span[@property="v:genre"]')
for i in pl:

感谢提供了思路~将获取的数据添加进数组，然后循环添加进数组，实际代码中会因为数组中的数据没有清除在下一个循环继续使用旧数组数据，我再看看应该怎么处理，感谢