关于爬取豆瓣电影top250

徐汉岚

1. import requests
   
2. from lxml import html
   
3. 
   
4. 
   
5. def open_url(url):
   
6.     # 使用代理
   
7.     # proxies = {"http": "127.0.0.1:1080", "https": "127.0.0.1:1080"}
   
8.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36'}
   
9. 
   
10.     # res = requests.get(url, headers=headers, proxies=proxies)
    
11.     res = requests.get(url, headers=headers)
    
12. 
    
13.     return res
    
14. #获取每一页的url
    
15. def getPage():
    
16.     urls=[]
    
17.     for i in range(10):
    
18.         baseurl="https://movie.douban.com/top250?start={}&filter=".format(i*25)
    
19.         urls.append(baseurl)
    
20.         print(urls)
    
21.     return urls      
    
22. #爬取每一页的相关内容   
    
23. def crawl(url):
    
24.     res=open_url(url)
    
25.     selector=html.fromstring(res.content)
    
26.     Movies = selector.xpath('//div[@class="info"]')
    
27.     result=[]
    
28.     for eachMovie in Movies:
    
29.         #用xpath爬取内容
    
30.         title = eachMovie.xpath('//div[@class="hd"]/a/span[@class="title"]/text()')[0]
    
31.         movieInfo = eachMovie.xpath('//div[@class="bd"]/p/text()')[0]
    
32.         star = eachMovie.xpath('//div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()')[0]
    
33.         quote = eachMovie.xpath('//div[@class="bd"]/p[@class="quote"]/span/text()')[0]
    
34.         result.append(title+movieInfo+star+quote+'\n')
    
35.     filename='豆瓣top250.txt'
    
36.     with open(filename,'w',encoding="utf-8") as f:
    
37.         for each in result:
    
38.             f.write(each)
    
39.    
    
40. 
    
41. 
    
42. if __name__=="__main__":
    
43.     for i in getPage():
    
44.         crawl(i)

复制代码

用了一点xpath，不知道为什么什么都爬取不到

Kamikid

你好，

根据你的代码分析，有一下一些地方需要注意和思考：

1. xpath里需要每次调换到下一同级节点，这样才不会一直停留在同一级，提示：following-sibling
2. 输出文件的代码需要放到main里面，合并着输出全部250个数据。