爬取豆瓣排行榜

前路

1. import requests
   
2. import lxml.html
   
3. import csv
   
4. 
   
5. #获取目标网页
   
6. doubanUrl = "https://movie.douban.com/top250?start={}&filter="
   
7. 
   
8. # 解析网页
   
9. # 获取网页数据
   
10. def getSource(url):
    
11.     response = requests.get(url)
    
12.     response.encoding = "utf-8"
    
13.     return response.content
    
14. 
    
15. # 定义函数获取每一条电影的信息
    
16. def getEveryItem(source):
    
17.     selector = lxml.html.document_fromstring(source)
    
18. 
    
19.     # 获取每一条电影的信息，并放在一个集合里面
    
20.     movieItemList = selector.xpath('//div[class="info"]') # 获取所有属性info的div标签的信息
    
21. 
    
22.     # 定义一个列表 目的：展示信息
    
23.     movieList = []
    
24. 
    
25.     # 用for循环把电影信息展开
    
26.     for eachMovie in movieItemList:
    
27.         # 保存电影 名字 地址 评分----
    
28.         # 把字典里的信息用列表展示[{ movieDict1}，{movieDict2}]
    
29.         movieDict = {}
    
30.         title = eachMovie.xpath('div[@class="hd"]/a/span[@class="title"]/text()') # 标题
    
31.         otherTitle = eachMovie.xpath('div[@class="hd"]/a/span[@class="other"]/text()')  # 副标题
    
32.         link = eachMovie.xpath('div[@class="hd"]/a/@href')[0] # url
    
33.         star = eachMovie.xpath('div[@class="bd"]/div[@class="star"]/span[@class=""]/text()')[0]
    
34.         quote = eachMovie.xpath('div[@class="bd"]/p[@class="quote"]/span/text()')[0]
    
35.         print(title)
    
36.         print("信息展开成功")
    
37. 
    
38. 
    
39.         #保存到字典中
    
40.         movieDict['title'] = ''.join(title + otherTitle)
    
41.         movieDict['url'] = link
    
42.         movieDict['star'] = star
    
43.         movieDict['quote'] = quote
    
44.         print(movieDict)
    
45.         movieList.append(movieDict)
    
46.         print("保存字典成功")
    
47. 
    
48.     return movieList
    
49. 
    
50. #下载目标网页数据
    
51. 
    
52. def writeData(movieList):
    
53.     with open('./MovieDouban.csv', 'w', encoding = 'utf-8') as f:
    
54.         writer = csv.DictWriter(f,fieldnames=['title','star','quote','url'])
    
55.         writer.writeheader() # 写表头
    
56.         # 传入一个列表，每个元素代表一行
    
57.         for each in movieList:
    
58.             writer.writerow(each)
    
59. 
    
60. 
    
61. if __name__ == '__main__':
    
62.     movieList = []
    
63.     # 分析 250部电影每页25个
    
64.     for i in range(10):
    
65.         # 处理定义好的url
    
66.         pageLink = doubanUrl.format(i*25)
    
67. 
    
68.         #print(pageLink)
    
69. 
    
70.         # 调用获取网页信息函数
    
71.         source = getSource(pageLink)
    
72. 
    
73.         # 获取网页数据
    
74.         movieList += getEveryItem(source)
    
75. 
    
76.     print(movieList[:10])
    
77.     writeData(movieList)
    
78.     print('成功')
    
79. 
    

复制代码

大体步骤及其相关函数：
        1.获取目标网页：doubanUrl = "https://movie.douban.com/top250?start={}&filter="
        2.解析网页：getSource(url):
                2.1得到网页电影信息
                2.2展开网页电影信息
                2.3将展开的信息用字典保存
        3.下载网页数据 ：writeData(movieList)

测试结果为，未爬取到数据

拉了盏灯

看看这个，
https://fishc.com.cn/forum.php?mod=viewthread&tid=120798