爬取豆瓣新片榜

233倔强不秃

前言：

        爬虫入门基本上有将近一个月了，从urllib开始，bs4，正则，requests库，这一个月没之前学习那么积极了。主观原因是因为自己浮躁了，客观原因我认为是现在大多数爬虫教学都稍微过时，很多网站早已加设了反爬机制，

导致课上了实例不能得以验证，从而大大降低了学习的兴趣和动力。这一个月来的心得就是：不懂就查，看不懂接着查，不断尝试，多去找视频学习，多动手练，弄清楚一些关键词再去看代码或者文章可能会更好。

一、整体思路：

        请求头中设置了User-Agent，用了requests库的session方法模拟登陆获取cookie，然后就是正则表达式的编写（这个正则实在是太简单了。。。），其实不用正则也可以。从HTML文档中提取出榜单、链接和海报的地址，然后

分别保存，保存时注意格式。

二、遇到的问题：

        保存格式的问题。因为榜单中有这样一个电影：《1/2的魔法》，这样即使我用了中文空格的补齐，但还是在这里出现了差错。还有就是这些符号：【'\\', '"', '/', '*', '?', '<', '>', '|', ':'】，它们都是Windows不支持的文件名。

也就是说在文件名中出现这些符号就会报错，所以我在以电影名为名称保存海报时就遇到了这样的错误。我的解决方案是用“&”将非法字符替换。

三、源代码：

1. #爬取豆瓣电影新片榜
   
2. import requests
   
3. import re
   
4. 
   
5. 
   
6. def getHTML(url):
   
7.     try:
   
8.         head = {'User-Agent' :
   
9.                 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}
   
10.         data = {'username' : 'xxxxxx',
    
11.                 'password' : 'xxxxxx'}
    
12.         login_url = 'https://accounts.douban.com/passport/login?source=movie'
    
13.         #登陆
    
14.         session = requests.session()    #创建session对象
    
15.         session.post(login_url, data=data, headers=head)
    
16.         r = session.get(url, headers=head, timeout=30)
    
17.         r.raise_for_status()
    
18.         r.encoding = r.apparent_encoding
    
19.         return r
    
20.     except:
    
21.         print('网页打开错误！')
    
22. 
    
23. 
    
24. def parseHTML(html, mlist, mbills):
    
25.     try:
    
26.         movie_info = r'<a class="nbg" href="(.+)" +title="(.+)">'
    
27.         mlist.extend(re.findall(movie_info, html))
    
28.         movie_imgs = r'"(.+)" *width="75'
    
29.         mbills.extend(re.findall(movie_imgs, html))
    
30.     except:
    
31.         print('网页解析错误！')
    
32. 
    
33. 
    
34. def saveMovieList(mlist):
    
35.     try:
    
36.         tplt = "\t\t{0:^8}\t\t{1:{3}^10}\t\t{2:^10}\n\n"
    
37.         with open('F:\\py爬虫\\demo\\豆瓣新片榜\\新片排行榜.txt', 'w') as f:
    
38.             f.write(tplt.format('排名', '电影名称', '资源链接', chr(12288)))
    
39.             num = 1
    
40.             for each in mlist:
    
41.                 f.write(tplt.format(num, each[1], each[0], chr(12288)))
    
42.                 num += 1
    
43.             print('读取完成！')
    
44.     except:
    
45.         print('保存榜单错误！')
    
46. 
    
47.    
    
48. def downloadMovieBills(mbills, mlist):
    
49.     try:
    
50.         index = 0
    
51.         illegal = ['\\', '"', '/', '*', '?', '<', '>', '|', ':']    #命名时的非法字符
    
52.         for each in mbills:
    
53.             name = mlist[index][1]
    
54.             
    
55.             for i in name:      #非法字符都替换为“&”
    
56.                 if i in illegal:
    
57.                     name = name.replace(i, '&')
    
58.                     
    
59.             with open('F:\\py爬虫\\demo\\豆瓣新片榜\\电影海报\\'+name+'.jpg', 'wb') as f:
    
60.                 img = getHTML(each).content
    
61.                 f.write(img)     
    
62.             index += 1
    
63.         print('下载完成！')         
    
64.     except:
    
65.         print('下载海报错误！')
    
66. 
    
67. 
    
68. def main():
    
69.     url = 'https://movie.douban.com/chart'
    
70.     movies_list = []    #电影排行榜
    
71.     movies_bills = []   #电影海报链接
    
72.     html = getHTML(url).text
    
73.     parseHTML(html, movies_list, movies_bills)  #解析HTML
    
74.     saveMovieList(movies_list)  #保存电影排行榜单
    
75.     downloadMovieBills(movies_bills, movies_list)    #下载电影海报
    
76. 
    
77. 
    
78. if __name__ == '__main__':
    
79.     main()
    
80.    
    

复制代码

四、心得：

        尽量学会独立的解决问题，学习的过程中不可避免遇到很难理解的东西，这些东西往往需要花时间去啃，从而加深理解变为已用。冰冻三尺非一日之寒。

五、资源下载

豆瓣新片榜.rar (233.74 KB, 下载次数: 8)

2020-4-7 01:31 上传

点击文件名下载附件

Hello.

鼓励