《零基础》（第二版）的豆瓣爬虫代码问题

哈哈怪

1. import requests
   
2. import bs4
   
3. import re
   
4. 
   
5. def open_url(url):
   
6.     proxies = {'http':'127.0.0.1:1080','https':'127.0.0.1:1080'}
   
7.     headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}
   
8.     res = requests.get(url,headers=headers,proxies=proxies)
   
9.     res = requests.get(url,headers=headers)
   
10.     return res
    
11. 
    
12. def find_movies(res):
    
13.     soup = bs4.BeautifulSoup(res.text,'html.parser')
    
14.     movies = []
    
15.     targets = soup.find_all('div',class_='hd')
    
16.     for each in targets:
    
17.         movies.append(each.a.span.text)
    
18.     ranks = []
    
19.     targets = soup.find_all('span',class_='rating_num')
    
20.     for each in targets:
    
21.         ranks.append('评分： %s' % each.text)
    
22.     messages = []
    
23.     targets = soup.find_all('div',class_='bd')
    
24.     for each in targets:
    
25.         try:
    
26.             messages.append(each.p.text.split('\n')[1].strip() + each.p.text.split('\n')[2].strip())
    
27.         except:
    
28.             continue
    
29. 
    
30.     result = []
    
31.     length = len(movies)
    
32.     for i in range(length):
    
33.         result.append(movies[i] + ranks[i] + messages[i] + '\n')
    
34.     return result
    
35. 
    
36. def find_depth(res):
    
37.     soup = bs4.BeautifulSoup(res.text,'html.parser')
    
38.     depth = soup.find('span',class_='next').previous_sibling.previous_sibling.text
    
39.     return int(depth)
    
40. 
    
41. def main():
    
42.     host = 'https://movies.douban.com/top250'
    
43.     res = open_url(host)
    
44.     depth = find_depth(res)
    
45. 
    
46.     result = []
    
47.     for i in range(depth):
    
48.         url = host + '/?start=' + str(25*i)
    
49.         res = open_url(url)
    
50.         result.extend(find_movies(res))
    
51. 
    
52.     with open('豆瓣TOP250电影.txt','w',encoding = 'utf-8') as f:
    
53.         for each in result:
    
54.             f.write(each)
    
55. 
    
56.     if __name__ == '__main__':
    
57.         main()
    

复制代码

这是书上我原本照抄下来的代码 运行没有报错 中间应该没有低级错误 但是运行不报错 但是没有文件生成
麻烦各位大佬看一看我哪里我不问题

哈哈怪

我有这样的疑问 是因为小甲鱼 在后面的网易云音乐的爬虫代码中有一个太明显的错误了 所以我才怀疑是不是这一段中有没有什么错误

本人就对计算机真的零基础

这一段还是要求有网页的基本常识还有计算机的常识

但是我都不清楚 所以这一章额外吃力 基本没自己敲过代码 都是抄的

哈哈怪

盼着各路神仙来指导一下

新手·ing

我寻思着，你的缩进有错吧。

56,57行往前挪

哈哈怪

新手·ing 发表于 2019-7-26 18:08
我寻思着，你的缩进有错吧。

56,57行往前挪

版主 我改完过后 出现了。。。一段报错 懵逼了

新手·ing

哈哈怪 发表于 2019-7-26 20:35
版主 我改完过后 出现了。。。一段报错 懵逼了

什么报错？

哈哈怪

Traceback (most recent call last):
  File "F:\python\lib\site-packages\urllib3\connection.py", line 160, in _new_conn
    (self._dns_host, self.port), self.timeout, **extra_kw)
  File "F:\python\lib\site-packages\urllib3\util\connection.py", line 80, in create_connection
    raise err
  File "F:\python\lib\site-packages\urllib3\util\connection.py", line 70, in create_connection
    sock.connect(sa)
ConnectionRefusedError: [WinError 10061] 由于目标计算机积极拒绝，无法连接。

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "F:\python\lib\site-packages\urllib3\connectionpool.py", line 597, in urlopen
    self._prepare_proxy(conn)
  File "F:\python\lib\site-packages\urllib3\connectionpool.py", line 807, in _prepare_proxy
    conn.connect()
  File "F:\python\lib\site-packages\urllib3\connection.py", line 316, in connect
    conn = self._new_conn()
  File "F:\python\lib\site-packages\urllib3\connection.py", line 169, in _new_conn
    self, "Failed to establish a new connection: %s" % e)
urllib3.exceptions.NewConnectionError: <urllib3.connection.VerifiedHTTPSConnection object at 0x000000000372A358>: Failed to establish a new connection: [WinError 10061] 由于目标计算机积极拒绝，无法连接。

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "F:\python\lib\site-packages\requests\adapters.py", line 449, in send
    timeout=timeout
  File "F:\python\lib\site-packages\urllib3\connectionpool.py", line 641, in urlopen
    _stacktrace=sys.exc_info()[2])
  File "F:\python\lib\site-packages\urllib3\util\retry.py", line 399, in increment
    raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='movies.douban.com', port=443): Max retries exceeded with url: /top250 (Caused by ProxyError('Cannot connect to proxy.', NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x000000000372A358>: Failed to establish a new connection: [WinError 10061] 由于目标计算机积极拒绝，无法连接。')))

During handling of the above exception, another exception occurred:

新手·ing

哈哈怪 发表于 2019-7-26 20:36
Traceback (most recent call last):
  File "F:\python\lib\site-packages%urllib3\connection.py", line ...

你被反爬了

哈哈怪

这个是报错的内容 请问这个内容是什么鬼 里面居然还有中文诶

新手·ing

哈哈怪 发表于 2019-7-26 20:37
这个是报错的内容 请问这个内容是什么鬼 里面居然还有中文诶

简单地说就是人家知道你是爬虫，你要换个代理

哈哈怪

那不用代理可以吗

zltzlt

哈哈怪 发表于 2019-7-27 09:35
那不用代理可以吗

不可以

哈哈怪

zltzlt 发表于 2019-7-27 09:37
不可以

那问一下 现在还有代理能用吗 我直接百度搜的代理 还是会出现这样的问题

还有就是请教一下 为什么一定要用代理