[已解决][爬虫]加了headers还是403了,是哪一条代码错了吗？[旧版57讲]

安东诺夫

下面代码是别人的，视频是14年的，现在煎蛋这网站已经被整改过了，还上了base64加密，所以没边看边打代码，就直接找了别人的代码

但每一行我都看过去了，也没找到什么错误，headers也换成我自己的了还是显示了403 forbidden

但我在IDLE里单单进行这个操作却没问题
IDLE的交互：
>>> import urllib.request as r
>>> b = r.Request('http://jandan.net/ooxx')
>>> b.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36')
>>> r.urlopen(b)
<http.client.HTTPResponse object at 0x7f8629990550>

---

源代码：

1. #从加密的煎蛋网的随手拍栏目下载图片
   
2. import selenium
   
3. import urllib.request
   
4. import os
   
5. import ssl
   
6. 
   
7. ssl._create_default_https_context = ssl._create_unverified_context
   
8. 
   
9. def url_open(url):  #返回普通不加密网页的源码(速度快)
   
10.         req = urllib.request.Request(url)
    
11.         req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36')
    
12.         response = urllib.request.urlopen(url)
    
13.         html = response.read()
    
14.         return html
    
15. 
    
16. def url_open_jm(url):   #返回加密网页的源码(速度慢）
    
17.         chrome = webdriver.Chrome()
    
18.         chrome.get(url)
    
19.         html = chrome.page_source
    
20.         return html #返回的就是字符串
    
21.       
    
22. '''
    
23. def get_page(url): #得到最新页面的页码数(可以使用不加密读码得到，为了加快速度)
    
24.         html = url_open(url)
    
25.         
    
26.         #然后就是查找 html 中的 'current-comment-page'
    
27.         a = html.find( 'current-comment-page') + 23  #加上 23 位偏移就刚到到页码数的第一位数字
    
28.         b = html.find(']', a)  #找到 a 位置之后的第一个方括号所在位置的索引坐标
    
29.                
    
30.         return html[a : b]  #这就是最新的页码数啦
    
31. '''
    
32. 
    
33. def get_page(url): #得到最新页面的页码数
    
34.         html = url_open(url)
    
35.         html = html.decode('utf-8') #因为要以字符串的形式查找，所以要 decode
    
36. 
    
37.         #然后就是查找 html 中的 'current-comment-page'
    
38.         a = html.find( 'current-comment-page') + 23  #加上 23 位偏移就刚到到页码数的第一位数字
    
39.         b = html.find(']', a)  #找到 a 位置之后的第一个方括号所在位置的索引坐标
    
40.                
    
41.         return html[a : b]  #这就是最新的页码数啦
    
42. 
    
43. def find_imgs(url):  #给一个页面的链接，返回所有图片地址组成的列表
    
44.         html = url_open_jm(url)  #这个必须使用加密打开的方式
    
45.         
    
46.         img_addrs = []  #声明一个保存图片地址的列表
    
47.         
    
48.         #查找图片地址
    
49.         #加密的网页破解后得到的图像在这里：
    
50.         #<img src="http://ww3.sinaimg.cn/mw600/006XNEY7gy1fy66dacugfj30qh0zkdhu.jpg"
    
51.         #所以要先找jpg，然后找img src=
    
52.         
    
53.         a = html.find('.jpg')
    
54.         while a != -1:
    
55.                 b = html.rfind('img src=', a-100, a) #在 a-100 到 a区间找 'img src='，必须反向查找
    
56.                
    
57.                 #如果 b 找不到，b 就返回 -1        
    
58.                 if b != -1:                        
    
59.                         img_addrs.append(html[b+9: a+4])
    
60.                
    
61.                 a = html.find('.jpg', a+4)
    
62.         for each in img_addrs:
    
63.                 print(each)
    
64. 
    
65.         return img_addrs               
    
66.                
    
67. def save_imgs(folder, img_addrs):
    
68.         for each in img_addrs:
    
69.                 filename = each.split('/')[-1]
    
70.                 with open(filename, 'wb') as f:
    
71.                         img = url_open(each)
    
72.                         f.write(img)
    
73. 
    
74. def download_figures(folder = 'figures', page = 2):
    
75.         os.mkdir(folder)  #创建文件夹
    
76.         os.chdir(folder)
    
77. 
    
78.         url = "http://jandan.net/ooxx/"  #随手拍栏目的链接，也是最新页面的链接
    
79.         page_num = int(get_page(url)) #得到最新页面的页码数
    
80. 
    
81.         for i in range(page):
    
82.         
    
83.                 page_url = url + 'page-' + str(page_num) + '#comments'  #得到要爬取的页面的链接
    
84.                 print(page_url)
    
85.                 img_addrs = find_imgs(page_url)  #得到页面所有图片的地址，保存为列表
    
86.                 save_imgs(folder, img_addrs)  #保存图片到本地文件夹
    
87.                 page_num -= 1  #逐步找到前几个页面
    
88. 
    
89. if __name__ == '__main__':
    
90.         download_figures()

复制代码

最佳答案

月排行榜 / 总排行榜

1q23w31

2020-8-21 10:26:46

代码第十二行

1. response = urllib.request.urlopen(url)

复制代码

改成

1. response = urllib.request.urlopen(req)

复制代码

没有请求构造好的请求，导致错误

跳转到最佳答案楼层

1q23w31

代码第十二行

1. response = urllib.request.urlopen(url)

复制代码

改成

1. response = urllib.request.urlopen(req)

复制代码

没有请求构造好的请求，导致错误