设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › [爬虫]加了headers还是403了,是哪一条代码错了吗？[旧版 ...
返回列表 发新帖
查看: 1521|回复: 1

[已解决][爬虫]加了headers还是403了,是哪一条代码错了吗？[旧版57讲]

[复制链接]
安东诺夫
发表于 2020-8-21 02:31:44 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
下面代码是别人的，视频是14年的，现在煎蛋这网站已经被整改过了，还上了base64加密，所以没边看边打代码，就直接找了别人的代码

但每一行我都看过去了，也没找到什么错误，headers也换成我自己的了还是显示了403 forbidden

但我在IDLE里单单进行这个操作却没问题
IDLE的交互：
>>> import urllib.request as r
>>> b = r.Request('http://jandan.net/ooxx')
>>> b.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36')
>>> r.urlopen(b)
<http.client.HTTPResponse object at 0x7f8629990550>


源代码：

  1. #从加密的煎蛋网的随手拍栏目下载图片
  2. import selenium
  3. import urllib.request
  4. import os
  5. import ssl

  7. ssl._create_default_https_context = ssl._create_unverified_context

  9. def url_open(url):  #返回普通不加密网页的源码(速度快)
  10.         req = urllib.request.Request(url)
  11.         req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36')
  12.         response = urllib.request.urlopen(url)
  13.         html = response.read()
  14.         return html

  16. def url_open_jm(url):   #返回加密网页的源码(速度慢）
  17.         chrome = webdriver.Chrome()
  18.         chrome.get(url)
  19.         html = chrome.page_source
  20.         return html #返回的就是字符串
  21.       
  22. '''
  23. def get_page(url): #得到最新页面的页码数(可以使用不加密读码得到，为了加快速度)
  24.         html = url_open(url)
  25.         
  26.         #然后就是查找 html 中的 'current-comment-page'
  27.         a = html.find( 'current-comment-page') + 23  #加上 23 位偏移就刚到到页码数的第一位数字
  28.         b = html.find(']', a)  #找到 a 位置之后的第一个方括号所在位置的索引坐标
  29.                
  30.         return html[a : b]  #这就是最新的页码数啦
  31. '''

  33. def get_page(url): #得到最新页面的页码数
  34.         html = url_open(url)
  35.         html = html.decode('utf-8') #因为要以字符串的形式查找，所以要 decode

  37.         #然后就是查找 html 中的 'current-comment-page'
  38.         a = html.find( 'current-comment-page') + 23  #加上 23 位偏移就刚到到页码数的第一位数字
  39.         b = html.find(']', a)  #找到 a 位置之后的第一个方括号所在位置的索引坐标
  40.                
  41.         return html[a : b]  #这就是最新的页码数啦

  43. def find_imgs(url):  #给一个页面的链接，返回所有图片地址组成的列表
  44.         html = url_open_jm(url)  #这个必须使用加密打开的方式
  45.         
  46.         img_addrs = []  #声明一个保存图片地址的列表
  47.         
  48.         #查找图片地址
  49.         #加密的网页破解后得到的图像在这里：
  50.         #<img src="http://ww3.sinaimg.cn/mw600/006XNEY7gy1fy66dacugfj30qh0zkdhu.jpg"
  51.         #所以要先找jpg，然后找img src=
  52.         
  53.         a = html.find('.jpg')
  54.         while a != -1:
  55.                 b = html.rfind('img src=', a-100, a) #在 a-100 到 a区间找 'img src='，必须反向查找
  56.                
  57.                 #如果 b 找不到，b 就返回 -1        
  58.                 if b != -1:                        
  59.                         img_addrs.append(html[b+9: a+4])
  60.                
  61.                 a = html.find('.jpg', a+4)
  62.         for each in img_addrs:
  63.                 print(each)

  65.         return img_addrs               
  66.                
  67. def save_imgs(folder, img_addrs):
  68.         for each in img_addrs:
  69.                 filename = each.split('/')[-1]
  70.                 with open(filename, 'wb') as f:
  71.                         img = url_open(each)
  72.                         f.write(img)

  74. def download_figures(folder = 'figures', page = 2):
  75.         os.mkdir(folder)  #创建文件夹
  76.         os.chdir(folder)

  78.         url = "http://jandan.net/ooxx/"  #随手拍栏目的链接，也是最新页面的链接
  79.         page_num = int(get_page(url)) #得到最新页面的页码数

  81.         for i in range(page):
  82.         
  83.                 page_url = url + 'page-' + str(page_num) + '#comments'  #得到要爬取的页面的链接
  84.                 print(page_url)
  85.                 img_addrs = find_imgs(page_url)  #得到页面所有图片的地址，保存为列表
  86.                 save_imgs(folder, img_addrs)  #保存图片到本地文件夹
  87.                 page_num -= 1  #逐步找到前几个页面

  89. if __name__ == '__main__':
  90.         download_figures()
复制代码


最佳答案
月排行榜 / 总排行榜
1q23w31
2020-8-21 10:26:46
代码第十二行
  1. response = urllib.request.urlopen(url)
复制代码
改成
  1. response = urllib.request.urlopen(req)
复制代码

没有请求构造好的请求，导致错误
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

1q23w31
发表于 2020-8-21 10:26:46 | 显示全部楼层    本楼为最佳答案   
代码第十二行
  1. response = urllib.request.urlopen(url)
复制代码
改成
  1. response = urllib.request.urlopen(req)
复制代码

没有请求构造好的请求，导致错误
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-10-31 23:07

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表