鱼C论坛

 找回密码
 立即注册
查看: 3485|回复: 0

按照甲鱼老师写的爬虫怎么老是403错误,求大神帮忙看看

[复制链接]
发表于 2015-8-6 10:23:58 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
  1. import urllib.request
  2. import os
  3. import random

  4. def url_open(url):
  5.     req=urllib.request.Request(url)
  6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.125 Safari/537.36')
  7.    
  8.     proxies=['203.190.251.116:80','218.89.170.114:8888','122.96.59.105:843','120.193.146.93:843','122.96.59.105:81','61.174.60.181:4824']
  9.     proxy=random.choice(proxies)
  10.    
  11.     proxy_support=urllib.request.ProxyHandler({'http':proxy})
  12.     opener=urllib.request.build_opener(proxy_support)
  13.     urllib.request.install_opener(opener)
  14.    
  15.     response=urllib.request.urlopen(url)
  16.     html=response.read()
  17.    
  18.     return html

  19. def get_page(url):
  20.     html=url_open(url).decode('utf-8')
  21.     a=html.find('current-comment-page')+23
  22.     b=html.find(']',a)
  23.     return html[a:b]

  24. def find_imgs(url):
  25.     html=url_open(url).decode('utf-8')
  26.     img_addrs=[]
  27.    
  28.     a=html.find('img src=')
  29.    
  30.     while a!=-1:
  31.         b=html.final('.jpg',a,a+255)
  32.         if b!=-1:
  33.             img_addrs.append(html[a+9:b+4])
  34.         else:
  35.             b=a+9
  36.         a=html.final('img src=',b)
  37.     return img_addrs   

  38. def save_imgs(folder,img_addrs):
  39.     for each in img_addrs:
  40.         filename=each.split('/')[-1]
  41.         with open(filename,'wb') as f:
  42.             img=url_open(each)
  43.             f.write(img)

  44. def download_mm(folder='ooxx',pages=10):
  45.     os.mkdir(folder)
  46.     os.chdir(folder)
  47.    
  48.     url="http://jandan.net/ooxx/"
  49.     page_num=int(get_page(url))
  50.    
  51.     for i in range(pages):
  52.         page_num-=i
  53.         page_url=url+'page-'+str(page_num)+'#comments'
  54.         img_addrs=find_imgs(page_url)
  55.         save_imgs(folder, img_addrs)
  56.         
  57. if __name__=='__main__':
  58.     download_mm()
  59.    
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-17 02:28

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表