鱼C论坛

 找回密码
 立即注册
查看: 2613|回复: 2

求助:写一个爬p站图片的爬虫遇到小问题

[复制链接]
发表于 2017-2-21 22:55:05 | 显示全部楼层 |阅读模式
15鱼币
本帖最后由 什么鬼… 于 2017-2-23 11:28 编辑
  1. import urllib.request
  2. import urllib.parse
  3. import http.cookiejar
  4. import random


  5. email = input('输入邮箱:')
  6. password=input('输入密码:')
  7. url = 'https://accounts.pixiv.net/login?lang=zh&source=pc&view_type=page&ref=wwwtop_accounts_index'
  8. cookie = http.cookiejar.CookieJar()
  9. cjhdr = urllib.request.HTTPCookieProcessor(cookie)
  10. agent_list = ['Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13 '
  11.                ,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6'
  12.               ,'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ;  QIHU 360EE)'
  13.               ]
  14. opener =urllib.request.build_opener(cjhdr)
  15. urllib.request.install_opener(opener)


  16. agent = random.choice(agent_list)
  17. data = {}
  18. data['password']=password
  19. data['pixiv_id']=email
  20. data['post_key']= '42ff0b9f520223dfbc9e6106ca4254ba'
  21. data['ref']='wwwtop_accounts_index'
  22. data['return_to'] = 'http%3A%2F%2Fwww.pixiv.net%2F'
  23. data['source']='pc'

  24. data = urllib.parse.urlencode(data).encode()

  25. req = urllib.request.Request(url,data,origin_req_host='https://accounts.pixiv.net/api/login?lang=zh')
  26. req.add_header('User-Agent',agent)


  27. response = urllib.request.urlopen(req,data)
  28. content = response.read()
复制代码



python版本:python3

最近想写一个爬虫来爬p站的图片,然而途中遇到了很多的问题,一开始是正则表达式不会然后跑去学正则表达式,学完了之后再回去发现不行,看了好久才发现要登录,于是改用post来发送表单,然而现在又遇到了问题,这段代码执行之后就是urllib.error.HTTPError: HTTP Error 400: Bad Request
现在是真的不知道怎么办了,大佬们求助啊

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2017-2-22 20:49:13 From FishC Mobile | 显示全部楼层
自顶....
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2017-2-23 11:30:14 | 显示全部楼层
人工置顶....
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-5-11 16:32

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表