[已解决]python课后作业求助：1.写一个登录豆瓣的客户端，总是出现HTTP Error 418

myqf123

"""写一个登录豆瓣的客户端,总是不成功，提示urllib.error.HTTPError: HTTP Error 418:需要怎么改，求指正 """

1. import re
   
2. import urllib.request
   
3. import http.cookiejar
   
4. import urllib.parse
   
5. 
   
6. #豆瓣的登陆url
   
7. loginurl = 'https://www.douban.com/accounts/login'
   
8. #构建一个CookieJar对象实例来保存cookie
   
9. cookiejar = http.cookiejar.CookieJar()
   
10. #使用HttpCookieProcessor()来创建cookie处理器对象，参数为CookieJar()对象
    
11. handler = urllib.request.HTTPCookieProcessor(cookiejar)
    
12. #通过build_opener()来构建opener
    
13. opener = urllib.request.build_opener(handler)
    
14. 
    
15. data = {
    
16.     "form_email":"your email",
    
17.     "form_password":"your password",
    
18.     "source":"index_nav" #没有的话登录不成功
    
19. }
    
20. 
    
21. data = {}
    
22. data['form_email'] = "你的账号"
    
23. data['form_password'] = "你的密码"
    
24. data['source'] = 'index_nav'
    
25. 
    
26. #从首页提交登录,以get方法访问页面，访问之后会自动保存cookie到cookiejar中
    
27. response=opener.open(loginurl, urllib.parse.urlencode(data).encode('utf-8'))
    
28. 
    
29. #验证成功跳转至登录页
    
30. if response.geturl() == "https://www.douban.com/accounts/login":
    
31.     html = response.read().decode('utf-8')
    
32. 
    
33.     #验证码图片地址
    
34.     imgurl = re.search('<img id="captcha_image" src="(.+?)" alt="captcha" class="captcha_image"/>', html)
    
35.     if imgurl:
    
36.         url = imgurl.group(1)
    
37.         #将验证码图片保存至同目录下
    
38.         res = urllib.request.urlretrieve(url, 'v.jpg')
    
39.         #获取captcha-id参数
    
40.         captcha = re.search('<input type="hidden" name="captcha-id" value="(.+?)"/>' ,html)
    
41. 
    
42.         if captcha:
    
43.             vcode = input('请输入图片上的验证码：')
    
44.             data["captcha-solution"] = vcode
    
45.             data["captcha-id"] = captcha.group(1)
    
46.             data["user_login"] = "登录"
    
47.             #提交验证码验证
    
48.             response = opener.open(loginurl, urllib.parse.urlencode(data).encode("utf-8"))
    
49.             ''' 登录成功跳转至首页 '''
    
50.             if response.geturl() == "http://www.douban.com/":
    
51.                 print('login success ! ')

复制代码

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-12-5 13:50:03

1. #豆瓣的登陆url
   
2. # ....
   
3. opener.addheaders = [('User-agent', 'Mozilla')]   # 修改默认的user-agent，否则会被反扒。
   
4. opener = urllib.request.build_opener(handler)

复制代码

老教程都落伍了，建议换个教程。https://gitee.com/Python3WebSpider/Python3WebSpider

跳转到最佳答案楼层

suchocolate

1. #豆瓣的登陆url
   
2. # ....
   
3. opener.addheaders = [('User-agent', 'Mozilla')]   # 修改默认的user-agent，否则会被反扒。
   
4. opener = urllib.request.build_opener(handler)

复制代码

老教程都落伍了，建议换个教程。https://gitee.com/Python3WebSpider/Python3WebSpider

myqf123

suchocolate 发表于 2021-12-5 13:50
老教程都落伍了，建议换个教程。https://gitee.com/Python3WebSpider/Python3WebSpider

感谢，请问下.add_header和.addheaders的效果是一样的吗？他们之间有什么区别？

suchocolate

myqf123 发表于 2021-12-6 10:24
感谢，请问下.add_header和.addheaders的效果是一样的吗？他们之间有什么区别？

效果是一样的，都是修改默认的头中字段的信息。但这两个方法是不同对象的方法：

1. # 1. openner 的 addheaders方法：
   
2. >>> from urllib import request
   
3. >>> url = "https://www.whatismyip.com"
   
4. >>> proxy_support = request.ProxyHandler({'http': '125.108.106.64:9000'})
   
5. >>> opener = request.build_opener(proxy_support)
   
6. >>> dir(opener)
   
7. ['__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_call_chain', '_open', 'add_handler', 'addheaders', 'close', 'error', 'handle_error', 'handle_open', 'handlers', 'open', 'process_request', 'process_response']  # 注意，没有add_headers方法
   
8. >>> type(opener)  # openner对象
   
9. <class 'urllib.request.OpenerDirector'>
   
10. >>> opener.addheaders = [('User-agent', 'Firefox')]
    
11. >>>
    
12. 
    
13. 
    
14. 
    
15. # 2. Request对象的add_header方法
    
16. >>> from urllib import request
    
17. >>> req = request.Request(url='http://www.baidu.com')
    
18. >>> dir(req)
    
19. ['__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_data', '_full_url', '_parse', '_tunnel_host', 'add_header', 'add_unredirected_header', 'data', 'fragment', 'full_url', 'get_full_url', 'get_header', 'get_method', 'has_header', 'has_proxy', 'header_items', 'headers', 'host', 'origin_req_host', 'remove_header', 'selector', 'set_proxy', 'type', 'unredirected_hdrs', 'unverifiable']  # 注意没有addheaders方法
    
20. >>> type(req)  # request对象
    
21. <class 'urllib.request.Request'>
    
22. >>> req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')

复制代码

myqf123

suchocolate 发表于 2021-12-6 11:38
效果是一样的，都是修改默认的头中字段的信息。但这两个方法是不同对象的方法：

感谢解惑！大概明白了