[已解决]python豆瓣登陆问题

那位大人

代码如下

1. import re
   
2. import urllib.request
   
3. from http.cookiejar import CookieJar
   
4. 
   
5. # 豆瓣的登录url
   
6. loginurl = 'https://www.douban.com/accounts/login'
   
7. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
   
8. cookie = CookieJar()
   
9. opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor)
   
10. opener.addheaders = [headers]
    
11. 
    
12. data = {
    
13.     "form_email":"your email",
    
14.     "form_password":"your password",
    
15.     "source":"index_nav"
    
16. }
    
17. data = {}
    
18. data['form_email'] = '你的账号'
    
19. data['form_password'] = '你的密码'
    
20. data['source'] = 'index_nav'
    
21. 
    
22. response = opener.open(loginurl, urllib.parse.urlencode(data).encode('utf-8'))
    
23. 
    
24. #验证成功跳转至登录页
    
25. if response.geturl() == "https://www.douban.com/accounts/login":
    
26.     html = response.read().decode()
    
27.    
    
28.     #验证码图片地址
    
29.     imgurl = re.search('<img id="captcha_image" src="(.+?)" alt="captcha" class="captcha_image"/>', html)
    
30.     if imgurl:
    
31.         url = imgurl.group(1)
    
32.         # 将验证码图片保存至同目录下
    
33.         res = urllib.request.urlretrieve(url, 'v.jpg')
    
34. 
    
35.         # 获取captcha-id参数
    
36.         captcha = re.search('<input type="hidden" name="captcha-id" value="(.+?)"/>' ,html)
    
37. 
    
38.         if captcha:
    
39.             vcode = input('请输入图片上的验证码：')
    
40.             data["captcha-solution"] = vcode
    
41.             data["captcha-id"] = captcha.group(1)
    
42.             data["user_login"] = "登录"
    
43. 
    
44.             # 提交验证码验证
    
45.             response = opener.open(loginurl, urllib.parse.urlencode(data).encode('utf-8'))
    
46. 
    
47.             # 登录成功跳转至首页 '''
    
48.             if response.geturl() == "http://www.douban.com/":
    
49.                 print('登录成功！')

复制代码

为什么出现这种错误，找了好久都不知道怎么改
Traceback (most recent call last):
  File "F:/WebSpider/54/douban.py", line 22, in <module>
    response = opener.open(loginurl, urllib.parse.urlencode(data).encode('utf-8'))
  File "C:\Users\LENOV\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 522, in open
    req = meth(req)
  File "C:\Users\LENOV\AppData\Local\Programs\Python\Python38\lib\urllib\request.py", line 1271, in do_request_
    for name, value in self.parent.addheaders:
ValueError: not enough values to unpack (expected 2, got 1)

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-1-23 10:07:48

那位大人 发表于 2021-1-23 09:52
是headers不同的问题吗，我用我浏览器查的豆瓣headers，这跟你给的不一样；还有，运行倒是没错了，但啥 ...

headers写多种（mozilla、applewebkit，chrome）反倒可能触发反扒。headers只要不是默认的python-urllib，一般不会触发反扒。豆瓣登陆判断没那么简单，一下是以前别人写的：

1. import requests
   
2. from lxml import etree
   
3. 
   
4. 
   
5. def main():
   
6.     url = 'https://accounts.douban.com/j/mobile/login/basic'
   
7.     headers = {'user-agent': 'firefox',
   
8.                'X-Requested-With': 'XMLHttpRequest',
   
9.                'cookie': 'bid=hIYyIduorJA; douban-fav-remind=1; __utma=30149280.307390223.1595495492.1596504502.1598348956.4; __utmz=30149280.1598348956.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/passport/login; __gads=ID=e5de2b79763a1dbd:T=1596504503:S=ALNI_Ma9hnIcfLisdJZ13EZO1GHBsanigg; apiKey=; _pk_id.100001.2fad=20a3a4214f898ade.1598348634.1.1598351524.1598348634.; _pk_ses.100001.2fad=*; last_login_way=account; push_noty_num=0; push_doumail_num=0; __utmc=30149280; __utmv=30149280.14229; douban-profile-remind=1; ps=y'}
   
10.     data = dict()
    
11.     data['ck'] = '_J_B'
    
12.     data['name'] = '填入账号'
    
13.     data['password'] = '填入密码'
    
14.     data['remember'] = 'false'
    
15.     data['ticket'] = ''
    
16.     r = requests.post(url, headers=headers, data=data)
    
17.     result = r.json()
    
18.     print(result['description'])
    
19. 
    
20. 
    
21. if __name__ == '__main__':
    
22.     main()

复制代码

可以看到还得用cookie，判断也不是靠返回的header里的url判断，要看返回的json数据。

跳转到最佳答案楼层

suchocolate

很少用urllib了，好像是headers给的少了，随便加1个其他头就过了：

1. loginurl = 'https://www.douban.com/accounts/login'
   
2. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)', 'Connection': 'keep-alive'}
   
3. cookie = CookieJar()
   
4. handler = urllib.request.HTTPCookieProcessor(cookie)
   
5. opener = urllib.request.build_opener(handler)
   
6. opener.addheaders = [headers]

复制代码

那位大人

suchocolate 发表于 2021-1-22 17:58
很少用urllib了，好像是headers给的少了，随便加1个其他头就过了：

headers给的少了是什么意思，我按照你的格式修改了一下，还是不行，一样的错误

suchocolate

那位大人 发表于 2021-1-22 19:06
headers给的少了是什么意思，我按照你的格式修改了一下，还是不行，一样的错误

我这没有输出报错：

1. import re
   
2. import urllib.request
   
3. from http.cookiejar import CookieJar
   
4. 
   
5. # 豆瓣的登录url
   
6. loginurl = 'https://www.douban.com/accounts/login'
   
7. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)', 'Connection': 'keep-alive'}
   
8. cookie = CookieJar()
   
9. handler = urllib.request.HTTPCookieProcessor(cookie)
   
10. opener = urllib.request.build_opener(handler)
    
11. opener.addheaders = [headers]
    
12. 
    
13. data = {
    
14.     "form_email": "your email",
    
15.     "form_password": "your password",
    
16.     "source": "index_nav"
    
17. }
    
18. 
    
19. 
    
20. response = opener.open(loginurl, urllib.parse.urlencode(data).encode('utf-8'))
    
21. 
    
22. # 验证成功跳转至登录页
    
23. if response.geturl() == "https://www.douban.com/accounts/login":
    
24.     html = response.read().decode()
    
25. 
    
26.     # 验证码图片地址
    
27.     imgurl = re.search('<img id="captcha_image" src="(.+?)" alt="captcha" class="captcha_image"/>', html)
    
28.     if imgurl:
    
29.         url = imgurl.group(1)
    
30.         # 将验证码图片保存至同目录下
    
31.         res = urllib.request.urlretrieve(url, 'v.jpg')
    
32. 
    
33.         # 获取captcha-id参数
    
34.         captcha = re.search('<input type="hidden" name="captcha-id" value="(.+?)"/>', html)
    
35. 
    
36.         if captcha:
    
37.             vcode = input('请输入图片上的验证码：')
    
38.             data["captcha-solution"] = vcode
    
39.             data["captcha-id"] = captcha.group(1)
    
40.             data["user_login"] = "登录"
    
41. 
    
42.             # 提交验证码验证
    
43.             response = opener.open(loginurl, urllib.parse.urlencode(data).encode('utf-8'))
    
44. 
    
45.             # 登录成功跳转至首页 '''
    
46.             if response.geturl() == "http://www.douban.com/":
    
47.                 print('登录成功！')

复制代码

那位大人

suchocolate 发表于 2021-1-22 19:58
我这没有输出报错：

是headers不同的问题吗，我用我浏览器查的豆瓣headers，这跟你给的不一样；还有，运行倒是没错了，但啥也没有出现，就空白一片，没有验证码输入的提示

suchocolate

那位大人 发表于 2021-1-23 09:52
是headers不同的问题吗，我用我浏览器查的豆瓣headers，这跟你给的不一样；还有，运行倒是没错了，但啥 ...

headers写多种（mozilla、applewebkit，chrome）反倒可能触发反扒。headers只要不是默认的python-urllib，一般不会触发反扒。豆瓣登陆判断没那么简单，一下是以前别人写的：

1. import requests
   
2. from lxml import etree
   
3. 
   
4. 
   
5. def main():
   
6.     url = 'https://accounts.douban.com/j/mobile/login/basic'
   
7.     headers = {'user-agent': 'firefox',
   
8.                'X-Requested-With': 'XMLHttpRequest',
   
9.                'cookie': 'bid=hIYyIduorJA; douban-fav-remind=1; __utma=30149280.307390223.1595495492.1596504502.1598348956.4; __utmz=30149280.1598348956.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/passport/login; __gads=ID=e5de2b79763a1dbd:T=1596504503:S=ALNI_Ma9hnIcfLisdJZ13EZO1GHBsanigg; apiKey=; _pk_id.100001.2fad=20a3a4214f898ade.1598348634.1.1598351524.1598348634.; _pk_ses.100001.2fad=*; last_login_way=account; push_noty_num=0; push_doumail_num=0; __utmc=30149280; __utmv=30149280.14229; douban-profile-remind=1; ps=y'}
   
10.     data = dict()
    
11.     data['ck'] = '_J_B'
    
12.     data['name'] = '填入账号'
    
13.     data['password'] = '填入密码'
    
14.     data['remember'] = 'false'
    
15.     data['ticket'] = ''
    
16.     r = requests.post(url, headers=headers, data=data)
    
17.     result = r.json()
    
18.     print(result['description'])
    
19. 
    
20. 
    
21. if __name__ == '__main__':
    
22.     main()

复制代码

可以看到还得用cookie，判断也不是靠返回的header里的url判断，要看返回的json数据。

那位大人

suchocolate 发表于 2021-1-23 10:07
headers写多种（mozilla、applewebkit，chrome）反倒可能触发反扒。headers只要不是默认的python-urlli ...

好的，谢谢大佬，懂了