[已解决]关于模拟登录的问题（验证码错误）

2861160067

今天在模拟登录古诗文网的时候遇到一个问题，爬取到的页面一直显示验证码错误。
验证码我是使用的图鉴来识别的，经过我检查以后是没有错误的，有没有大佬知道怎么回事。


下面是源码（用*******覆盖的部分是涉及个人信息的）
import requests
from lxml import etree
from 图鉴识别验证码 import base64_api

# 登录页面的url
headers = {
    'User-Agent': "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0"

}
full_text = requests.get(url="https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx", headers=headers).text
tree = etree.HTML(full_text)

# 获取变化的登录请求值
__VIEWSTATE = tree.xpath('//input[@id="__VIEWSTATE"]/@value')[0]
__VIEWSTATEGENERATOR = tree.xpath('//input[@id="__VIEWSTATEGENERATOR"]/@value')[0]

#获取验证码图片的url
src = tree.xpath('//*[@id="imgCode"]/@src')[0]
#拼接url以后将验证码图片保存到本地
image_url = 'https://so.gushiwen.cn/' + src
image_data = requests.get(url=image_url, headers=headers).content
with open("./code.jpg", "wb") as fp:
    fp.write(image_data)
   
# 使用图鉴（一个验证码识别网站）识别验证码
result = base64_api(uname='*********', pwd='*********', img="./code.jpg", typeid=1003)

#发送请求
session = requests.session()
data = {

    '__VIEWSTATE': __VIEWSTATE,
    '__VIEWSTATEGENERATOR': __VIEWSTATEGENERATOR,
    'from': 'http',
    'email': '***************',
    'pwd': '****************',
    'code': result,
    'denglu': '登录'
}
response_text = session.post(url="https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx", headers=headers, data=data).text
print(response_text)


求助

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-8-21 16:23:04

2861160067 发表于 2021-8-21 19:01
都用session的话确实都可以，但还是希望你跟我讲讲为啥

session会自动记录cookie，让服务器看我们是“同一个”会话。

跳转到最佳答案楼层

suchocolate

2861160067 发表于 2021-8-21 19:01
都用session的话确实都可以，但还是希望你跟我讲讲为啥

session会自动记录cookie，让服务器看我们是“同一个”会话。

suchocolate

从开始就用session，不然逻辑就变成了用前一次页面的验证码给本次访问输入用了。

1. s = requests.session()
   
2. r = s.get(url="https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx", headers=headers).text
   
3. tree = etree.HTML(r.text)
   
4. #获取验证码图片的url
   
5. src = tree.xpath('//*[@id="imgCode"]/@src')[0]
   
6. #拼接url以后将验证码图片保存到本地
   
7. image_url = 'https://so.gushiwen.cn/' + src
   
8. image_data = s.get(url=image_url, headers=headers).content
   
9. with open("./code.jpg", "wb") as fp:
   
10.     fp.write(image_data)

复制代码

suchocolate

我这个人工看验证码成功了。

1. import requests
   
2. from lxml import etree
   
3. import time
   
4. 
   
5. 
   
6. def main():
   
7.     s = requests.session()
   
8.     headers = {'User-Agent': "Mozilla/5.0"}
   
9.     url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'
   
10.     r = s.get(url, headers=headers)
    
11.     tree = etree.HTML(r.text)
    
12.     __VIEWSTATE = tree.xpath('//input[@id="__VIEWSTATE"]/@value')[0]
    
13.     __VIEWSTATEGENERATOR = tree.xpath('//input[@id="__VIEWSTATEGENERATOR"]/@value')[0]
    
14.     result = tree.xpath('//*[@id="imgCode"]/@src')[0]
    
15.     # 拼接url以后将验证码图片保存到本地
    
16.     image_url = f'https://so.gushiwen.cn/{result}'
    
17.     image_data = s.get(image_url, headers=headers).content
    
18.     with open("./code.jpg", "wb") as fp:
    
19.         fp.write(image_data)
    
20.     time.sleep(20)
    
21.     code = input('Please input code')
    
22.     data = {
    
23.         '__VIEWSTATE': __VIEWSTATE,
    
24.         '__VIEWSTATEGENERATOR': __VIEWSTATEGENERATOR,
    
25.         'from': 'http',
    
26.         'email': 'aaaaa',
    
27.         'pwd': 'bbbbbb',
    
28.         'code': code,
    
29.         'denglu': '登录'
    
30.     }
    
31.     url = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
    
32.     r = s.post(url, headers=headers, data=data)
    
33.     print(r.text)
    
34. 
    
35. 
    
36. if __name__ == '__main__':
    
37.     main()

复制代码

2861160067

suchocolate 发表于 2021-8-21 18:31
从开始就用session，不然逻辑就变成了用前一次页面的验证码给本次访问输入用了。

但是如果第一开始就用session的话，不也是发送了两次请求吗，一开始不用session也是发送了两次请求呀，能跟我讲讲是为啥吗

2861160067

suchocolate 发表于 2021-8-21 18:31
从开始就用session，不然逻辑就变成了用前一次页面的验证码给本次访问输入用了。

我刚刚试了下，如果两次都用requests的话，好像也不行呀

2861160067

suchocolate 发表于 2021-8-21 18:31
从开始就用session，不然逻辑就变成了用前一次页面的验证码给本次访问输入用了。

都用session的话确实都可以，但还是希望你跟我讲讲为啥

2861160067

suchocolate 发表于 2021-8-21 19:22
session会自动记录cookie，让服务器看我们是“同一个”会话。

好的，理解了，非常感谢。
那么如果用requests然后再headers里面添加cookie也会有一样的效果对吗？

suchocolate

2861160067 发表于 2021-8-21 19:36
好的，理解了，非常感谢。
那么如果用requests然后再headers里面添加cookie也会有一样的效果对吗？

效果是一样的。
session的好处是不用自己管理cookie，它帮你管理服务器返回的cookie，下次访问是自动调用。
如果用requests.get自己设置cookie，那么得自己想办法收集。

2861160067

suchocolate 发表于 2021-8-21 20:07
效果是一样的。
session的好处是不用自己管理cookie，它帮你管理服务器返回的cookie，下次访问是自动调 ...

下次访问是什么意思？
一：下一次点开浏览器
二：下一次发送请求
还有一个问题：那就是我们在登录的时候要携带登录的cookie，那么我们要访问登录后的页面是否要携带登录后访问的页面对应的cookie？还是说我们只携带登录的cookie就可以了？

suchocolate

2861160067 发表于 2021-8-21 20:40
下次访问是什么意思？
一：下一次点开浏览器
二：下一次发送请求

看书吧：
https://github.com/Python3WebSpi ... %E5%92%8CCookies.md

2861160067

suchocolate 发表于 2021-8-21 18:31
从开始就用session，不然逻辑就变成了用前一次页面的验证码给本次访问输入用了。

大佬我有个新问题，有空的话去我主题中看看帮我解答一下吧

suchocolate

2861160067 发表于 2021-8-23 21:13
大佬我有个新问题，有空的话去我主题中看看帮我解答一下吧

https://github.com/Python3WebSpider/Python3WebSpider

2861160067

suchocolate 发表于 2021-8-23 21:15
https://github.com/Python3WebSpider/Python3WebSpider

大佬，打不开。

suchocolate

2861160067 发表于 2021-8-23 21:18
大佬，打不开。

打不开就买书吧《python3网络爬虫开发实战》崔庆才，你问的问题这里都有解答。

tw8457

原理明白。完全复制代码还是失败了。谁知道原因