[已解决]爬虫入门，模拟登录github时遇到了timestamp_secret怎么解呢？

我爱l两条柴

爬虫入门，模拟登录github时遇到了timestamp和timestamp_secret，其中 timestamp 靠着百度解决了，但是后面这个搜网页源码 ，连个毛不会找

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-9-2 11:49:33

data不用考虑那么多参数：

1. import requests
   
2. import re
   
3. 
   
4. 
   
5. def login():
   
6.     session = requests.session()
   
7.     session.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0'}
   
8.     login_url = 'https://github.com/login'
   
9.     r = session.get(login_url)
   
10.     token = re.findall('name="authenticity_token" value="(.*?)"/>', r.text)[1]
    
11.     print(token)
    
12.     post_url = 'https://github.com/session'
    
13.     data = {
    
14.         'commit': 'Sign in',
    
15.         'utf8': '✓',
    
16.         'authenticity_token': token,
    
17.         'login': 'email',
    
18.         'password': 'password'
    
19.     }
    
20.     print(data)
    
21.     session.post(post_url, data=data)
    
22.     logined_url = 'https://github.com/settings/profile'
    
23.     r = session.get(logined_url)
    
24.     with open('github.html', 'w') as f:
    
25.         f.write(r.text)
    
26. 
    
27. 
    
28. if __name__ == '__main__':
    
29.     login()
    

复制代码

别人的案例

1. import requests
   
2. from lxml import etree
   
3. 
   
4. 
   
5. class Login(object):
   
6.     def __init__(self):
   
7.         self.headers = {
   
8.             'Referer': 'https://github.com/',
   
9.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',
   
10.             'Host': 'github.com'
    
11.         }
    
12.         self.login_url = 'https://github.com/login'
    
13.         self.post_url = 'https://github.com/session'
    
14.         self.logined_url = 'https://github.com/settings/profile'
    
15.         self.session = requests.Session()
    
16. 
    
17. 
    
18.     def token(self):
    
19.         response = self.session.get(self.login_url, headers=self.headers)
    
20.         selector = etree.HTML(response.text)
    
21.         token = selector.xpath('//input[1]/@value')[0]
    
22.         return token
    
23. 
    
24.     def login(self, email, password):
    
25.         post_data = {
    
26.             'commit': 'Sign in',
    
27.             'utf8': '✓',
    
28.             'authenticity_token': self.token(),
    
29.             'login': email,
    
30.             'password': password
    
31.         }
    
32.         response = self.session.post(self.post_url, data=post_data, headers=self.headers)
    
33.         if response.status_code == 200:
    
34.             self.dynamics(response.text)
    
35.         response = self.session.get(self.logined_url, headers=self.headers)
    
36.         if response.status_code == 200:
    
37.             self.profile(response.text)
    
38. 
    
39.     def dynamics(self, html):
    
40.         selector = etree.HTML(html)
    
41.         dynamics = selector.xpath('//div[contains(@class, "news")]//div[contains(@class, "alert")]')
    
42.         for item in dynamics:
    
43.             dynamic = ' '.join(item.xpath('.//div[@class="title"]//text()')).strip()
    
44.             print(dynamic)
    
45. 
    
46.     def profile(self, html):
    
47.         selector = etree.HTML(html)
    
48.         name = selector.xpath('//input[@id="user_profile_name"]/@value')[0]
    
49.         email = selector.xpath('//select[@id="user_profile_email"]/option[2]/@value')[0]
    
50.         # 能正确显示自己账号的信息即为成功
    
51.         print(name, email)
    
52. 
    
53. 
    
54. if __name__ == "__main__":
    
55.     login = Login()
    
56.     login.login(email='账号', password='密码')
    

复制代码

跳转到最佳答案楼层

suchocolate

贴一下你的代码。

我爱l两条柴

suchocolate 发表于 2021-9-1 07:29
贴一下你的代码。

1. import requests
   
2. import re  #正则模块
   
3. import time
   
4. # 输入毫秒级的时间，转出正常格式的时间
   
5. def timeStamp(timeNum):
   
6.     global otherStyleTime
   
7.     timeStamp = float(timeNum / 1000)
   
8.     timeArray = time.localtime(timeStamp)
   
9.     otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
   
10.     return otherStyleTime
    
11. 
    
12. def login():
    
13.     #session
    
14.     session = requests.session()
    
15.     #headers
    
16.     session.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0'}
    
17.     #url1  1.获取token  2. 发请求 3. 正则提取
    
18.     url1='https://github.com/login'
    
19.     response1=session.get(url1).content.decode()  #正则只对str操作，所以要转换
    
20.     #name="authenticity_token" value="VMAW29pzDbiHSBXuhaR0BhMPyPatsl/3FbZ8ig2MtiS2SXMw
    
21.     token=re.findall('name="authenticity_token" value="(.*?)"/>',response1)[1]  #.匹配多个*多个？非贪婪模式
    
22.     print(token)    #10054, '远程主机强迫关闭了一个现有的连接
    
23.     #url2  构建表单数据
    
24.     url2 ='https://github.com/session'
    
25.     data={'commit':'Sign in',
    
26.           'authenticity_token':'VMAW29pzDbiHSBXuhaR0BhMPyPatsl/3FbZ8ig2MtiS2SXMwOoKS2baWSNwEtX1qUcX7aVWo97N17Cz+8W21og==',
    
27.           'login':'',
    
28.           'password':'',
    
29.           'trusted_device':'',
    
30.           'webauthn-support':'supported',
    
31.           'webauthn-iuvpaa-support':'unsupported',
    
32.           'return_to':'https://github.com/login',
    
33.           'allow_signup':'',
    
34.           'client_id':'',
    
35.           'integration':'',
    
36.           'required_field_6ab1':'',
    
37.           'timestamp':otherStyleTime,
    
38.           'timestamp_secret':'[color=Red]cf8f6694c191d005c8b9171b29b9d8d4fad8f539801d0feb18417263f507fe42[/color]'}   #这玩意儿怎么搞？
    
39.     print(data)
    
40.     #请求登录
    
41.     session.post(url2,data=data)
    
42.     #验证
    
43.     url3='https://github.com/1667334486@qq.com'
    
44.     response=session.get(url3)
    
45.     with open('github.html','wb')as f:
    
46.         f.write(response.content)
    
47. 
    
48. if __name__ == '__main__':
    
49.     login()
    
50. 
    

复制代码

suchocolate

data不用考虑那么多参数：

1. import requests
   
2. import re
   
3. 
   
4. 
   
5. def login():
   
6.     session = requests.session()
   
7.     session.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0'}
   
8.     login_url = 'https://github.com/login'
   
9.     r = session.get(login_url)
   
10.     token = re.findall('name="authenticity_token" value="(.*?)"/>', r.text)[1]
    
11.     print(token)
    
12.     post_url = 'https://github.com/session'
    
13.     data = {
    
14.         'commit': 'Sign in',
    
15.         'utf8': '✓',
    
16.         'authenticity_token': token,
    
17.         'login': 'email',
    
18.         'password': 'password'
    
19.     }
    
20.     print(data)
    
21.     session.post(post_url, data=data)
    
22.     logined_url = 'https://github.com/settings/profile'
    
23.     r = session.get(logined_url)
    
24.     with open('github.html', 'w') as f:
    
25.         f.write(r.text)
    
26. 
    
27. 
    
28. if __name__ == '__main__':
    
29.     login()
    

复制代码

别人的案例

1. import requests
   
2. from lxml import etree
   
3. 
   
4. 
   
5. class Login(object):
   
6.     def __init__(self):
   
7.         self.headers = {
   
8.             'Referer': 'https://github.com/',
   
9.             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',
   
10.             'Host': 'github.com'
    
11.         }
    
12.         self.login_url = 'https://github.com/login'
    
13.         self.post_url = 'https://github.com/session'
    
14.         self.logined_url = 'https://github.com/settings/profile'
    
15.         self.session = requests.Session()
    
16. 
    
17. 
    
18.     def token(self):
    
19.         response = self.session.get(self.login_url, headers=self.headers)
    
20.         selector = etree.HTML(response.text)
    
21.         token = selector.xpath('//input[1]/@value')[0]
    
22.         return token
    
23. 
    
24.     def login(self, email, password):
    
25.         post_data = {
    
26.             'commit': 'Sign in',
    
27.             'utf8': '✓',
    
28.             'authenticity_token': self.token(),
    
29.             'login': email,
    
30.             'password': password
    
31.         }
    
32.         response = self.session.post(self.post_url, data=post_data, headers=self.headers)
    
33.         if response.status_code == 200:
    
34.             self.dynamics(response.text)
    
35.         response = self.session.get(self.logined_url, headers=self.headers)
    
36.         if response.status_code == 200:
    
37.             self.profile(response.text)
    
38. 
    
39.     def dynamics(self, html):
    
40.         selector = etree.HTML(html)
    
41.         dynamics = selector.xpath('//div[contains(@class, "news")]//div[contains(@class, "alert")]')
    
42.         for item in dynamics:
    
43.             dynamic = ' '.join(item.xpath('.//div[@class="title"]//text()')).strip()
    
44.             print(dynamic)
    
45. 
    
46.     def profile(self, html):
    
47.         selector = etree.HTML(html)
    
48.         name = selector.xpath('//input[@id="user_profile_name"]/@value')[0]
    
49.         email = selector.xpath('//select[@id="user_profile_email"]/option[2]/@value')[0]
    
50.         # 能正确显示自己账号的信息即为成功
    
51.         print(name, email)
    
52. 
    
53. 
    
54. if __name__ == "__main__":
    
55.     login = Login()
    
56.     login.login(email='账号', password='密码')
    

复制代码

我爱l两条柴

suchocolate 发表于 2021-9-2 11:49
data不用考虑那么多参数：

刚开始  只是说 要 写刷新后变化的项

我爱l两条柴

suchocolate 发表于 2021-9-1 07:29
贴一下你的代码。

远程主机强迫关闭了一个现有的连接  这种有没有好的避免方法呢？

suchocolate

我爱l两条柴 发表于 2021-9-3 00:56
远程主机强迫关闭了一个现有的连接  这种有没有好的避免方法呢？

操作太快了，time.sleep一会，或重启py

淘米要努力

爬虫入门，模拟登录github时遇到了timestamp和timestamp_secret,哈哈哈哈我遇到了同样的问题，然后搜索到了你的问题。握个爪！！