[已解决]求助cookies操作

johnnyb

问题描述:
我用selenium模拟登陆douban.登陆成功. 用webdriver.get_cookies()方法 取得登陆成功的cookies为

1. [{'domain': 'accounts.douban.com', 'httpOnly': False, 'name': 'login_start_time', 'path': '/', 'secure': False, 'value': '1596025621029'}, {'domain': 'accounts.douban.com', 'httpOnly': False, 'name': 'apiKey', 'path': '/', 'secure': False, 'value': ''}, {'domain': '.douban.com', 'expiry': 1627561620, 'httpOnly': False, 'name': 'bid', 'path': '/', 'secure': False, 'value': '-dDW2CjywbM'}]

复制代码

我把他直接放到headers中. requests.get(url) 可以取得登陆成功页面. 但是我的目标是把这个cookies传递给requests.Session对象s用.  让它一直维持登陆状态. 获取需要登陆才能取到的个人主页.  
当我用.

1. for cookie in cookies:
   
2.     s.cookies.set(cookie['name'], cookie['value'])

复制代码

发现. selenium的get_cookies()方法. 传回来的是一个列表. 列表中有3个字典.  这样for他就循环3次. 就完事了. 所以就过去3个值

1. ('apiKey', '')
   
2. ('bid', '-dDW2CjywbM')
   
3. ('login_start_time', '1596025621029')

复制代码

我如何能让所有的 name,value 全部过去呢?
尝试了把3个字典合成1个.. 但是里面存在多个重复name  会被顶替成最后一个. 很无解..
或者有没有更好的转换方案? 或者模块?

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-7-30 10:01:49

纠正一下我在2楼的说法，我仔细看了一些requests的cookie，和selenium虽然对象类型不同，但是内容是差不多的。

1. >>> s = requests.session()
   
2. >>> s.cookies
   
3. <RequestsCookieJar[]>
   
4. >>> s.cookies.set('BID','123')
   
5. Cookie(version=0, name='BID', value='123', port=None, port_specified=False, domain='', domain_specified=False, domain_initial_dot=False, path='/', path_specified=True, secure=False, expires=None, discard=True, comment=None, comment_url=None, rest={'HttpOnly': None}, rfc2109=False)
   
6. >>>
   

复制代码

可以看出也有domain,path等参数，所以从selenium获得的cookie字典，需要看看是否与默认值相同，不同就需要传入：

1. s.cookies.set('BID', '123', domain='www.aidu.com', expires='')

复制代码

跳转到最佳答案楼层

suchocolate

你的代码key是'name'和'value'的已经正确添加在cookie里了，是没问题的。
selenium的cookie和urllib的不同，它的cookie由多个key相同的字典组成。 # 说法有误请忽略
每个字典的key不仅仅有name和value，还有有expire和domain等等。
存储建议使用pickle：

1. driver.get(url)
   
2. time.sleep(10)
   
3. pickle.dump(driver.get_cookies(), open("cookies.pkl", "wb"))

复制代码

读取时时遍历列表即可：

1. cookies = pickle.load(open("cookies.pkl", "rb"))
   
2. for cookie in cookies:
   
3.     driver.add_cookie(cookie)
   
4. driver.get(url)

复制代码

johnnyb

suchocolate 发表于 2020-7-29 22:45
你的代码key是'name'和'value'的已经正确添加在cookie里了，是没问题的。
selenium的cookie和urllib的不同 ...

意思明白了. 但是我的核心是. 取到的cookies传递给 Session对象用.. 比如s.cookie.set()   我要怎么保证传进去是可用呢?  2天了. 还在研究这个问题

suchocolate

johnnyb 发表于 2020-7-30 08:07
意思明白了. 但是我的核心是. 取到的cookies传递给 Session对象用.. 比如s.cookie.set()   我要怎么保证 ...

cookie能不能用这个不敢保证，但你的cookie代码是没问题的。
一次请求，header的字段有很多，cookie是其中之一，有时cookie正确，其他字段没设对也可请求不成功。
另外自己构建cookie，尽量以【浏览器f12】-【网络】中实际的cookie为模板，即使是用selenium获取的，也print的参考一下模板。这样headers正确的情况下测试才比较稳妥。

suchocolate

纠正一下我在2楼的说法，我仔细看了一些requests的cookie，和selenium虽然对象类型不同，但是内容是差不多的。

1. >>> s = requests.session()
   
2. >>> s.cookies
   
3. <RequestsCookieJar[]>
   
4. >>> s.cookies.set('BID','123')
   
5. Cookie(version=0, name='BID', value='123', port=None, port_specified=False, domain='', domain_specified=False, domain_initial_dot=False, path='/', path_specified=True, secure=False, expires=None, discard=True, comment=None, comment_url=None, rest={'HttpOnly': None}, rfc2109=False)
   
6. >>>
   

复制代码

可以看出也有domain,path等参数，所以从selenium获得的cookie字典，需要看看是否与默认值相同，不同就需要传入：

1. s.cookies.set('BID', '123', domain='www.aidu.com', expires='')

复制代码

johnnyb

suchocolate 发表于 2020-7-30 10:01
纠正一下我在2楼的说法，我仔细看了一些requests的cookie，和selenium虽然对象类型不同，但是内容是差不多 ...

以下是我的全部代码.
我的目的是模拟登陆. 获取cookie然后给Session.get用

截图的cookies是我用抓包软件抓出来的. 完全可以验证登陆状态. 问题还是出在转换上.

1. from selenium import webdriver
   
2. import requests
   
3. import pickle
   
4. 
   
5. # 创建webdriver对象wd  实例化参数是浏览器驱动地址(r'd:\chromedriver.exe')
   
6. wd = webdriver.Chrome('chromedriver.exe')
   
7. 
   
8. 
   
9. def get_cookies():
   
10.     # 隐式等待10秒
    
11.     wd.implicitly_wait(5)
    
12.     # 在运行的时候不弹出浏览器窗口
    
13.     #
    
14.     # 使用对象wd控制浏览器 打开网址
    
15.     print('opened login page....')
    
16.     wd.get('https://www.douban.com')
    
17. 
    
18.     wd.switch_to.frame(wd.find_element_by_tag_name("iframe"))
    
19.     print('进入iframe')
    
20.     wd.find_element_by_class_name('account-tab-account').click()
    
21.     print('输入模式')
    
22.     wd.find_element_by_class_name('account-form-input').send_keys('账号')
    
23.     print('输入账号完毕')
    
24.     wd.find_element_by_id('password').send_keys('密码')
    
25.     print('输入密码完毕')
    
26.     wd.find_element_by_xpath('/html/body/div[1]/div[2]/div[1]/div[5]/a').click()
    
27.     print('点击登录完毕')
    
28.     return wd.get_cookies()
    
29. 
    
30. 
    
31. # 创建一个Session对象
    
32. s = requests.Session()
    
33. # 取得driver里面的cookies
    
34. cookies = get_cookies()
    
35. print('get方法获取到的cookies',cookies)
    
36. # 遍历cookies里面各项,同时设置给Session对象s的cookie属性
    
37. for cookie in cookies:
    
38.     s.cookies.set(cookie['name'], cookie['value'])
    
39.     print('遍历的:', cookie['name'], cookie['value'])
    
40. 
    
41. # driver任务完成 关闭
    
42. 
    
43. cookie_dict = requests.utils.dict_from_cookiejar(s.cookies)
    
44. for i in cookie_dict.items():
    
45.     print('展开cookies的内容:',i)
    
46. 
    
47. headers = {
    
48.     'Connection': 'keep-alive',
    
49.     'Cache-Control': 'max-age=0',
    
50.     'Upgrade-Insecure-Requests': '1',
    
51.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36',
    
52.     'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    
53.     'Sec-Fetch-Site': 'same-site',
    
54.     'Sec-Fetch-Mode': 'navigate',
    
55.     'Sec-Fetch-User': '?1',
    
56.     'Sec-Fetch-Dest': 'document',
    
57.     'Referer': 'https://www.douban.com/',
    
58.     'Accept-Language': 'zh-CN,zh;q=0.9',
    
59. }
    
60. s.headers = headers
    
61. # 使用Session对象s访问网页(内部携带了登录cookies)
    
62. res = s.get(url='https://www.douban.com/')
    
63. print('s使用的cookies:', res.cookies)
    
64. cookie_dict = requests.utils.dict_from_cookiejar(res.cookies)
    
65. for i in cookie_dict.items():
    
66.     print('展开cookies的内容:', i)
    
67. print('s使用的headers:', res.headers)
    
68. res.encoding = 'utf-8'
    
69. print(res.text[:500])
    
70. 
    
71. # 写入文件
    
72. with open('html.html', 'w+', encoding='utf-8') as f:
    
73.     f.write(res.text)
    
74. 
    
75. print('end')
    

复制代码

johnnyb

suchocolate 发表于 2020-7-30 10:01
纠正一下我在2楼的说法，我仔细看了一些requests的cookie，和selenium虽然对象类型不同，但是内容是差不多 ...

那这个get_cookies() 方法还有啥用? 取不全. 还得自己手动去挑. 哪个不一样. 在传进去. 我的理解不是应该. 把当前登陆状态的全部cookie获取到. 保存成一个requestscookie包. 等待处理. 然后创建一个session对象s  s.cookies.set(get_cookies()得到的包) 这样就传递给了s对象让它携带. 现在问题是传过去了. 但少了一大堆. 传过去的没法用.   归根原因我猜是不是 get_cookies()方法取不全?  我百度还没发现有同样问题. 很恼火. 无人解答.

johnnyb

还是没人知道吗?