Scrapy+Selenium,爬虫登录163邮箱，为什么从Selenium得到cookies后，依然无法正常...

richardwx008

昨天想用Scrapy+Selenium，想登录163邮箱试试，在Selenium中可以正常登录邮箱，但是导入得到cookie后，爬虫无法登录，还未找出原因。。。。。。



Spider 类：

1. class FujianSpider(scrapy.Spider):
   
2.     name = 'fujian'
   
3.     allowed_domains = ['163.com']
   
4.     start_urls = ['https://email.163.com']
   
5. 
   
6.     def __init__(self):
   
7.         self.login_cookies=[]
   
8.     headers={
   
9.         "Referer":"Referer: https://www.163.com",
   
10.         "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0"
    
11.     }
    
12. 
    
13.     def get_cookies(self):
    
14.         browser=webdriver.Firefox(executable_path="geckodriver.exe")
    
15.         cookies=[]
    
16.         time.sleep(3)
    
17.         browser.get('https://email.163.com')
    
18.         #取得登录前cookie
    
19. 
    
20.         print('cookies111111111111111\n',browser.get_cookies())
    
21.         time.sleep(10)
    
22.         iframe = browser.find_elements_by_tag_name("iframe")[0]
    
23.         browser.switch_to_frame(iframe)
    
24.         user=browser.find_element_by_name('email')
    
25.         #账号密码已模糊
    
26. 
    
27.         user.send_keys('AAA')
    
28.         passcode = browser.find_element_by_name('password')
    
29.         passcode.send_keys('AAA')
    
30.         commit=browser.find_element_by_id('dologin')
    
31.         commit.click()
    
32.         time.sleep(10)
    
33.         if "未读"in browser.title:
    
34.             print('虚拟登录成功')
    
35.            #取得登录后Ccookie
    
36. 
    
37.             print('cookies2222222222222222\n',browser.get_cookies())
    
38.             self.login_cookies=browser.get_cookies()
    
39.         else:print('failed')
    
40.     def start_requests(self):
    
41.         self.get_cookies()
    
42.         print('开始访问！')
    
43.         print(self.login_cookies)
    
44.         return [scrapy.Request('https://www.163.com',headers=self.headers,cookies=self.login_cookies,callback=self.parse)]
    
45. 
    
46.     def parse(self, response):
    
47.         print('Parsing')
    
48.         #with open('ttt.hmtl','w',encoding='utf_8') as f:
    
49.         #    f.write(response.text)
    
50.         print('是否成功','AAA' in response.text)

复制代码

没登录前的cookie

                               
登录/注册后可看大图

登录后的cookie

                               
登录/注册后可看大图

可以看出登录后的cookie已经取得，但是赋到爬虫中后并不能成功登录
用爬虫去登录网页得到的




   

shan656

虽然我也在找解决办法，但是你可以试试修改COOKIE格式。或者说转换一下什么的