Scrapy+Selenium,爬虫登录163邮箱，为什么从Selenium得到cookies后，依然无法正常...

richardwx008

昨天想用Scrapy+Selenium，想登录163邮箱试试，在Selenium中可以正常登录邮箱，但是导入得到cookie后，爬虫无法登录，还未找出原因。。。。。。



Spider 类：

class FujianSpider(scrapy.Spider):
    name = 'fujian'
    allowed_domains = ['163.com']
    start_urls = ['https://email.163.com']

    def __init__(self):
        self.login_cookies=[]
    headers={
        "Referer":"Referer: https://www.163.com",
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0"
    }

    def get_cookies(self):
        browser=webdriver.Firefox(executable_path="geckodriver.exe")
        cookies=[]
        time.sleep(3)
        browser.get('https://email.163.com')
        #取得登录前cookie

        print('cookies111111111111111\n',browser.get_cookies())
        time.sleep(10)
        iframe = browser.find_elements_by_tag_name("iframe")[0]
        browser.switch_to_frame(iframe)
        user=browser.find_element_by_name('email')
        #账号密码已模糊

        user.send_keys('AAA')
        passcode = browser.find_element_by_name('password')
        passcode.send_keys('AAA')
        commit=browser.find_element_by_id('dologin')
        commit.click()
        time.sleep(10)
        if "未读"in browser.title:
            print('虚拟登录成功')
           #取得登录后Ccookie

            print('cookies2222222222222222\n',browser.get_cookies())
            self.login_cookies=browser.get_cookies()
        else:print('failed')
    def start_requests(self):
        self.get_cookies()
        print('开始访问！')
        print(self.login_cookies)
        return [scrapy.Request('https://www.163.com',headers=self.headers,cookies=self.login_cookies,callback=self.parse)]

    def parse(self, response):
        print('Parsing')
        #with open('ttt.hmtl','w',encoding='utf_8') as f:
        #    f.write(response.text)
        print('是否成功','AAA' in response.text)

没登录前的cookie

                               
登录/注册后可看大图

登录后的cookie

                               
登录/注册后可看大图

可以看出登录后的cookie已经取得，但是赋到爬虫中后并不能成功登录
用爬虫去登录网页得到的




   

shan656

虽然我也在找解决办法，但是你可以试试修改COOKIE格式。或者说转换一下什么的