selenium爬取微博数据
在第一步就卡死,有没有大佬解释一下为啥我请求的网址无论是我的微博主页还是什么,selenium出来的都是微博登录页from selenium import webdriver
import time
import json
# url='https://weibo.com/6615032383/profile?rightmod=1&wvr=6&mod=personinfo&is_all=1'
# 从文件读取cookies
with open('weibo_cookies.txt','r',encoding='utf8') as f:
cookie=json.loads(f.read())
print(type(cookie))
print(cookie)
try:
options = webdriver.ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation'])
browser=webdriver.Chrome()
browser.get('https://weibo.com')
browser.delete_all_cookies()
browser.add_cookie(cookie)
except Exception as e:
print(e)
而且利用没有过期的cookies也还是在未登录页 第一次get没有cookie,之后add了cookie,但没有get。
页:
[1]