想问下豆瓣榜单最后一页为啥爬取不到 是if那里或者for循环出问题了？
import refrom selenium import webdriver
from selenium.webdriver.common.by import By
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
browser = webdriver.Chrome(options=chrome_options)
browser.get("https://movie.douban.com/top250")
handles = browser.window_handles# 获取浏览器所有窗口的句柄
browser.switch_to.window(handles)# 切换到最开始打开的窗口
browser.switch_to.window(handles[-1])# 切换到最新打开的窗口
for i in range(1,11):
data = browser.page_source
obj = re.compile(
r'<a href=.*?<span class="title">(?P<title>.*?)</span>.*?property="v:average">(?P<score>.*?)</span>', re.S
)
index = obj.findall(data)
if i<=9:
browser.find_element(By.XPATH, '//*[@id="content"]/div/div/div/span/a').click()
print(index) 豆瓣电影top250一共有十页但是我只能爬到第九页 不知道为啥 一定要用selenium吗，豆瓣用requests就行。
页:
[1]