想问下豆瓣榜单最后一页为啥爬取不到 是if那里或者for循环出问题了？

心悦君兮君不知

1. import re
   
2. from selenium import webdriver
   
3. from selenium.webdriver.common.by import By
   
4. 
   
5. chrome_options = webdriver.ChromeOptions()
   
6. chrome_options.add_argument('--headless')
   
7. browser = webdriver.Chrome(options=chrome_options)
   
8. browser.get("https://movie.douban.com/top250")
   
9. handles = browser.window_handles  # 获取浏览器所有窗口的句柄
   
10. browser.switch_to.window(handles[0])  # 切换到最开始打开的窗口
    
11. browser.switch_to.window(handles[-1])  # 切换到最新打开的窗口
    
12. for i in range(1,11):
    
13.     data = browser.page_source
    
14.     obj = re.compile(
    
15.         r'<a href=.*?<span class="title">(?P<title>.*?)</span>.*?property="v:average">(?P<score>.*?)</span>', re.S
    
16.     )
    
17.     index = obj.findall(data)
    
18.     if i<=9:
    
19.         browser.find_element(By.XPATH, '//*[@id="content"]/div/div[1]/div[2]/span[3]/a').click()
    
20.         print(index)

复制代码

心悦君兮君不知

豆瓣电影top250一共有十页但是我只能爬到第九页 不知道为啥

suchocolate

一定要用selenium吗，豆瓣用requests就行。