[已解决]当爬虫遇到“点击更多”

程序员的救赎

这个网站，https://tuoitre.vn/tim-kiem.htm?keywords=Trung%20Qu%E1%BB%91c（越南语的，用谷歌浏览器打开会好点）
爬取的时候如何翻页？（假如不使用selenium的话）post请求如何构建

最佳答案

月排行榜 / 总排行榜

刘英超

2019-3-8 15:17:25

https://tuoitre.vn/timeline-sear ... e=0&PageIndex=2
https://tuoitre.vn/timeline-sear ... e=0&PageIndex=3
https://tuoitre.vn/timeline-sear ... e=0&PageIndex=4
。。。。。

跳转到最佳答案楼层

程序员的救赎

在线等

shinkamotm

我之前也遇到过，我是用
from selenium import webdriver
# chromedriver


chrome_options = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)
chrome_options.add_argument("--headless")#无窗口模式（我没记错的话） ， 在调试的时候可以先注解掉这一条
chrome_path = 'chromedriver'
上面那些是设置

driver = webdriver.Chrome(chrome_path, chrome_options= chrome_options)
driver.get(url)
driver.find_element_by_xpath('''//em[@class = "ch all"]''').click()    # 找到对应的位置，点击一下
time.sleep(5) #最好等几秒，加载一下

不知道有没有更好的解决方法

程序员的救赎

shinkamotm 发表于 2019-3-3 06:55
我之前也遇到过，我是用
from selenium import webdriver
# chromedriver

谢谢你的回答，这个方法我知道，是万能的；所以我想找找其他方法

shinkamotm

程序员的救赎 发表于 2019-3-3 08:43
谢谢你的回答，这个方法我知道，是万能的；所以我想找找其他方法

找到的话也贴一贴吧，我也想知道别的

刘英超

https://tuoitre.vn/timeline-sear ... e=0&PageIndex=2
https://tuoitre.vn/timeline-sear ... e=0&PageIndex=3
https://tuoitre.vn/timeline-sear ... e=0&PageIndex=4
。。。。。

绊axs

检查，打开network，然后点击下一页，会加载出很多东西，找到这个网址https://tuoitre.vn/timeline-search.htm?keywords=Trung%20Qu%E1%BB%91c&type=0&PageIndex=2，这个就是第二页的内容，再看第三页，找规律，一眼看上去改最后一个数字就行了，最后用for循环把所有页码爬完就行了