[已解决]requests爬虫遇到点击按钮

程序员的救赎

https://www.tripadvisor.cn/Attra ... l_North_Island.html
如图，我想爬取这个页面的英文评论，但页面中有个“更多”的点击事件不知道怎么处理，爬到的都是“更多”之前的评论。
然后我点击“更多”，出现一个post请求， ，
但我改用post请求传入表单数据后，爬到的评论还是跟之前一样
·····请问这种需要点击的情况用requests怎么处理？

最佳答案

月排行榜 / 总排行榜

wongyusing

2018-11-19 21:04:37

你需要post很多data到下面的这个链接

1. https://www.tripadvisor.cn/OverlayWidgetAjax?Mode=EXPANDED_HOTEL_REVIEWS_RESP&metaReferer=

复制代码

这个请求头还很难写。要曲奇什么的。

用requests的话，在爬取评论的同时要同时做一个判断，有没有更多这个按钮。然后再决定是需要post获取更多吧。  
现在主要是需要研究这个更多按钮post的data是否有规律吧。

跳转到最佳答案楼层

wongyusing

你需要post很多data到下面的这个链接

1. https://www.tripadvisor.cn/OverlayWidgetAjax?Mode=EXPANDED_HOTEL_REVIEWS_RESP&metaReferer=

复制代码

这个请求头还很难写。要曲奇什么的。

用requests的话，在爬取评论的同时要同时做一个判断，有没有更多这个按钮。然后再决定是需要post获取更多吧。  
现在主要是需要研究这个更多按钮post的data是否有规律吧。

程序员的救赎

wongyusing 发表于 2018-11-19 21:33
你需要post很多data到下面的这个链接

这个请求头还很难写。要曲奇什么的。

判断很容易，而且我发现每个评论都有一个唯一ID， post的最后一项数据就是有“更多”这个按钮的评论的ID，所以怎么处理？？？

程序员的救赎

wongyusing 发表于 2018-11-19 21:33
你需要post很多data到下面的这个链接

这个请求头还很难写。要曲奇什么的。

感谢~已解决，我就是post对应的id到你说的那个链接，然后就显示正常了。顺便问一下，有没有好的爬虫交流社区什么的，因为网络上的教程很多时候和实际应用不太对应，而且平时有问题找不到人问很苦恼

wongyusing

程序员的救赎 发表于 2018-11-20 09:40
感谢~已解决，我就是post对应的id到你说的那个链接，然后就显示正常了。顺便问一下，有没有好的爬虫交流 ...

没有，我都是自学的。