爬虫 京东评论数量（好评差评等） 求助！

翩跹叶惊鸿

如题 需要爬的是打勾的只看商品的评论数量




然后，看了一下preview和response，应该是在这个请求里面的！




然而！！在header里面的URL，打开确是一片空白。于是也爬不下来。



求解决啊！链接如下，找到的。

tps://club.jd.com/comment/skuProductPageComments.action?callback=fetchJSON_comment98vv587&productId=884953&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1

wp231957

淘宝有专门的人负责反爬这块
估计京东也差不多

翩跹叶惊鸿

wp231957 发表于 2019-5-14 19:38
淘宝有专门的人负责反爬这块
估计京东也差不多

是的 隔了一天 试了下！能爬70条 然后又白板了。。。这种咋解决呢？

wp231957

翩跹叶惊鸿 发表于 2019-5-16 11:41
是的 隔了一天 试了下！能爬70条 然后又白板了。。。这种咋解决呢？

你得能分析出来对方到底是咋反爬的
这需要非常深的道行

快速收敛

用代理试试

翩跹叶惊鸿

快速收敛 发表于 2019-5-16 11:58
用代理试试

1. from urllib import request
   
2. from scrapy import Selector
   
3. 
   
4. HEADERS = {
   
5.     "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"
   
6. }
   
7. 
   
8. URL = "https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=baidu&wd=ip&oq=%25E8%25BF%2594%25E5%259B%259Eip%25E7%259A%2584%25E9%2593%25BE%25E6%258E%25A5&rsv_pq=e5a17cfe00014b10&rsv_t=5993umDkwnBVwHfvkG5mjUfxl3tIsuYYNEmgOS9Ba%2BJgZUIkdvrS2t%2FJq%2B4&rqlang=cn&rsv_enter=1&inputT=621&rsv_sug3=102&rsv_sug1=78&rsv_sug7=100&rsv_sug2=0&rsv_sug4=621"
   
9. 
   
10. proxy = {"http": "112.85.130.124:9999"}
    
11. proxy_handler = request.ProxyHandler(proxy)
    
12. opener = request.build_opener(proxy_handler)
    
13. req = request.Request(URL,headers=HEADERS)
    
14. res = opener.open(req).read()
    
15. 
    
16. a = Selector(text=res).xpath('//span[@class="c-gap-right"]/text()').extract()
    
17. print(a)

复制代码

为啥出来的永远是我本地的ip，求救。。。第一次用代理。。。

kaohsing

用selenium。

翩跹叶惊鸿

kaohsing 发表于 2019-5-17 14:50
用selenium。

这是什么？