[已解决]京东商品差评爬取中小问题求解

liwei_kuma

京东商品差评爬取，找到了评价网址，get下来却是空，问题出在哪里呢？

1. import requests
   
2. 
   
3. url="https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=72078495917&score=1&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
   
4. res=requests.get(url)
   
5. print(res.text)
   
6. #print出来是：
   
7. #''

复制代码

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-11-16 17:49:58

1. import requests
   
2. 
   
3. headers = {'user-agent': 'mozila'}
   
4. url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=72078495917&score=1&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
   
5. res = requests.get(url, headers=headers)
   
6. print(res.text)

复制代码

跳转到最佳答案楼层

狗宁

爬京东应该没有这么简单，估计被反扒了。

suchocolate

1. import requests
   
2. 
   
3. headers = {'user-agent': 'mozila'}
   
4. url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=72078495917&score=1&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
   
5. res = requests.get(url, headers=headers)
   
6. print(res.text)

复制代码

liwei_kuma

suchocolate 发表于 2020-11-16 17:49

谢谢，原来是没加Headers，已经搞定了。