liwei_kuma 发表于 2020-11-16 16:45:46

京东商品差评爬取中小问题求解

京东商品差评爬取，找到了评价网址，get下来却是空，问题出在哪里呢？import requests

url="https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=72078495917&score=1&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
res=requests.get(url)
print(res.text)
#print出来是：
#''

狗宁 发表于 2020-11-16 17:40:03

爬京东应该没有这么简单，估计被反扒了。

suchocolate 发表于 2020-11-16 17:49:58

import requests

headers = {'user-agent': 'mozila'}
url = "https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=72078495917&score=1&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1"
res = requests.get(url, headers=headers)
print(res.text)

liwei_kuma 发表于 2020-11-17 09:55:06

suchocolate 发表于 2020-11-16 17:49


谢谢，原来是没加Headers，已经搞定了。
页: [1]
查看完整版本: 京东商品差评爬取中小问题求解