[已解决]爬虫问题（beautifulsoup）

0zero0 · 发表于 2017-12-14 21:36:36

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

抓取之后得到一个data_callback([{……}])，现在我想从返回的内容中筛选出所有commenturl对应的链接，不知道怎么改写代码，就是注释掉的部分怎么修改，我的感觉应该是拆开data_callback这个元组，再拆开列表，再拆字典，从而打印出键commenturl的值，但我不知道怎么做，求教大神

res = requests.get('http://temp.163.com/special/00804KVA/cm_guonei_03.js?callback=data_callback')
res.encoding = 'gbk'
soup = BeautifulSoup(res.text,'html.parser')
print(soup)
#for news in soup.select('commenturl'):
# print(news)

最佳答案

月排行榜 / 总排行榜

gopythoner

2017-12-16 14:57:23

这是返回的一个json类型的数据，不要用bs，先用正则提取到json格式的，然后使用json提取信息就行了
只有html标签的格式采用bs

跳转到最佳答案楼层