hoholeilyy0312 发表于 2021-12-6 21:27:17

爬取网页实时更新的数据时运行无反应。。。请大佬赐教

import requests
from lxml import etree
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'}
url = 'http://quote.eastmoney.com/qihuo/RM201.html'
page_text = requests.get(url=url,headers=header).text
tree = etree.HTML(page_text)
tree.xpath('/html/body/div/div/div/div/div/table/tbody',)
T = tree.xpath
print(T)

想法目的是：抓取交易时间段内实时在更新的数据并加以分析，现在直接就卡在了爬取数据上{:5_100:}，请大佬指正如何正确爬取这种网页动态数据。。。试了好几天了。。。。太难了，也不知道问题出在哪{:5_100:}

suchocolate 发表于 2021-12-7 09:05:17

那部分数据我看是通过js实时加载的，直接用requests得研究一下js获取的机制，如果不研究可以用selenium先试试。

hoholeilyy0312 发表于 2021-12-7 09:08:41

suchocolate 发表于 2021-12-7 09:05
那部分数据我看是通过js实时加载的，直接用requests得研究一下js获取的机制，如果不研究可以用selenium先试 ...

谢谢大佬   真是有时候想研究都不知道往哪个方向。。。非常感谢。。。我这就去研究研究{:5_110:}
页: [1]
查看完整版本: 爬取网页实时更新的数据时运行无反应。。。请大佬赐教