疯狂的二哈 发表于 2020-9-10 18:47:48

爬虫采集求助

页面JS一直刷新 数据一秒不到刷新一次 有啥办法采集

疯狂的二哈 发表于 2020-9-10 18:49:09

没有框架 只是一个JS脚本一直在操作那个元素 一直变

疾风怪盗 发表于 2020-9-10 18:55:31

把网址发出来看看

疯狂的二哈 发表于 2020-9-10 18:55:54

疾风怪盗 发表于 2020-9-10 18:55
把网址发出来看看

http://www.cnshuhai.com/index.html

疾风怪盗 发表于 2020-9-10 19:48:55

疯狂的二哈 发表于 2020-9-10 18:55
http://www.cnshuhai.com/index.html

{:10_284:}你要爬什么数据？

g5x2415a 发表于 2020-9-10 20:34:37

一般网页用静态爬取，这种你试试 动态爬取，也就是json方法

疾风怪盗 发表于 2020-9-10 21:26:14

http://shapi.market.alicloudapi.com/stock?type=kline&line=min,5&num=300&u=wechat&stamp=1599744177&sign=a340673ab61bcb3db363b07211e0bdcf&symbol=HIHSIF
http://shapi.market.alicloudapi.com/stock?type=trend&u=wechat&stamp=1599744177&sign=a340673ab61bcb3db363b07211e0bdcf&symbol=HIHSIF
估计你要的是产品这一页吧，数据都在这两个接口里，网址没变，爬这两个应该有你要的，json数据

YunGuo 发表于 2020-9-10 22:53:20

看了下这个网站，他们其实有提供三个接口HTTP URL、WebSocket、Socket TCP，你去看看他们的接口开发文档，可以通过这个去实现实时获取数据，不过接口好像都是要收费的。
这个好像没办法直接通过请求json的接口获取数据。数据都是通过服务器主动推送过来的，类似于直播平台的弹幕服务器，通过WebSocket传输数据，你可以用websocket库或者python的标准库asyncore来试试看可不可以成功建立连接获取数据。
页: [1]
查看完整版本: 爬虫采集求助