[已解决]爬虫采集求助

疯狂的二哈

  页面JS一直刷新 数据一秒不到刷新一次 有啥办法采集

最佳答案

月排行榜 / 总排行榜

YunGuo

2020-9-10 22:53:20

看了下这个网站，他们其实有提供三个接口HTTP URL、WebSocket、Socket TCP，你去看看他们的接口开发文档，可以通过这个去实现实时获取数据，不过接口好像都是要收费的。
这个好像没办法直接通过请求json的接口获取数据。数据都是通过服务器主动推送过来的，类似于直播平台的弹幕服务器，通过WebSocket传输数据，你可以用websocket库或者python的标准库asyncore来试试看可不可以成功建立连接获取数据。

跳转到最佳答案楼层

疯狂的二哈

没有框架 只是一个JS脚本一直在操作那个元素 一直变

疾风怪盗

把网址发出来看看

疯狂的二哈

疾风怪盗 发表于 2020-9-10 18:55
把网址发出来看看

http://www.cnshuhai.com/index.html

疾风怪盗

疯狂的二哈 发表于 2020-9-10 18:55
http://www.cnshuhai.com/index.html

你要爬什么数据？

g5x2415a

一般网页用静态爬取，这种你试试 动态爬取，也就是json方法

疾风怪盗

http://shapi.market.alicloudapi.com/stock?type=kline&line=min,5&num=300&u=wechat&stamp=1599744177&sign=a340673ab61bcb3db363b07211e0bdcf&symbol=HIHSIF
http://shapi.market.alicloudapi.com/stock?type=trend&u=wechat&stamp=1599744177&sign=a340673ab61bcb3db363b07211e0bdcf&symbol=HIHSIF
估计你要的是产品这一页吧，数据都在这两个接口里，网址没变，爬这两个应该有你要的，json数据

YunGuo

看了下这个网站，他们其实有提供三个接口HTTP URL、WebSocket、Socket TCP，你去看看他们的接口开发文档，可以通过这个去实现实时获取数据，不过接口好像都是要收费的。
这个好像没办法直接通过请求json的接口获取数据。数据都是通过服务器主动推送过来的，类似于直播平台的弹幕服务器，通过WebSocket传输数据，你可以用websocket库或者python的标准库asyncore来试试看可不可以成功建立连接获取数据。