令狐陈 发表于 2022-8-10 09:58:38

关于python爬虫获取数据的问题

各位鱼友好

      我是技术新手，做策略交易的，才开始学习python，想请教一下：

      学习完python后（包括爬虫呀等等技能），能抓取交易软件页面上每一根K线的价格、技术指标数据吗？是每一根哦，如下

   

现在是我需要什么指标数据，都是技术研究出指标的算法后本地计算出来，再跟页面上去核对正确如否，这样效率低，还个就是可能做了大量工作后指标无意义。

问题：
1、能否在页面上爬虫抓取呢？

2、如果能抓取，技术上码代码复杂吗？

PS，用的交易所是bi~an, OK也用，交易软件有PC版，有网页版的。

wp231957 发表于 2022-8-10 10:04:44

一般情况下，页面上能渲染到的都差不多可以爬到
爬虫就是针对网页的，pc软件里面的 抓不到

南归 发表于 2022-8-10 10:17:50

wp231957 发表于 2022-8-10 10:04
一般情况下，页面上能渲染到的都差不多可以爬到
爬虫就是针对网页的，pc软件里面的 抓不到

PC软件不也是请求然后渲染的吗,怎么抓不到?又不是本地数据

wp231957 发表于 2022-8-10 10:20:17

南归 发表于 2022-8-10 10:17
PC软件不也是请求然后渲染的吗,怎么抓不到?又不是本地数据

pc软件是 抓自服务器   然后我们从pc上抓   这个还真不会   可以指导一下？？？

令狐陈 发表于 2022-8-10 10:24:08

wp231957 发表于 2022-8-10 10:04
一般情况下，页面上能渲染到的都差不多可以爬到
爬虫就是针对网页的，pc软件里面的 抓不到

我跟技术交流锅，抓一跟K的是没问题，但要按照时间自动、连续的抓取好像比较麻烦。是这样吗？比如我要1小时K线的连续1年的数据，能抓取的了吗?

令狐陈 发表于 2022-8-10 10:24:48

南归 发表于 2022-8-10 10:17
PC软件不也是请求然后渲染的吗,怎么抓不到?又不是本地数据

我跟技术交流锅，抓一跟K的是没问题，但要按照时间自动、连续的抓取好像比较麻烦。是这样吗？比如我要1小时K线的连续1年的数据，能抓取的了吗?

wp231957 发表于 2022-8-10 10:27:22

令狐陈 发表于 2022-8-10 10:24
我跟技术交流锅，抓一跟K的是没问题，但要按照时间自动、连续的抓取好像比较麻烦。是这样吗？比如我要1小 ...

不懂股票，反正所谓的爬虫就是和服务器打交道，你要的数据服务器给你你就能爬到
服务器不给你谁也没着

令狐陈 发表于 2022-8-10 10:49:09

wp231957 发表于 2022-8-10 10:27
不懂股票，反正所谓的爬虫就是和服务器打交道，你要的数据服务器给你你就能爬到
服务器不给你谁也没 ...

感谢{:5_106:}

鱼cpython学习者 发表于 2022-8-10 11:31:54

wp231957 发表于 2022-8-10 10:20
pc软件是 抓自服务器   然后我们从pc上抓   这个还真不会   可以指导一下？？？

我记得有很多抓包软件，比如Fiddler。要是请求参数没被加密可以一试。要是加密成功率就不大了

南归 发表于 2022-8-10 12:07:13

wp231957 发表于 2022-8-10 10:20
pc软件是 抓自服务器   然后我们从pc上抓   这个还真不会   可以指导一下？？？

fiddler

南归 发表于 2022-8-10 12:09:20

昨晚btc和eth红的我心疼

令狐陈 发表于 2022-8-10 12:24:36

南归 发表于 2022-8-10 12:09
昨晚btc和eth红的我心疼

单次得失没关系，最好三率优化就程序自己跑呗。
页: [1]
查看完整版本: 关于python爬虫获取数据的问题