xxxzzz12345 发表于 2021-4-15 17:41:39

船讯网的船舶轨迹数据爬取问题

大家好,我是刚入门python爬虫的新手一枚,最近写论文要用到船舶数据以及附带的天气数据,需要在船讯网中爬取一个月内的船舶轨迹数据,特征大概就是经纬度,航向,速度,还有天气信息等,请问这个具体该如何爬呢?看了小甲鱼的几个爬虫视频,我还是不得要领,请问有没有大神愿意指教一二?需要爬取的数据在下图中有体现,主要是爬取“AIS信息”和“气象信息”两个标签中的数据。

wp231957 发表于 2021-4-15 18:03:29

咋能点出来你这些二级界面??

xxxzzz12345 发表于 2021-4-15 18:52:14

wp231957 发表于 2021-4-15 18:03
咋能点出来你这些二级界面??

在船讯网http://www.shipxy.com/,左上角有个搜索船舶/港口,就输入这个TAIHAIQIDU10就可以了,这个是一艘船的名字,然后点击下面的轨迹按钮,就会跳到这个界面。

xxxzzz12345 发表于 2021-4-15 18:52:51

xxxzzz12345 发表于 2021-4-15 18:52
在船讯网http://www.shipxy.com/,左上角有个搜索船舶/港口,就输入这个TAIHAIQIDU10就可以了,这个是一 ...

还要点下查询,上面的日期可以自己调,最多可以查询一个月内的轨迹。

xxxzzz12345 发表于 2021-4-15 23:02:28

顶顶,又看了下,我是想咨询一下怎么样爬这种复杂的网页数据呢?教程上都是简单的根据某个标题或者链接,这个涉及到表格,超链接啥的,对我来说有些难度。

阿奇_o 发表于 2021-4-16 02:10:57

获取“AIS信息”和“气象信息” 这两个数据,还好,不难。已实现。

我用的是 selenium,方法是模拟正常的点击或浏览动作,然后获取需要的页面数据,即可。

至于轨迹,的确比较难。。既要登录验证,又要处理地图信息。。虽然有个小思路,但段位还不足以解决…… 暂且别过。

{:10_261:}

晨晨chen 发表于 2022-11-24 11:28:28

阿奇_o 发表于 2021-4-16 02:10
获取“AIS信息”和“气象信息” 这两个数据,还好,不难。已实现。

我用的是 selenium,方法是模拟正常 ...

您好,打扰您一下,由于最近工作需要,要从船讯网上爬取信息,想请教一下您的问题具体是怎么解决的,感激不尽
页: [1]
查看完整版本: 船讯网的船舶轨迹数据爬取问题