船讯网的船舶轨迹数据爬取问题

xxxzzz12345 · 发表于 2021-4-15 17:41:39

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

大家好，我是刚入门python爬虫的新手一枚，最近写论文要用到船舶数据以及附带的天气数据，需要在船讯网中爬取一个月内的船舶轨迹数据，特征大概就是经纬度，航向，速度，还有天气信息等，请问这个具体该如何爬呢？看了小甲鱼的几个爬虫视频，我还是不得要领，请问有没有大神愿意指教一二？需要爬取的数据在下图中有体现，主要是爬取“AIS信息”和“气象信息”两个标签中的数据。

wp231957 · 发表于 2021-4-15 18:03:29

咋能点出来你这些二级界面？？

xxxzzz12345 · 发表于 2021-4-15 18:52:14

wp231957 发表于 2021-4-15 18:03
咋能点出来你这些二级界面？？

在船讯网http://www.shipxy.com/，左上角有个搜索船舶/港口，就输入这个TAIHAIQIDU10就可以了，这个是一艘船的名字，然后点击下面的轨迹按钮，就会跳到这个界面。

xxxzzz12345 · 发表于 2021-4-15 18:52:51

xxxzzz12345 发表于 2021-4-15 18:52
在船讯网http://www.shipxy.com/，左上角有个搜索船舶/港口，就输入这个TAIHAIQIDU10就可以了，这个是一 ...

还要点下查询，上面的日期可以自己调，最多可以查询一个月内的轨迹。

xxxzzz12345 · 发表于 2021-4-15 23:02:28

顶顶，又看了下，我是想咨询一下怎么样爬这种复杂的网页数据呢？教程上都是简单的根据某个标题或者链接，这个涉及到表格，超链接啥的，对我来说有些难度。

阿奇_o · 发表于 2021-4-16 02:10:57

获取“AIS信息”和“气象信息” 这两个数据，还好，不难。已实现。

我用的是 selenium，方法是模拟正常的点击或浏览动作，然后获取需要的页面数据，即可。

至于轨迹，的确比较难。。既要登录验证，又要处理地图信息。。虽然有个小思路，但段位还不足以解决…… 暂且别过。

晨晨chen · 发表于 2022-11-24 11:28:28

阿奇_o 发表于 2021-4-16 02:10
获取“AIS信息”和“气象信息” 这两个数据，还好，不难。已实现。

我用的是 selenium，方法是模拟正常 ...

您好，打扰您一下，由于最近工作需要，要从船讯网上爬取信息，想请教一下您的问题具体是怎么解决的，感激不尽

账号		自动登录	找回密码
密码			立即注册