python爬虫-如何爬取URL不变的网站内容

bod · 发表于 2019-2-11 12:08:07

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

有一组港口城市的名称作为输入，

port=['Piraeus','Barcelona','Bremerhaven','Gothenburg','Zeebrugge','Southampton',
      'Halifax','New York','Baltimore','Charleston','Brunswick','Miami','Manzanillo','Hueneme',
      'Yokohama','Kobe','Shanghai','Guangzhou','Laem Chabang','Singapore',
      'Auckland','Brisbane','Kembla','Melbourne','Fremantle']

在网站 http://www.shiptraffic.net/2001/05/sea-distances-calculator.html上输入任意两个港口城市的名称，可以得到这两个港口城市之间的距离信息。

我想要利用python爬虫爬取所有任意两个港口间的距离，但是发现改变所输入的港口名称，网站的url并未发生改变。

请问这种情况应该如何获取搜索结果的真实URL?求大佬解答！

ba21 · 发表于 2019-2-11 12:32:59

url变是get数据。

url不变是post 数据，所以你要post。资料百度找下

fl93 · 发表于 2019-2-12 16:49:56

看一下小甲鱼关于爬虫部分的教程就明白了

kaohsing · 发表于 2019-2-12 17:06:22

ajax请求，需要抓包获得发送的数据

wongyusing · 发表于 2019-2-13 00:24:40

你post数据到下面到这个链接：

http://distance.vtexplorer.com/site/findpath

复制代码

表单的格式如下：

{"src":"ESBCN","dst":"USNYC"}

复制代码

你最好先获取一下港口的英文简写，如同上面的

USNYC

复制代码

代表的是美国纽约港
再post比较好

账号		自动登录	找回密码
密码			立即注册