op114129 发表于 2019-12-9 16:32:32

相同url下不同页面数据爬取的问题

https://www.flightstats.com/v2/flight-tracker/departures/SZX。
在爬取上面页面的数据时，只能爬到第一页的数据。由于是相同url，爬取不到后续页码的数据，这个问题该怎么解决？？？

yjsx86 发表于 2019-12-9 19:31:40

本帖最后由 yjsx86 于 2019-12-9 20:10 编辑

它的全部数据在javascript代码块里面
import requests, re, json

r = requests.get("https://www.flightstats.com/v2/flight-tracker/departures/SZX")

m = re.search(r'"flights":(\[.*?\]),', r.text, re.M)
items = json.loads(m.group(1))
print("total: %d" % len(items))
for item in items:
    carrier = item['carrier']['fs'] + '-' + item['carrier']['flightNumber']
    departure = item['departureTime']['time24']
    arrival = item['arrivalTime']['time24']
    destination = item['airport']['fs']
    print("{} {} {} {}".format(carrier, departure, arrival, destination))

op114129 发表于 2019-12-9 21:40:20

yjsx86 发表于 2019-12-9 19:31
它的全部数据在javascript代码块里面

谢谢大佬啊~嘤嘤嘤

阴阳神万物主 发表于 2019-12-9 21:48:11

op114129 发表于 2019-12-9 21:40
谢谢大佬啊~嘤嘤嘤

给人家一个最佳答案吧

op114129 发表于 2019-12-10 21:53:20

阴阳神万物主 发表于 2019-12-9 21:48
给人家一个最佳答案吧

哈哈哈哈，忙着用大佬的代码去了，搞完赶紧给了最佳答案，我的锅，隔空给大佬说声么么哒

17712675908 发表于 2020-6-4 01:14:37

yjsx86 发表于 2019-12-9 19:31
它的全部数据在javascript代码块里面

大佬这代码怎么用啊
页: [1]
查看完整版本: 相同url下不同页面数据爬取的问题