[已解决]相同url下不同页面数据爬取的问题

op114129

https://www.flightstats.com/v2/flight-tracker/departures/SZX。
在爬取上面页面的数据时，只能爬到第一页的数据。由于是相同url，爬取不到后续页码的数据，这个问题该怎么解决？？？

最佳答案

月排行榜 / 总排行榜

yjsx86

2019-12-9 19:31:40

它的全部数据在javascript代码块里面

import requests, re, json

r = requests.get("https://www.flightstats.com/v2/flight-tracker/departures/SZX")

m = re.search(r'"flights":(\[.*?\]),', r.text, re.M)
items = json.loads(m.group(1))
print("total: %d" % len(items))
for item in items:
    carrier = item['carrier']['fs'] + '-' + item['carrier']['flightNumber']
    departure = item['departureTime']['time24']
    arrival = item['arrivalTime']['time24']
    destination = item['airport']['fs']
    print("{} {} {} {}".format(carrier, departure, arrival, destination))

跳转到最佳答案楼层

yjsx86

它的全部数据在javascript代码块里面

import requests, re, json

r = requests.get("https://www.flightstats.com/v2/flight-tracker/departures/SZX")

m = re.search(r'"flights":(\[.*?\]),', r.text, re.M)
items = json.loads(m.group(1))
print("total: %d" % len(items))
for item in items:
    carrier = item['carrier']['fs'] + '-' + item['carrier']['flightNumber']
    departure = item['departureTime']['time24']
    arrival = item['arrivalTime']['time24']
    destination = item['airport']['fs']
    print("{} {} {} {}".format(carrier, departure, arrival, destination))

op114129

yjsx86 发表于 2019-12-9 19:31
它的全部数据在javascript代码块里面

谢谢大佬啊~嘤嘤嘤

阴阳神万物主

op114129 发表于 2019-12-9 21:40
谢谢大佬啊~嘤嘤嘤

给人家一个最佳答案吧

op114129

阴阳神万物主 发表于 2019-12-9 21:48
给人家一个最佳答案吧

哈哈哈哈，忙着用大佬的代码去了，搞完赶紧给了最佳答案，我的锅，隔空给大佬说声么么哒

17712675908

yjsx86 发表于 2019-12-9 19:31
它的全部数据在javascript代码块里面

大佬这代码怎么用啊