[已解决]相同url下不同页面数据爬取的问题

op114129

https://www.flightstats.com/v2/flight-tracker/departures/SZX。
在爬取上面页面的数据时，只能爬到第一页的数据。由于是相同url，爬取不到后续页码的数据，这个问题该怎么解决？？？

最佳答案

月排行榜 / 总排行榜

yjsx86

2019-12-9 19:31:40

它的全部数据在javascript代码块里面

1. import requests, re, json
   
2. 
   
3. r = requests.get("https://www.flightstats.com/v2/flight-tracker/departures/SZX")
   
4. 
   
5. m = re.search(r'"flights":(\[.*?\]),', r.text, re.M)
   
6. items = json.loads(m.group(1))
   
7. print("total: %d" % len(items))
   
8. for item in items:
   
9.     carrier = item['carrier']['fs'] + '-' + item['carrier']['flightNumber']
   
10.     departure = item['departureTime']['time24']
    
11.     arrival = item['arrivalTime']['time24']
    
12.     destination = item['airport']['fs']
    
13.     print("{} {} {} {}".format(carrier, departure, arrival, destination))

复制代码

跳转到最佳答案楼层

yjsx86

它的全部数据在javascript代码块里面

1. import requests, re, json
   
2. 
   
3. r = requests.get("https://www.flightstats.com/v2/flight-tracker/departures/SZX")
   
4. 
   
5. m = re.search(r'"flights":(\[.*?\]),', r.text, re.M)
   
6. items = json.loads(m.group(1))
   
7. print("total: %d" % len(items))
   
8. for item in items:
   
9.     carrier = item['carrier']['fs'] + '-' + item['carrier']['flightNumber']
   
10.     departure = item['departureTime']['time24']
    
11.     arrival = item['arrivalTime']['time24']
    
12.     destination = item['airport']['fs']
    
13.     print("{} {} {} {}".format(carrier, departure, arrival, destination))

复制代码

op114129

yjsx86 发表于 2019-12-9 19:31
它的全部数据在javascript代码块里面

谢谢大佬啊~嘤嘤嘤

阴阳神万物主

op114129 发表于 2019-12-9 21:40
谢谢大佬啊~嘤嘤嘤

给人家一个最佳答案吧

op114129

阴阳神万物主 发表于 2019-12-9 21:48
给人家一个最佳答案吧

哈哈哈哈，忙着用大佬的代码去了，搞完赶紧给了最佳答案，我的锅，隔空给大佬说声么么哒

17712675908

yjsx86 发表于 2019-12-9 19:31
它的全部数据在javascript代码块里面

大佬这代码怎么用啊