[已解决]爬虫代码出错

鸷爱之殇

哪个大神能帮忙看一下吗？为什么这段代码一直报错。
这个代码是想利用爬虫获取国家数字植物标本馆中物种的采集地信息。

1. # -*- coding: UTF-8 -*-
   
2. import requests
   
3. import json
   
4. import pandas as pd
   
5. import time
   
6. 
   
7. ###筛选植物，从第一个节点得到ID
   
8. def getPlantINFO(name="大叶相思"):
   
9.     offset = 0
   
10.     ALL =pd.DataFrame()
    
11.     json_data={}
    
12.     while len(json_data)!=3:
    
13.         base_url = "http://www.cvh.ac.cn/cvh6/view/controller/search/spms.php?&taxonName="+name+"&offset=" +str(offset)
    
14.         headers = {
    
15.             "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36" ,
    
16.             "Cookie":"_pk_ses.1.2cf1=1; _pk_ses.43.2cf1=1; PHPSESSID=6623lkaj0679eo25lmr0okris7; ASPSESSIONIDCCCBDDQC=LFKBJDADMAHAFGMDBOOINCDA; _pk_id.43.2cf1=ae54e87ea20fbba7.1591011679.2.1591174487.1591173253.; _pk_id.1.2cf1=8fad1f8b96701ecc.1591011679.2.1591174487.1591173253."
    
17.         }
    
18.         response = requests.get(base_url)
    
19.         data = response.text
    
20.         json_data = json.loads(data)
    
21.         if len(json_data)==3:
    
22.             continue;
    
23.         data_list = json_data['rows']
    
24.         mid=pd.DataFrame.from_dict(data_list)
    
25.         if offset ==0:
    
26.             ALL = mid
    
27.         else:
    
28.             ALL = ALL.append(mid)
    
29.         offset +=30
    
30.     print(ALL)
    
31.     return ALL
    
32. 
    
33. 
    
34. ###根据ID从第二个节点得到样本INFO
    
35. def getSampleINFO(plantInfo):
    
36.     ID = plantInfo["collectionID"].tolist()
    
37.     output = pd.DataFrame()
    
38.     n = 0
    
39.     for i in ID:
    
40.         base_url = "http://www.cvh.ac.cn/cvh6/view/controller/search/spms_record.php?id=" + i
    
41.         headers = {
    
42.             "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36" ,
    
43.             "Cookie":"_pk_ses.1.2cf1=1; _pk_ses.43.2cf1=1; PHPSESSID=6623lkaj0679eo25lmr0okris7; ASPSESSIONIDCCCBDDQC=LFKBJDADMAHAFGMDBOOINCDA; _pk_id.43.2cf1=ae54e87ea20fbba7.1591011679.2.1591174487.1591173253.; _pk_id.1.2cf1=8fad1f8b96701ecc.1591011679.2.1591174487.1591173253."
    
44.         }
    
45.         response = requests.get(base_url)
    
46.         data = response.text
    
47.         json_data = json.loads(data)
    
48.         data_list = json_data['rows']
    
49.         list = [data_list]
    
50.         mid=pd.DataFrame.from_dict(list)
    
51.         if n ==0:
    
52.             output = mid
    
53.         else:
    
54.             output =output.append(mid)
    
55.         n+=1
    
56.         time.sleep(0.5) #######查询一个样本后延迟0.5s
    
57.     return output
    
58. 
    
59. def main(name=["大叶相思"]):
    
60.     outputPath = "E:/test"
    
61.     for i in name:
    
62.         test = getPlantINFO(name=i)
    
63.         output = getSampleINFO(test)
    
64.         output.to_csv(outputPath+i+".csv",index=False)
    
65.         print(i+"查询结束")
    
66.         time.sleep(2)##########查询一个植物后延迟2s
    
67. 
    
68. 
    
69. listOfPlants = ["大叶相思","阿拉伯婆婆纳"]               #需要在这里加上你要的植物的list
    
70. main(listOfPlants)
    

复制代码

最佳答案

月排行榜 / 总排行榜

comeheres

2020-7-13 15:29:03

鸷爱之殇 发表于 2020-7-13 15:08
哦哦，那我再看看，非常感谢

两个网址path里，都去掉/cvh6/view，另外循环访问间隔时间0.5秒太短，容易获取失败

跳转到最佳答案楼层

comeheres

报错的原因是你这网址都有问题，现在都已经访问失效了

鸷爱之殇

comeheres 发表于 2020-7-13 15:04
报错的原因是你这网址都有问题，现在都已经访问失效了

哦哦，那我再看看，非常感谢

comeheres

鸷爱之殇 发表于 2020-7-13 15:08
哦哦，那我再看看，非常感谢

两个网址path里，都去掉/cvh6/view，另外循环访问间隔时间0.5秒太短，容易获取失败