爬虫代码疑问

老笨啊

今天一直为一个天气爬虫代码纠结。。
终于在各位的帮忙下基本完成了。但是有个奇怪的问题，我设置了函数，想直接输入一个年份，可以一次性爬取从2011年到指定年份的所有天气数据。爬到05月份的时候就报错了。。
但是，如果是年份是单独输入的话，则不会报错。。
详细代码如下（一次性爬取）：

1. import pandas as pd
   
2. import numpy as np
   
3. from bs4 import BeautifulSoup as bs
   
4. import requests as res
   
5. import re
   
6. import time
   
7. 
   
8. def wea(year):
   
9.     for i in range(2011,year):
   
10.         for j in range(1,13):
    
11.             if len(str(j))<2:
    
12.                 j = '0'+ str(j)
    
13.             else:
    
14.                 j = j
    
15.             y = str(i)+str(j)
    
16.             url = 'http://www.tianqihoubao.com/lishi/fujianfuzhou/month/%s.html'%y            
    
17.             header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
    
18.             res1 = res.get(url,headers = header)  #请求
    
19.             soup = bs(res1.text,'lxml') #解析
    
20.             cont1 = soup.find_all('td')
    
21.             list1 = []
    
22.             print('爬到第%s月了！'%y)
    
23.             time.sleep(np.random.randint(1))
    
24.             for i in cont1:
    
25.                 weather = []
    
26.                 for n in i.strings:
    
27.                     a = n.replace(' ','').replace('\r','').replace('\n','')
    
28.                     weather.append(a)
    
29.                     total = (weather)
    
30.                 list1.append(total)
    
31.             list2 = []
    
32.             for i in list1:
    
33.                 for n in i:
    
34.                     if n !='':
    
35.                         list2.append(n)
    
36.             list3 = []
    
37.             for i in range(0,len(list2),4):
    
38.                 date = list2[i]
    
39.                 weather = list2[i+1]
    
40.                 temp = list2[i+2]
    
41.                 wind = list2[i+3]
    
42.                 total =(date,weather,temp,wind)
    
43.                 list3.append(total)
    
44.             data = pd.DataFrame(list3)
    
45.             data.to_csv(r"F:\数据资源\天气资料%s.csv"%year,encoding='gbk',header = None,mode='a')
    
46. Wea(2019)

复制代码

老笨啊

只能爬取单年的代码如下：

1. import pandas as pd
   
2. import numpy as np
   
3. from bs4 import BeautifulSoup as bs
   
4. import requests as res
   
5. import re
   
6. import time
   
7. 
   
8. def Wea(year):
   
9.     for j in range(1,13):
   
10.         if len(str(j))<2:
    
11.             j = '0'+ str(j)
    
12.         else:
    
13.             j = j                    
    
14.         url = 'http://www.tianqihoubao.com/lishi/fujianfuzhou/month/%s%s.html'%(year,j)
    
15.         header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
    
16.         res1 = res.get(url,headers = header)  #请求
    
17.         soup = bs(res1.text,'lxml') #解析
    
18.         cont1 = soup.find_all('td')
    
19.         list1 = []
    
20.         print('爬到第%s月了！'%j)
    
21.         time.sleep(np.random.randint(1))
    
22.         for i in cont1:
    
23.             weather = []
    
24.             for n in i.strings:
    
25.                 a = n.replace(' ','').replace('\r','').replace('\n','')
    
26.                 weather.append(a)
    
27.                 total = (weather)
    
28.             list1.append(total)
    
29.         list2 = []
    
30.         for i in list1:
    
31.             for n in i:
    
32.                 if n !='':
    
33.                     list2.append(n)
    
34.         list3 = []
    
35.         for i in range(0,len(list2),4):
    
36.             date = list2[i]
    
37.             weather = list2[i+1]
    
38.             temp = list2[i+2]
    
39.             wind = list2[i+3]
    
40.             total =(date,weather,temp,wind)
    
41.             list3.append(total)
    
42.         data = pd.DataFrame(list3)
    
43.         data.to_csv(r"F:\数据资源\天气资料%s.csv"%year,encoding='gbk',header = None,mode='a')
    
44. Wea(2015)

复制代码

伏惜寒

是你的爬虫程序运行太快了，服务器响应不过来，你只需要设置一个睡眠时间就能解决
import time
然后在你的爬取一次程序末尾加上
time.sleep(2)
让这个程序睡2秒就可以了

老笨啊

伏惜寒 发表于 2019-3-27 17:38
是你的爬虫程序运行太快了，服务器响应不过来，你只需要设置一个睡眠时间就能解决
import time
然后在你 ...

我用了sleep命令啊，你看第21/23行代码

老笨啊

伏惜寒 发表于 2019-3-27 17:38
是你的爬虫程序运行太快了，服务器响应不过来，你只需要设置一个睡眠时间就能解决
import time
然后在你 ...

而报错的是：

伏惜寒

老笨啊 发表于 2019-3-27 18:11
而报错的是：

np.random.randint(1, size=10)
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0])

返回值全是0，也就是time.sleep(0),哪里有让程序睡眠了？
你直接写time.sleep(2)就可以了，别搞那么麻烦

老笨啊

伏惜寒 发表于 2019-3-27 21:41
np.random.randint(1, size=10)
array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0])

谢谢，我昨晚后面突然反应过来，发现for循环语句中，重复用了好几次i，是这个的问题。
你说的时间睡眠问题，我的确没做到位。只是不是根源问题。。