[已解决]关于网络异常及网络堵塞URLError: <urlopen error timed out>

天冰

URLError: <urlopen error timed out>

我就是想实现的简单功能就是如果网络不行或网络断开重试，即一切网络异常重试，需要加哪些代码，我已加以下代码：

1.     except socket.timeout, e:  
   
2.         print type(e)   
   
3.     except urllib2.HTTPError, e:
   
4.         print e.code
   
5.         print e.reason

复制代码

最佳答案

月排行榜 / 总排行榜

流氓大叔

2016-9-4 15:05:06

1. #coding:utf8
   
2. import urllib2,socket
   
3. 
   
4. def getcontent(url,timeout):
   
5.     try:
   
6.         response=urllib2.urlopen(url,timeout=timeout)
   
7.         content = response.read().decode('utf-8')
   
8.         return content
   
9.     except socket.timeout:
   
10.         print "连接超时,将重新尝试连接"
    
11.         print timeout
    
12.         return getcontent(url,timeout+1)
    
13.     except urllib2.HTTPError, e:
    
14.         pass
    
15. getcontent("http://www.baidu.com",0.01)

复制代码

发了两个帖子半天没人回，也是够了。

跳转到最佳答案楼层

流氓大叔

1. #coding:utf8
   
2. import urllib2,socket
   
3. 
   
4. def getcontent(url,timeout):
   
5.     try:
   
6.         response=urllib2.urlopen(url,timeout=timeout)
   
7.         content = response.read().decode('utf-8')
   
8.         return content
   
9.     except socket.timeout:
   
10.         print "连接超时,将重新尝试连接"
    
11.         print timeout
    
12.         return getcontent(url,timeout+1)
    
13.     except urllib2.HTTPError, e:
    
14.         pass
    
15. getcontent("http://www.baidu.com",0.01)

复制代码

发了两个帖子半天没人回，也是够了。

天冰

流氓大叔 发表于 2016-9-4 15:05
发了两个帖子半天没人回，也是够了。

不是很理解一定要传二个参数吗，但我二级链接是列表

1. #正则二级内容
   
2. def getcontent_2(url):
   
3.     user_agent='Mozilla/5.0 (Windows NT 6.3; rv:36.0) Gecko/20100101 Firefox/36.04'
   
4.     headers={'User-Agent':user_agent}
   
5.     try:
   
6.         request=urllib2.Request(url,headers = headers)
   
7.         response=urllib2.urlopen(request,timeout=5)
   
8.         content_2 = response.read().decode('utf-8')
   
9.         pattern=re.compile('<a href=".*=u8396862907">.*</a>\'\)</script>\s+</p>\s+</div>\s+<div class="postContent">\s+(.*)\s*<[span]*',re.M)
   
10.         contenturl_2=[]
    
11.         contenturl_2=re.findall(pattern,content_2)
    
12.         for j in contenturl_2:
    
13.             pattern_1=re.compile(r'[1-9]([0-9]{5,11})')
    
14.             haveqq=re.search(pattern_1,j)
    
15.             if haveqq:
    
16.                 print j
    
17.         response.close()
    
18.     except socket.timeout, e:  
    
19.         print type(e)     
    
20.     except urllib2.HTTPError, e:
    
21.         print e.code
    
22.         print e.reason
    
23. 
    
24.    
    
25. #二级链接
    
26. def geturl_2(contenturl):
    
27.     for k,j in contenturl:
    
28.         url=k
    
29.       #  print url
    
30.         getcontent_2(url)

复制代码

流氓大叔

天冰 发表于 2016-9-4 17:12
不是很理解一定要传二个参数吗，但我二级链接是列表

传两个参数是因为我第一次传入的参数是0.01秒，肯定是会超时返回的，所以我在return getcontent的地方加了一秒，第二次获取内容的时候就变成了1.01秒。如果你设置的时间比如是30秒或者其他的你认为时间差不多的数值，就不必传入两个参数了。

天冰

流氓大叔 发表于 2016-9-4 17:16
传两个参数是因为我第一次传入的参数是0.01秒，肯定是会超时返回的，所以我在return getcontent的地方加 ...

但时间设置的越大，假死状态就会出现，就是一直卡着不动

流氓大叔

天冰 发表于 2016-9-4 19:41
但时间设置的越大，假死状态就会出现，就是一直卡着不动

那说明访问速度就是这么慢，你要等他返回数据。访问时间设置短了，超时以后重试，你看着是在跑起来了，可是又拿不到想要的数据。嫌慢，看看适不适合换多线程？