不稳定的爬虫

H.B.F

1. def getHotelComment(hotelId,pageNo):
   
2.     time.sleep(4)
   
3.     url = 'http://hotel.elong.com/ajax/detail/gethotelreviews/?hotelId=' + str(hotelId) + '&recommendedType=0&pageIndex=' + str(pageNo) + '&mainTagId=0&subTagId=0'
   
4.     url_https = 'http://hotel.elong.com/ajax/detail/gethotelreviews/?hotelId=' + str(hotelId) + '&recommendedType=0&pageIndex=' + str(pageNo) + '&mainTagId=0&subTagId=0'
   
5.     headers = {
   
6.         'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.134 Safari/537.36',
   
7.         'host': 'hotel.elong.com',
   
8.         'Connection': 'keep-alive',
   
9.     }
   
10.     try:
    
11.         resp = requests.get(url, headers=headers)
    
12.         result = resp.text.strip()
    
13.         return result
    
14.     except Exception as e:
    
15.         print 'http有问题啊。getHotelComment。获取详细的问题。', e
    
16.         resp = requests.get(url_https, headers=headers)
    
17.         result = resp.text.strip()
    
18.         return result

复制代码

这个在前面几百条数据完美运行
但是在后面跑就报requests.exceptions.ConnectionError: ('Connection aborted.', gaierror(11004, 'getaddrinfo failed'))
怎样解决这种不稳定的问题啊  @wei_Y@冬雪雪冬

H.B.F

@hldh214

小甲鱼的二师兄

服务器检测到ip频繁刷链接给ban了吧？增加一下延迟或者使用多个代理ip

H.B.F

小甲鱼的二师兄 发表于 2017-2-8 14:06
服务器检测到ip频繁刷链接给ban了吧？增加一下延迟或者使用多个代理ip

延迟都加了2秒了呀   延迟。。。。

H.B.F

H.B.F 发表于 2017-2-8 14:40
延迟都加了2秒了呀   延迟。。。。

为啥我的头像图片换不了啊。。。。。。

H.B.F

等会  我好想看到了问题所在   。。。。。。。。。。。。。。。。。。。。