不稳定的爬虫

H.B.F

def getHotelComment(hotelId,pageNo):
    time.sleep(4)
    url = 'http://hotel.elong.com/ajax/detail/gethotelreviews/?hotelId=' + str(hotelId) + '&recommendedType=0&pageIndex=' + str(pageNo) + '&mainTagId=0&subTagId=0'
    url_https = 'http://hotel.elong.com/ajax/detail/gethotelreviews/?hotelId=' + str(hotelId) + '&recommendedType=0&pageIndex=' + str(pageNo) + '&mainTagId=0&subTagId=0'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.134 Safari/537.36',
        'host': 'hotel.elong.com',
        'Connection': 'keep-alive',
    }
    try:
        resp = requests.get(url, headers=headers)
        result = resp.text.strip()
        return result
    except Exception as e:
        print 'http有问题啊。getHotelComment。获取详细的问题。', e
        resp = requests.get(url_https, headers=headers)
        result = resp.text.strip()
        return result

这个在前面几百条数据完美运行
但是在后面跑就报requests.exceptions.ConnectionError: ('Connection aborted.', gaierror(11004, 'getaddrinfo failed'))
怎样解决这种不稳定的问题啊  @wei_Y@冬雪雪冬

H.B.F

@hldh214

小甲鱼的二师兄

服务器检测到ip频繁刷链接给ban了吧？增加一下延迟或者使用多个代理ip

H.B.F

小甲鱼的二师兄 发表于 2017-2-8 14:06
服务器检测到ip频繁刷链接给ban了吧？增加一下延迟或者使用多个代理ip

延迟都加了2秒了呀   延迟。。。。

H.B.F

H.B.F 发表于 2017-2-8 14:40
延迟都加了2秒了呀   延迟。。。。

为啥我的头像图片换不了啊。。。。。。

H.B.F

等会  我好想看到了问题所在   。。。。。。。。。。。。。。。。。。。。