[已解决]异步爬取信息老是被封IP ，请问怎么操作可以降低被封的概率？？

zhangli742

想用异步爬取 www.kuaidaili.com  的免费代理ip 和一个漫画网站的所有漫画，但是每次运行程序，爬了几条之后就被封了，请问大佬要怎么调整发送频率？ 这是代码

1. async def get_ip(session,page):
   
2.     #访问目标网页获取html信息
   
3.     url = f'https://www.kuaidaili.com/free/inha/{page}/'
   
4.     async with session.get(url) as resp:
   
5.         text = await resp.text()
   
6.         #解析信息
   
7.         element = etree.HTML(text)
   
8.         parse_list = element.xpath('//*[@id="list"]/table/tbody/tr')
   
9.         ip_list = []
   
10.         for parse in parse_list:
    
11.             dic = {}
    
12.             ip_name = parse.xpath('./td[1]/text()')[0]
    
13.             port_name = parse.xpath('./td[2]/text()')[0]
    
14.             tpye_name = parse.xpath('./td[4]/text()')[0]
    
15.             dic[tpye_name] = ip_name + ':' + port_name
    
16.             ip_list.append(dic)
    
17. 
    
18. async def main():
    
19.     async with aiohttp.ClientSession() as session:
    
20.          task = [asyncio.create_task(get_ip(session,index)) for index in range(1000)]
    
21.          await asyncio.wait(task)
    
22. 
    
23. if __name__ == '__main__':
    
24.     asyncio.get_event_loop().run_until_complete(main())

复制代码

最佳答案

月排行榜 / 总排行榜

笨鸟学飞

2021-6-11 11:06:36

1、代理池。池中代理可用数量不足，则再换过可用代理
2、加延迟。不过会降低效率
3、每次爬取更换IP（代理）和浏览器UA标志是最优的办法

跳转到最佳答案楼层

南归

换个好用点的代理吧

笨鸟学飞

1、代理池。池中代理可用数量不足，则再换过可用代理
2、加延迟。不过会降低效率
3、每次爬取更换IP（代理）和浏览器UA标志是最优的办法

foxiangzun

通常的方法是，用 time 库中的 time.sleep() 方法，让爬取的动作暂停，暂停的时间可以再加一个 random 库下的 randint 函数，取一个时间范围（单位：秒）

1. import time
   
2. import random
   
3. 
   
4. '''
   
5. 此处爬虫代码不做列举
   
6. '''
   
7. #取1到15之间的随机整数
   
8. sleep_second = random.randint(1, 15)
   
9. #让爬虫暂停若干秒
   
10. time.sleep(sleep_second)

复制代码

zhangli742

笨鸟学飞 发表于 2021-6-11 11:06
1、代理池。池中代理可用数量不足，则再换过可用代理
2、加延迟。不过会降低效率
3、每次爬取更换IP（代 ...

谢谢指点