[已解决]关于爬虫ip的问题

月下孤井

平时有时会用到爬虫爬取海外网站的数据, 但是很多网站爬取的时候感觉很卡有时正爬取的时候连接甚至会断掉, 请各位大神大佬们可不可以教教我, 用什么比较好的方法可以用外网的ip爬取海外的网站, 小弟在此不胜感激

最佳答案

月排行榜 / 总排行榜

Twilight6

2022-9-20 07:54:16

月下孤井 发表于 2022-9-19 23:36
这个写法我知道的,主要是不知道海外的ip在什么地方弄, 有没有比较便宜一点的, 如果能免费用就更好了, 速 ...

一般网站没啥问题的话，一直掉就是代/理的问题了，免费的不稳定正常

跳转到最佳答案楼层

临时号

import reqeusts

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"
}

proxies = {
    "协议": "协议://代理ip:端口"
}

response = requests.get("https://www.baidu.com", proxies=proxies, headers=headers)
if response.status_code == 200:
    response.encoding = "utf-8"
    print(response.text)
else:
    print("Error")

月下孤井

临时号 发表于 2022-9-19 23:16

这个写法我知道的,主要是不知道海外的ip在什么地方弄, 有没有比较便宜一点的, 如果能免费用就更好了, 速度慢也没事

Twilight6

月下孤井 发表于 2022-9-19 23:36
这个写法我知道的,主要是不知道海外的ip在什么地方弄, 有没有比较便宜一点的, 如果能免费用就更好了, 速 ...

一般网站没啥问题的话，一直掉就是代/理的问题了，免费的不稳定正常

月下孤井

Twilight6 发表于 2022-9-20 07:54
一般网站没啥问题的话，一直掉就是代/理的问题了，免费的不稳定正常

嗯, 一般爬取海外的网站用的是哪个ip代/理呢

Twilight6

月下孤井 发表于 2022-9-20 17:22
嗯, 一般爬取海外的网站用的是哪个ip代/理呢

这我也不太懂，听说水也蛮深的

cflying

海外网站，因该先解决用浏览器怎么正常访问，python只是自动化实现工具

月下孤井

cflying 发表于 2022-9-20 17:58
海外网站，因该先解决用浏览器怎么正常访问，python只是自动化实现工具

嗯, 大佬可不可以教一下我,