月下孤井 发表于 2022-9-19 22:54:51

关于爬虫ip的问题

平时有时会用到爬虫爬取海外网站的数据, 但是很多网站爬取的时候感觉很卡有时正爬取的时候连接甚至会断掉, 请各位大神大佬们可不可以教教我, 用什么比较好的方法可以用外网的ip爬取海外的网站, 小弟在此不胜感激

临时号 发表于 2022-9-19 23:16:55

import reqeusts

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"
}

proxies = {
    "协议": "协议://代理ip:端口"
}

response = requests.get("https://www.baidu.com", proxies=proxies, headers=headers)
if response.status_code == 200:
    response.encoding = "utf-8"
    print(response.text)
else:
    print("Error")

月下孤井 发表于 2022-9-19 23:36:30

临时号 发表于 2022-9-19 23:16


这个写法我知道的,主要是不知道海外的ip在什么地方弄, 有没有比较便宜一点的, 如果能免费用就更好了, 速度慢也没事

Twilight6 发表于 2022-9-20 07:54:16

月下孤井 发表于 2022-9-19 23:36
这个写法我知道的,主要是不知道海外的ip在什么地方弄, 有没有比较便宜一点的, 如果能免费用就更好了, 速 ...



一般网站没啥问题的话,一直掉就是代/理的问题了,免费的不稳定正常

月下孤井 发表于 2022-9-20 17:22:56

Twilight6 发表于 2022-9-20 07:54
一般网站没啥问题的话,一直掉就是代/理的问题了,免费的不稳定正常

嗯, 一般爬取海外的网站用的是哪个ip代/理呢

Twilight6 发表于 2022-9-20 17:40:13

月下孤井 发表于 2022-9-20 17:22
嗯, 一般爬取海外的网站用的是哪个ip代/理呢



这我也不太懂,听说水也蛮深的

cflying 发表于 2022-9-20 17:58:50

海外网站,因该先解决用浏览器怎么正常访问,python只是自动化实现工具

月下孤井 发表于 2022-9-20 18:21:48

cflying 发表于 2022-9-20 17:58
海外网站,因该先解决用浏览器怎么正常访问,python只是自动化实现工具

嗯, 大佬可不可以教一下我,
页: [1]
查看完整版本: 关于爬虫ip的问题