[已解决]为什么我的爬虫，用ip代理一次都没成功过，跪等

Y3046W

请教啊   ，百度上的方法我都试过了，我巨迷糊，
跪等大佬

最佳答案

月排行榜 / 总排行榜

悠悠2264

2020-4-22 15:30:23

代码没问题，就是代理ip不行，建议多放几个代理ip，或先编写一个爬虫爬取西刺所有的代理ip，然后一个个的去试

跳转到最佳答案楼层

Y3046W

ip 是这里找的   https://www.xicidaili.com/nt/

源码：

import requests


proxy = {
    'http': 'http://139.244.133.150:3128',
    'https': 'https://122.244.65.201:3128'}


head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36"}


p = requests.get('http://icanhazip.com', headers=head, proxies=proxy)

print(p.text)

悠悠2264

代码没问题，就是代理ip不行，建议多放几个代理ip，或先编写一个爬虫爬取西刺所有的代理ip，然后一个个的去试

Y3046W

悠悠2264 发表于 2020-4-22 15:30
代码没问题，就是代理ip不行，建议多放几个代理ip，或先编写一个爬虫爬取西刺所有的代理ip，然后一个个的去 ...

请问，网站是 用http的代理  还是  https的代理   是看网址前面是http还是https 的吗？

悠悠2264

Y3046W 发表于 2020-4-22 15:48
请问，网站是 用http的代理  还是  https的代理   是看网址前面是http还是https 的吗？

是的

Y3046W

为什么，返回的是自己的IP，已经换过好几个代理了

Twilight6

Y3046W 发表于 2020-4-22 15:48
请问，网站是 用http的代理  还是  https的代理   是看网址前面是http还是https 的吗？

搓我    说不定我这的比较稳哈哈哈（免费ip都不稳正常哈哈）

Twilight6

Y3046W 发表于 2020-4-22 16:02
为什么，返回的是自己的IP，已经换过好几个代理了

你没把代理赋到p里面去啊

悠悠2264

Y3046W 发表于 2020-4-22 16:02
为什么，返回的是自己的IP，已经换过好几个代理了

你没把代理ip传进去（是不小心删掉了吧），应改成：

p = requests.get('http://icanhazip.com', headers=head, proxies=proxy)

Y3046W

悠悠2264 发表于 2020-4-22 16:14
你没把代理ip传进去（是不小心删掉了吧），应改成：

哦哦，不小心删了，

设定代理就直接1楼的情况，换代理试过了

Y3046W

Twilight6 发表于 2020-4-22 16:13
你没把代理赋到p里面去啊

快代理，这里的我也有试过，也不行

Twilight6

Y3046W 发表于 2020-4-22 16:23
快代理，这里的我也有试过，也不行

同意刚才楼上的说法 ， 别用透明代理 ，用匿名或者高匿的试试吧，我之前也是试了五六次才成功，或者你看看要不url改成这个 http://httpbin.org/get  也可以查当前IP的   里面的"origin"属性就是当前ip

Twilight6

Y3046W 发表于 2020-4-22 16:23
快代理，这里的我也有试过，也不行

实在不行快代理不是好像有试用的  你去搞个试用的玩玩哈哈

悠悠2264

Y3046W 发表于 2020-4-22 16:23
快代理，这里的我也有试过，也不行

现在免费代理一般都不管用，建议在淘宝上购买代理ip，不贵

兢兢

免费不稳定