Y3046W 发表于 2020-4-22 15:18:31

为什么我的爬虫,用ip代理一次都没成功过,跪等

请教啊   ,百度上的方法我都试过了,我巨迷糊,
跪等大佬

Y3046W 发表于 2020-4-22 15:19:44

ip 是这里找的   https://www.xicidaili.com/nt/

源码:

import requests


proxy = {
    'http': 'http://139.244.133.150:3128',
    'https': 'https://122.244.65.201:3128'}


head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36"}


p = requests.get('http://icanhazip.com', headers=head, proxies=proxy)

print(p.text)

悠悠2264 发表于 2020-4-22 15:30:23

代码没问题,就是代理ip不行,建议多放几个代理ip,或先编写一个爬虫爬取西刺所有的代理ip,然后一个个的去试

Y3046W 发表于 2020-4-22 15:48:12

悠悠2264 发表于 2020-4-22 15:30
代码没问题,就是代理ip不行,建议多放几个代理ip,或先编写一个爬虫爬取西刺所有的代理ip,然后一个个的去 ...

请问,网站是 用http的代理还是https的代理   是看网址前面是http还是https 的吗?

悠悠2264 发表于 2020-4-22 15:54:10

Y3046W 发表于 2020-4-22 15:48
请问,网站是 用http的代理还是https的代理   是看网址前面是http还是https 的吗?

是的

Y3046W 发表于 2020-4-22 16:02:38

为什么,返回的是自己的IP,已经换过好几个代理了

Twilight6 发表于 2020-4-22 16:04:07

Y3046W 发表于 2020-4-22 15:48
请问,网站是 用http的代理还是https的代理   是看网址前面是http还是https 的吗?

搓我    说不定我这的比较稳哈哈哈(免费ip都不稳正常哈哈)

Twilight6 发表于 2020-4-22 16:13:06

Y3046W 发表于 2020-4-22 16:02
为什么,返回的是自己的IP,已经换过好几个代理了

你没把代理赋到p里面去啊

悠悠2264 发表于 2020-4-22 16:14:34

本帖最后由 悠悠2264 于 2020-4-22 16:18 编辑

Y3046W 发表于 2020-4-22 16:02
为什么,返回的是自己的IP,已经换过好几个代理了

你没把代理ip传进去(是不小心删掉了吧),应改成:
p = requests.get('http://icanhazip.com', headers=head, proxies=proxy)

Y3046W 发表于 2020-4-22 16:23:16

悠悠2264 发表于 2020-4-22 16:14
你没把代理ip传进去(是不小心删掉了吧),应改成:

哦哦,不小心删了,

设定代理就直接1楼的情况,换代理试过了

Y3046W 发表于 2020-4-22 16:23:48

Twilight6 发表于 2020-4-22 16:13
你没把代理赋到p里面去啊

快代理,这里的我也有试过,也不行

Twilight6 发表于 2020-4-22 16:27:34

Y3046W 发表于 2020-4-22 16:23
快代理,这里的我也有试过,也不行

同意刚才楼上的说法 , 别用透明代理 ,用匿名或者高匿的试试吧,我之前也是试了五六次才成功,或者你看看要不url改成这个 http://httpbin.org/get也可以查当前IP的   里面的"origin"属性就是当前ip

Twilight6 发表于 2020-4-22 16:28:30

Y3046W 发表于 2020-4-22 16:23
快代理,这里的我也有试过,也不行

实在不行快代理不是好像有试用的你去搞个试用的玩玩哈哈

悠悠2264 发表于 2020-4-22 16:29:50

Y3046W 发表于 2020-4-22 16:23
快代理,这里的我也有试过,也不行

现在免费代理一般都不管用,建议在淘宝上购买代理ip,不贵

兢兢 发表于 2020-4-22 20:01:14

免费不稳定
页: [1]
查看完整版本: 为什么我的爬虫,用ip代理一次都没成功过,跪等