[已解决]学到爬虫的自我修养--隐藏，可为什么代理后结果跟小甲鱼视频不一样呢

小桥流水清无鱼

在学一只爬虫的自我修养--隐藏
跟着小甲鱼视频打的代码
弹幕说网址进不去了
可怎么给我了一个hello!呢
换其他代理ip就报错

1. import urllib.request
   
2. 
   
3. url = 'http://www.whatismyip.com.tw'
   
4. 
   
5. proxy_support = urllib.request.ProxyHandler({'http':'47.103.200.224:80'})
   
6. 
   
7. opener = urllib.request.build_opener(proxy_support)
   
8. opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36')]
   
9. 
   
10. urllib.request.install_opener(opener)
    
11. 
    
12. response = urllib.request.urlopen(url)
    
13. html = response.read().decode('utf-8')
    
14. 
    
15. print(html)
    

复制代码

最佳答案

月排行榜 / 总排行榜

Twilight6

2021-6-15 18:08:43

帮你换个 URL和 IP 了，试试看吧，不保证你等下可以运行，这个是透明的 IP看得见自己原 IP：

1. import urllib.request
   
2. 
   
3. url = 'http://httpbin.org/get'
   
4. 
   
5. proxy_support = urllib.request.ProxyHandler({'http':'49.232.118.212:3128'})
   
6. 
   
7. opener = urllib.request.build_opener(proxy_support)
   
8. opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36')]
   
9. 
   
10. urllib.request.install_opener(opener)
    
11. 
    
12. response = urllib.request.urlopen(url)
    
13. html = response.read().decode('utf-8')
    
14. 
    
15. print(html)

复制代码

跳转到最佳答案楼层

wp231957

爬虫是有实效性的，甲鱼的代理估计早就失效了

Twilight6

帮你换个 URL和 IP 了，试试看吧，不保证你等下可以运行，这个是透明的 IP看得见自己原 IP：

1. import urllib.request
   
2. 
   
3. url = 'http://httpbin.org/get'
   
4. 
   
5. proxy_support = urllib.request.ProxyHandler({'http':'49.232.118.212:3128'})
   
6. 
   
7. opener = urllib.request.build_opener(proxy_support)
   
8. opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36')]
   
9. 
   
10. urllib.request.install_opener(opener)
    
11. 
    
12. response = urllib.request.urlopen(url)
    
13. html = response.read().decode('utf-8')
    
14. 
    
15. print(html)

复制代码

小桥流水清无鱼

Twilight6 发表于 2021-6-15 18:08
帮你换个 URL和 IP 了，试试看吧，不保证你等下可以运行，这个是透明的 IP看得见自己原 IP：

嗯嗯,谢谢，
用了你给的新IP放在之前小甲鱼的视频的URL也可以了
突然http://www.whatismyip.com.tw这个网站复活了

Twilight6

小桥流水清无鱼 发表于 2021-6-15 19:01
嗯嗯,谢谢，
用了你给的新IP放在之前小甲鱼的视频的URL也可以了
突然http://www.whatismyip. ...

噗 哈哈，那就是 IP 问题