小桥流水清无鱼 发表于 2021-6-15 15:01:32

学到爬虫的自我修养--隐藏，可为什么代理后结果跟小甲鱼视频不一样呢

在学一只爬虫的自我修养--隐藏
跟着小甲鱼视频打的代码
弹幕说网址进不去了
可怎么给我了一个hello!呢
换其他代理ip就报错





import urllib.request

url = 'http://www.whatismyip.com.tw'

proxy_support = urllib.request.ProxyHandler({'http':'47.103.200.224:80'})

opener = urllib.request.build_opener(proxy_support)
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36')]

urllib.request.install_opener(opener)

response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')

print(html)

wp231957 发表于 2021-6-15 17:52:01

爬虫是有实效性的，甲鱼的代理估计早就失效了

Twilight6 发表于 2021-6-15 18:08:43


帮你换个 URL和 IP 了，试试看吧，不保证你等下可以运行，这个是透明的 IP看得见自己原 IP：

import urllib.request

url = 'http://httpbin.org/get'

proxy_support = urllib.request.ProxyHandler({'http':'49.232.118.212:3128'})

opener = urllib.request.build_opener(proxy_support)
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36')]

urllib.request.install_opener(opener)

response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')

print(html)

小桥流水清无鱼 发表于 2021-6-15 19:01:29

Twilight6 发表于 2021-6-15 18:08
帮你换个 URL和 IP 了，试试看吧，不保证你等下可以运行，这个是透明的 IP看得见自己原 IP：

{:10_254:}嗯嗯,谢谢，
用了你给的新IP放在之前小甲鱼的视频的URL也可以了
突然http://www.whatismyip.com.tw这个网站复活了

Twilight6 发表于 2021-6-15 19:05:26

小桥流水清无鱼 发表于 2021-6-15 19:01
嗯嗯,谢谢，
用了你给的新IP放在之前小甲鱼的视频的URL也可以了
突然http://www.whatismyip. ...



噗 哈哈，那就是 IP 问题

页: [1]
查看完整版本: 学到爬虫的自我修养--隐藏，可为什么代理后结果跟小甲鱼视频不一样呢