鱼C论坛

 找回密码
 立即注册
查看: 2079|回复: 1

pyhton爬取代理IP的问题

[复制链接]
发表于 2017-4-27 14:20:22 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import re
import os
import urllib.request
from urllib.error import HTTPError, URLError


def open_url(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')
    try:
        response = urllib.request.urlopen(req)
    except (HTTPError, URLError) as e:
        print(e)
    try:
        html = response.read().decode('utf-8')
    except UnboundLocalError as e:
        print(e)

    return html

def save_file(html):
    p = r'(?:(?:[0-1]?\d?\d|2[0-4]\d|25[0-5])\.){3}(?:[0-1]?\d?\d|2[0-4]\d|25[0-5])'
    ip_list = re.findall(p, html)
    for each in ip_list:
       print(eachh)
if __name__ == "__main__":
    url = "https://cn.proxy.com"
    save_file(open_url(url))

这几个异常如何解决?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2017-4-27 14:50:00 | 显示全部楼层
研究了一下,原来是url失效了,自己太粗心了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-10-7 20:29

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表