竹茶 发表于 2019-4-17 14:25:12

本人第一次爬取ip成功 纪念一波

import urllib.request
import os
import re
import time


def url_open(url):
    a =urllib.request.Request(url)
    a.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6823.400 QQBrowser/10.3.3117.400')
    req = urllib.request.urlopen(a)
    html = req.read().decode('utf-8')
    return html

def zhuyao(html):
    p = r'(?:(?:\d\d|2\d|25|\d|)\.){3}(?:\d\d|2\d|25|\d|)'
    ipopen = re.findall(p,html)
   
   
    with open('文件ip代理','a') as f:
      for each in ipopen:
            each = each+'\n'
            f.write(each)
            
   
      

if __name__=='__main__':
    cishu = 0
    os.mkdir('ip代理')
    os.chdir('ip代理')
    for each in range(10):
      cishu+=1
      url = 'https://www.kuaidaili.com/free/intr/'+str(cishu)+'/'
      zhuyao(url_open(url))
      time.sleep(5)

小娜娜的小狼狗 发表于 2019-4-18 11:45:43

厉害啦 问一下 python课后练习题在哪里能找到
页: [1]
查看完整版本: 本人第一次爬取ip成功 纪念一波