克利夫兰 发表于 2020-2-16 21:13:10

Python爬虫

我想下载美图录里面的写真，我用了小甲鱼提供的代码和自己改动了好几次，可还是失败。请大家帮我看一下。import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)   #生成了新的Request，然后用add方法把header加进去
    req.add_header('User-Agent',
                     'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()
    return html

def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('/item/4600_2.html')+ 19
    b = html.find('<',a)
    return html#拼接返回号码

def find_img(url):
    html = url_open(url).decode('utf-8')
    img_addrs = []#图片作为一个列表
    a = html.find('img_src')#图片的真实地址
    while a != -1:
      b = html.find('.jpg',a,a+255)#find如果找不到会返回-1
      if b != -1:#如果b等于-1，那么就说明找到了
            img_addrs.append(html)
      else:
            b = a+9
      a = html.find('img_src',b)
    return img_addrs

def save_img(floder,img_addrs):
    for each in img_addrs:
      file_name = each.split('/')[-1]#这句split的意思是分隔符是‘/’,负1代表取最后一个结果
      with open('file_name','wb') as f :
            img = url_open(each)
            f.write(img)

def download(folder = '爬虫图片',pages= 20):
    os.mkdir(folder)
    os.chdir(folder)
    url = 'https://www.meitulu.com/item/4600.html'
    page_num = int(get_page(url))

    for i in range(pages):
      page_num = page_num - 1
      img_url = "https://mtl.gzhuibei.com/images/img/4600/1.jpg".split('https://mtl.gzhuibei.com/images/img/4600/')+str(page_num)+'.jpg'
      img_addrs = find_img(img_url)
      save_img(floder,img_addrs)


if __name__=='__main__':

zltzlt 发表于 2020-2-16 21:55:46

代码没发全吧

克利夫兰 发表于 2020-2-16 21:56:45

#定义网页打开并进行爬虫隐藏
def url_open(url):
    req = urllib.request.Request(url)   #生成了新的Request，然后用add方法把header加进去
    req.add_header('User-Agent',
                     'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()
    return html

#定义得到网页上的内容函数
def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('/item/4600_2.html')+ 19
    b = html.find('<',a)
    return html#拼接返回号码

#在当前URL查找图片
def find_img(url):
    html = url_open(url).decode('utf-8')
    img_addrs = []#图片作为一个列表
    a = html.find('img_src')#图片的真实地址
    while a != -1:
      b = html.find('.jpg',a,a+255)#find如果找不到会返回-1
      if b != -1:#如果b等于-1，那么就说明找到了
            img_addrs.append(html)
      else:
            b = a+9
      a = html.find('img_src',b)
    return img_addrs
   
#定义保存图片的函数
def save_img(floder,img_addrs):
    for each in img_addrs:
      file_name = each.split('/')[-1]#这句split的意思是分隔符是‘/’,负1代表取最后一个结果
      with open('file_name','wb') as f :
            img = url_open(each)
            f.write(img)
            

#定义下载图片的函数，并应用上面定义的几个函数
def download(folder = '爬虫图片',pages= 20):
    os.mkdir(folder)
    os.chdir(folder)
    url = 'https://www.meitulu.com/item/4600.html'
    page_num = int(get_page(url))

    for i in range(pages):
      page_num = page_num - 1
      img_url = "https://mtl.gzhuibei.com/images/img/4600/1.jpg".split('https://mtl.gzhuibei.com/images/img/4600/')+str(page_num)+'.jpg'
      img_addrs = find_img(img_url)
      save_img(floder,img_addrs)


if __name__=='__main__':
    download()
   

克利夫兰 发表于 2020-2-16 21:58:46

zltzlt 发表于 2020-2-16 21:55
代码没发全吧

我刚跟帖复制上了代码，应该还在审核中

winhero 发表于 2020-2-17 09:42:46

img_url = "https://mtl.gzhuibei.com/images/img/4600/1.jpg".split('https://mtl.gzhuibei.com/images/img/4600/')+str(page_num)+'.jpg'
分割这里错了

克利夫兰 发表于 2020-2-17 17:34:53

winhero 发表于 2020-2-17 09:42
img_url = "https://mtl.gzhuibei.com/images/img/4600/1.jpg".split('https://mtl.gzhuibei.com/images/im ...

有点崩溃，我又改了一下发现还是不对
页: [1]
查看完整版本: Python爬虫