光秃强 发表于 2020-6-14 13:30:52

求大佬解惑，关于爬取的图片显示不正确的问题

import urllib.request
import os
import random
import time

def url_open(url):
   ip_list = ['101.254.136.130:443','114.234.80.188:9000','103.99.10.49:83','190.144.127.234:3128','125.26.99.186:34577']
   '''req = urllib.request.Request(url)
   req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')'''
   proxy_support = urllib.request.ProxyHandler({'http':random.choice(ip_list)})
   opener = urllib.request.build_opener(proxy_support)
   opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')]
   urllib.request.install_opener(opener)
   response = opener.open(url)
   
   #这里为什么不解码？
   html = response.read()
   return html
   
def save_imgs(floder,img_addrs):
   print(img_addrs)
   for each in img_addrs:
          filename = each.split('/')[-1]
          with open(filename,'wb') as f:
               img = url_open(each)
               f.write(img)   

def find_imgs(url):
   html = url_open(url).decode('utf-8')
   #print(html)
   img_addrs = []
   a = html.find('blur" src="')
   while a != -1:
          b = html.find('.jpg',a,a+255)
          if b != -1:
               img_addrs.append(html)
               break
          else:
               b = a + 11

          a = html.find('blur" src="',b)
   return img_addrs

def download_mm(floder = 'E:\\桌面\XXOO',pages = 30):
   os.mkdir(floder)
   os.chdir(floder)

   url = 'https://www.mzitu.com/214947'

   for i in range(1,30):
          print(i)
          page_url = url + '/' + str(i)
          img_addrs = find_imgs(page_url)
          save_imgs(floder,img_addrs)

if __name__ == '__main__':
   download_mm()

请问一下大佬们，为什么我这里爬取可以成功，但是爬到的图片全是这样的：

Twilight6 发表于 2020-6-14 13:33:14



被反爬 请求头上加上   'Referer': 'https://www.mzitu.com/'

光秃强 发表于 2020-6-14 13:39:10

Twilight6 发表于 2020-6-14 13:33
被反爬 请求头上加上

还是不行啊大佬。。。我从检查元素里面的head里面直接复制过来的都不行

Twilight6 发表于 2020-6-14 13:40:54

光秃强 发表于 2020-6-14 13:39
还是不行啊大佬。。。我从检查元素里面的head里面直接复制过来的都不行


【New】6月13日更新—抓MM图 —>源码+打包exe+哈勃查毒 <——【未成年人勿入】
https://fishc.com.cn/thread-168018-1-1.html
(出处: 鱼C论坛)

我爬过

光秃强 发表于 2020-6-14 13:43:50

Twilight6 发表于 2020-6-14 13:40
【New】6月13日更新—抓MM图 —>源码+打包exe+哈勃查毒 <——【未成年人勿入】
https://fishc.com ...

我学习一下，谢谢大佬

Twilight6 发表于 2020-6-14 13:46:02

光秃强 发表于 2020-6-14 13:43
我学习一下，谢谢大佬

opener.addheaders = [('Referer','https://www.mzitu.com/')]

你在你下面加一行这个试试，我一般都是直接设置请求头 没用这种添加的方式 不懂对不对

光秃强 发表于 2020-6-14 14:29:29

Twilight6 发表于 2020-6-14 13:46
opener.addheaders = [('Referer','https://www.mzitu.com/')]

你在你下面加一行这个试试，我一般都是 ...

E：//桌面/8G%5BQ1Q%K{UOO1VE@N}G6G6V.PNG

光秃强 发表于 2020-6-14 14:30:30

光秃强 发表于 2020-6-14 14:29


加了的，不管用

Twilight6 发表于 2020-6-14 14:40:20

光秃强 发表于 2020-6-14 14:30
加了的，不管用



那为什么我加上可以？

import urllib.request
import os
import random
import time


def url_open(url):
    ip_list = ['101.254.136.130:443', '114.234.80.188:9000', '103.99.10.49:83', '190.144.127.234:3128',
               '125.26.99.186:34577']
    '''req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')'''
    proxy_support = urllib.request.ProxyHandler({'http': random.choice(ip_list)})
    opener = urllib.request.build_opener(proxy_support)
    opener.addheaders = [('User-Agent',
                        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45'),
                         ('Referer','https://www.mzitu.com/')
                         ]
    urllib.request.install_opener(opener)
    response = opener.open(url)

    # 这里为什么不解码？
    html = response.read()
    return html


def save_imgs(floder, img_addrs):
    print(img_addrs)
    for each in img_addrs:
      filename = each.split('/')[-1]
      with open(filename, 'wb') as f:
            img = url_open(each)
            f.write(img)


def find_imgs(url):
    html = url_open(url).decode('utf-8')
    # print(html)
    img_addrs = []
    a = html.find('blur" src="')
    while a != -1:
      b = html.find('.jpg', a, a + 255)
      if b != -1:
            img_addrs.append(html)
            break
      else:
            b = a + 11
      a = html.find('blur" src="', b)
    return img_addrs


def download_mm(floder='./XXOO', pages=30):
    os.mkdir(floder)
    os.chdir(floder)

    url = 'https://www.mzitu.com/214947'

    for i in range(1, 30):
      print(i)
      page_url = url + '/' + str(i)
      img_addrs = find_imgs(page_url)
      save_imgs(floder, img_addrs)


if __name__ == '__main__':
    download_mm()

光秃强 发表于 2020-6-14 15:44:40

Twilight6 发表于 2020-6-14 14:40
那为什么我加上可以？

我分开加的不可以。。。试了一下加到一起就行了。。。这是为什么

Twilight6 发表于 2020-6-14 15:45:56

光秃强 发表于 2020-6-14 15:44
我分开加的不可以。。。试了一下加到一起就行了。。。这是为什么

因为你是 = 号 是 赋值...会覆盖之前的

光秃强 发表于 2020-6-14 16:52:11

Twilight6 发表于 2020-6-14 15:45
因为你是 = 号 是 赋值...会覆盖之前的

明白了，谢谢大佬
页: [1]
查看完整版本: 求大佬解惑，关于爬取的图片显示不正确的问题