设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 技术交流 › Python交流 › 求大佬解惑，关于爬取的图片显示不正确的问题
返回列表 发新帖
查看: 1454|回复: 11

[已解决]求大佬解惑，关于爬取的图片显示不正确的问题

[复制链接]
光秃强
发表于 2020-6-14 13:30:52 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
import urllib.request
import os
import random
import time

def url_open(url):
     ip_list = ['101.254.136.130:443','114.234.80.188:9000','103.99.10.49:83','190.144.127.234:3128','125.26.99.186:34577']
     '''req = urllib.request.Request(url)
     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')'''
     proxy_support = urllib.request.ProxyHandler({'http':random.choice(ip_list)})
     opener = urllib.request.build_opener(proxy_support)
     opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')]
     urllib.request.install_opener(opener)
     response = opener.open(url)
     
     #这里为什么不解码？
     html = response.read()
     return html
   
def save_imgs(floder,img_addrs):
     print(img_addrs)
     for each in img_addrs:
          filename = each.split('/')[-1]
          with open(filename,'wb') as f:
               img = url_open(each)
               f.write(img)   

def find_imgs(url):
     html = url_open(url).decode('utf-8')
     #print(html)
     img_addrs = []
     a = html.find('blur" src="')
     while a != -1:
          b = html.find('.jpg',a,a+255)
          if b != -1:
               img_addrs.append(html[a+11:b+4])
               break
          else:
               b = a + 11

          a = html.find('blur" src="',b)
     return img_addrs

def download_mm(floder = 'E:\\桌面\XXOO',pages = 30):
     os.mkdir(floder)
     os.chdir(floder)

     url = 'https://www.mzitu.com/214947'

     for i in range(1,30):
          print(i)
          page_url = url + '/' + str(i)
          img_addrs = find_imgs(page_url)
          save_imgs(floder,img_addrs)

if __name__ == '__main__':
     download_mm()

请问一下大佬们，为什么我这里爬取可以成功，但是爬到的图片全是这样的：

最佳答案
月排行榜 / 总排行榜
Twilight6
2020-6-14 14:40:20
光秃强 发表于 2020-6-14 14:30
加了的，不管用



那为什么我加上可以？
import urllib.request
import os
import random
import time


def url_open(url):
    ip_list = ['101.254.136.130:443', '114.234.80.188:9000', '103.99.10.49:83', '190.144.127.234:3128',
               '125.26.99.186:34577']
    '''req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')'''
    proxy_support = urllib.request.ProxyHandler({'http': random.choice(ip_list)})
    opener = urllib.request.build_opener(proxy_support)
    opener.addheaders = [('User-Agent',
                          'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45'),
                         ('Referer','https://www.mzitu.com/')
                         ]
    urllib.request.install_opener(opener)
    response = opener.open(url)

    # 这里为什么不解码？
    html = response.read()
    return html


def save_imgs(floder, img_addrs):
    print(img_addrs)
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename, 'wb') as f:
            img = url_open(each)
            f.write(img)


def find_imgs(url):
    html = url_open(url).decode('utf-8')
    # print(html)
    img_addrs = []
    a = html.find('blur" src="')
    while a != -1:
        b = html.find('.jpg', a, a + 255)
        if b != -1:
            img_addrs.append(html[a + 11:b + 4])
            break
        else:
            b = a + 11
        a = html.find('blur" src="', b)
    return img_addrs


def download_mm(floder='./XXOO', pages=30):
    os.mkdir(floder)
    os.chdir(floder)

    url = 'https://www.mzitu.com/214947'

    for i in range(1, 30):
        print(i)
        page_url = url + '/' + str(i)
        img_addrs = find_imgs(page_url)
        save_imgs(floder, img_addrs)


if __name__ == '__main__':
    download_mm()
5@H7[K5WQHF_%Q][M_CII18.png
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复

使用道具 举报

Twilight6
发表于 2020-6-14 13:33:14 | 显示全部楼层


被反爬 请求头上加上  
'Referer': 'https://www.mzitu.com/'
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 13:39:10 | 显示全部楼层
Twilight6 发表于 2020-6-14 13:33
被反爬 请求头上加上

还是不行啊大佬。。。我从检查元素里面的head里面直接复制过来的都不行
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-6-14 13:40:54 | 显示全部楼层
光秃强 发表于 2020-6-14 13:39
还是不行啊大佬。。。我从检查元素里面的head里面直接复制过来的都不行


【New】6月13日更新—抓MM图 —>源码+打包exe+哈勃查毒 <——【未成年人勿入】
https://fishc.com.cn/thread-168018-1-1.html
(出处: 鱼C论坛)

我爬过
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 13:43:50 | 显示全部楼层
Twilight6 发表于 2020-6-14 13:40
【New】6月13日更新—抓MM图 —>源码+打包exe+哈勃查毒 <——【未成年人勿入】
https://fishc.com ...

我学习一下，谢谢大佬
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-6-14 13:46:02 | 显示全部楼层
光秃强 发表于 2020-6-14 13:43
我学习一下，谢谢大佬

opener.addheaders = [('Referer','https://www.mzitu.com/')]

你在你下面加一行这个试试，我一般都是直接设置请求头 没用这种添加的方式 不懂对不对
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 14:29:29 | 显示全部楼层
Twilight6 发表于 2020-6-14 13:46
opener.addheaders = [('Referer','https://www.mzitu.com/')]

你在你下面加一行这个试试，我一般都是 ...


                               
登录/注册后可看大图
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 14:30:30 | 显示全部楼层
光秃强 发表于 2020-6-14 14:29

加了的，不管用
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-6-14 14:40:20 | 显示全部楼层    本楼为最佳答案   
光秃强 发表于 2020-6-14 14:30
加了的，不管用



那为什么我加上可以？
import urllib.request
import os
import random
import time


def url_open(url):
    ip_list = ['101.254.136.130:443', '114.234.80.188:9000', '103.99.10.49:83', '190.144.127.234:3128',
               '125.26.99.186:34577']
    '''req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')'''
    proxy_support = urllib.request.ProxyHandler({'http': random.choice(ip_list)})
    opener = urllib.request.build_opener(proxy_support)
    opener.addheaders = [('User-Agent',
                          'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45'),
                         ('Referer','https://www.mzitu.com/')
                         ]
    urllib.request.install_opener(opener)
    response = opener.open(url)

    # 这里为什么不解码？
    html = response.read()
    return html


def save_imgs(floder, img_addrs):
    print(img_addrs)
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename, 'wb') as f:
            img = url_open(each)
            f.write(img)


def find_imgs(url):
    html = url_open(url).decode('utf-8')
    # print(html)
    img_addrs = []
    a = html.find('blur" src="')
    while a != -1:
        b = html.find('.jpg', a, a + 255)
        if b != -1:
            img_addrs.append(html[a + 11:b + 4])
            break
        else:
            b = a + 11
        a = html.find('blur" src="', b)
    return img_addrs


def download_mm(floder='./XXOO', pages=30):
    os.mkdir(floder)
    os.chdir(floder)

    url = 'https://www.mzitu.com/214947'

    for i in range(1, 30):
        print(i)
        page_url = url + '/' + str(i)
        img_addrs = find_imgs(page_url)
        save_imgs(floder, img_addrs)


if __name__ == '__main__':
    download_mm()
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 15:44:40 | 显示全部楼层
Twilight6 发表于 2020-6-14 14:40
那为什么我加上可以？

我分开加的不可以。。。试了一下加到一起就行了。。。这是为什么
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-6-14 15:45:56 | 显示全部楼层
光秃强 发表于 2020-6-14 15:44
我分开加的不可以。。。试了一下加到一起就行了。。。这是为什么

因为你是 = 号 是 赋值...会覆盖之前的
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 16:52:11 | 显示全部楼层
Twilight6 发表于 2020-6-14 15:45
因为你是 = 号 是 赋值...会覆盖之前的

明白了，谢谢大佬
想知道小甲鱼最近在做啥？请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-20 17:07

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表