设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 求大佬解惑，关于爬取的图片显示不正确的问题
返回列表 发新帖
查看: 1673|回复: 11

[已解决]求大佬解惑，关于爬取的图片显示不正确的问题

[复制链接]
光秃强
发表于 2020-6-14 13:30:52 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
import urllib.request
import os
import random
import time

def url_open(url):
     ip_list = ['101.254.136.130:443','114.234.80.188:9000','103.99.10.49:83','190.144.127.234:3128','125.26.99.186:34577']
     '''req = urllib.request.Request(url)
     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')'''
     proxy_support = urllib.request.ProxyHandler({'http':random.choice(ip_list)})
     opener = urllib.request.build_opener(proxy_support)
     opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')]
     urllib.request.install_opener(opener)
     response = opener.open(url)
     
     #这里为什么不解码？
     html = response.read()
     return html
   
def save_imgs(floder,img_addrs):
     print(img_addrs)
     for each in img_addrs:
          filename = each.split('/')[-1]
          with open(filename,'wb') as f:
               img = url_open(each)
               f.write(img)   

def find_imgs(url):
     html = url_open(url).decode('utf-8')
     #print(html)
     img_addrs = []
     a = html.find('blur" src="')
     while a != -1:
          b = html.find('.jpg',a,a+255)
          if b != -1:
               img_addrs.append(html[a+11:b+4])
               break
          else:
               b = a + 11

          a = html.find('blur" src="',b)
     return img_addrs

def download_mm(floder = 'E:\\桌面\XXOO',pages = 30):
     os.mkdir(floder)
     os.chdir(floder)

     url = 'https://www.mzitu.com/214947'

     for i in range(1,30):
          print(i)
          page_url = url + '/' + str(i)
          img_addrs = find_imgs(page_url)
          save_imgs(floder,img_addrs)

if __name__ == '__main__':
     download_mm()

请问一下大佬们，为什么我这里爬取可以成功，但是爬到的图片全是这样的：

最佳答案
月排行榜 / 总排行榜
Twilight6
2020-6-14 14:40:20
光秃强 发表于 2020-6-14 14:30
加了的，不管用



那为什么我加上可以？

  1. import urllib.request
  2. import os
  3. import random
  4. import time


  7. def url_open(url):
  8.     ip_list = ['101.254.136.130:443', '114.234.80.188:9000', '103.99.10.49:83', '190.144.127.234:3128',
  9.                '125.26.99.186:34577']
  10.     '''req = urllib.request.Request(url)
  11.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')'''
  12.     proxy_support = urllib.request.ProxyHandler({'http': random.choice(ip_list)})
  13.     opener = urllib.request.build_opener(proxy_support)
  14.     opener.addheaders = [('User-Agent',
  15.                           'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45'),
  16.                          ('Referer','https://www.mzitu.com/')
  17.                          ]
  18.     urllib.request.install_opener(opener)
  19.     response = opener.open(url)

  21.     # 这里为什么不解码？
  22.     html = response.read()
  23.     return html


  26. def save_imgs(floder, img_addrs):
  27.     print(img_addrs)
  28.     for each in img_addrs:
  29.         filename = each.split('/')[-1]
  30.         with open(filename, 'wb') as f:
  31.             img = url_open(each)
  32.             f.write(img)


  35. def find_imgs(url):
  36.     html = url_open(url).decode('utf-8')
  37.     # print(html)
  38.     img_addrs = []
  39.     a = html.find('blur" src="')
  40.     while a != -1:
  41.         b = html.find('.jpg', a, a + 255)
  42.         if b != -1:
  43.             img_addrs.append(html[a + 11:b + 4])
  44.             break
  45.         else:
  46.             b = a + 11
  47.         a = html.find('blur" src="', b)
  48.     return img_addrs


  51. def download_mm(floder='./XXOO', pages=30):
  52.     os.mkdir(floder)
  53.     os.chdir(floder)

  55.     url = 'https://www.mzitu.com/214947'

  57.     for i in range(1, 30):
  58.         print(i)
  59.         page_url = url + '/' + str(i)
  60.         img_addrs = find_imgs(page_url)
  61.         save_imgs(floder, img_addrs)


  64. if __name__ == '__main__':
  65.     download_mm()
复制代码
5@H7[K5WQHF_%Q][M_CII18.png
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

Twilight6
发表于 2020-6-14 13:33:14 | 显示全部楼层


被反爬 请求头上加上  
'Referer': 'https://www.mzitu.com/'
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 13:39:10 | 显示全部楼层
Twilight6 发表于 2020-6-14 13:33
被反爬 请求头上加上

还是不行啊大佬。。。我从检查元素里面的head里面直接复制过来的都不行
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-6-14 13:40:54 | 显示全部楼层
光秃强 发表于 2020-6-14 13:39
还是不行啊大佬。。。我从检查元素里面的head里面直接复制过来的都不行


【New】6月13日更新—抓MM图 —>源码+打包exe+哈勃查毒 <——【未成年人勿入】
https://fishc.com.cn/thread-168018-1-1.html
(出处: 鱼C论坛)

我爬过
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 13:43:50 | 显示全部楼层
Twilight6 发表于 2020-6-14 13:40
【New】6月13日更新—抓MM图 —>源码+打包exe+哈勃查毒 <——【未成年人勿入】
https://fishc.com ...

我学习一下，谢谢大佬
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-6-14 13:46:02 | 显示全部楼层
光秃强 发表于 2020-6-14 13:43
我学习一下，谢谢大佬

opener.addheaders = [('Referer','https://www.mzitu.com/')]

你在你下面加一行这个试试，我一般都是直接设置请求头 没用这种添加的方式 不懂对不对
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 14:29:29 | 显示全部楼层
Twilight6 发表于 2020-6-14 13:46
opener.addheaders = [('Referer','https://www.mzitu.com/')]

你在你下面加一行这个试试，我一般都是 ...


                               
登录/注册后可看大图
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 14:30:30 | 显示全部楼层
光秃强 发表于 2020-6-14 14:29

加了的，不管用
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-6-14 14:40:20 | 显示全部楼层    本楼为最佳答案   
光秃强 发表于 2020-6-14 14:30
加了的，不管用



那为什么我加上可以？

  1. import urllib.request
  2. import os
  3. import random
  4. import time


  7. def url_open(url):
  8.     ip_list = ['101.254.136.130:443', '114.234.80.188:9000', '103.99.10.49:83', '190.144.127.234:3128',
  9.                '125.26.99.186:34577']
  10.     '''req = urllib.request.Request(url)
  11.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45')'''
  12.     proxy_support = urllib.request.ProxyHandler({'http': random.choice(ip_list)})
  13.     opener = urllib.request.build_opener(proxy_support)
  14.     opener.addheaders = [('User-Agent',
  15.                           'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36 Edg/83.0.478.45'),
  16.                          ('Referer','https://www.mzitu.com/')
  17.                          ]
  18.     urllib.request.install_opener(opener)
  19.     response = opener.open(url)

  21.     # 这里为什么不解码？
  22.     html = response.read()
  23.     return html


  26. def save_imgs(floder, img_addrs):
  27.     print(img_addrs)
  28.     for each in img_addrs:
  29.         filename = each.split('/')[-1]
  30.         with open(filename, 'wb') as f:
  31.             img = url_open(each)
  32.             f.write(img)


  35. def find_imgs(url):
  36.     html = url_open(url).decode('utf-8')
  37.     # print(html)
  38.     img_addrs = []
  39.     a = html.find('blur" src="')
  40.     while a != -1:
  41.         b = html.find('.jpg', a, a + 255)
  42.         if b != -1:
  43.             img_addrs.append(html[a + 11:b + 4])
  44.             break
  45.         else:
  46.             b = a + 11
  47.         a = html.find('blur" src="', b)
  48.     return img_addrs


  51. def download_mm(floder='./XXOO', pages=30):
  52.     os.mkdir(floder)
  53.     os.chdir(floder)

  55.     url = 'https://www.mzitu.com/214947'

  57.     for i in range(1, 30):
  58.         print(i)
  59.         page_url = url + '/' + str(i)
  60.         img_addrs = find_imgs(page_url)
  61.         save_imgs(floder, img_addrs)


  64. if __name__ == '__main__':
  65.     download_mm()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 15:44:40 | 显示全部楼层
Twilight6 发表于 2020-6-14 14:40
那为什么我加上可以？

我分开加的不可以。。。试了一下加到一起就行了。。。这是为什么
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

Twilight6
发表于 2020-6-14 15:45:56 | 显示全部楼层
光秃强 发表于 2020-6-14 15:44
我分开加的不可以。。。试了一下加到一起就行了。。。这是为什么

因为你是 = 号 是 赋值...会覆盖之前的
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

光秃强
 楼主| 发表于 2020-6-14 16:52:11 | 显示全部楼层
Twilight6 发表于 2020-6-14 15:45
因为你是 = 号 是 赋值...会覆盖之前的

明白了，谢谢大佬
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-21 22:47

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表