鱼C论坛

 找回密码
 立即注册
查看: 1608|回复: 3

[已解决]各位老师这段代码报错的原因是什么如何解决谢谢了

[复制链接]
发表于 2022-4-11 00:23:04 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import chardet
import urllib.request
import os
def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()
    enc = chardet.detect(html)
    enc = enc['encoding']
    html = html.decode(enc)
    return html
def get_page(url):
    html = url_open(url)
    a = html.find('thisclass')+11
    b = html.find('<',a)
    return html[a:b]
def find_img (url):
    html = url_open(url)
    img_addrs = []
    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg',a,a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img src=',b)
    return img_addrs
def save_img(name,img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)

def download_mm(name='tupian',pages = 10):
    os.mkdir(name)
    os.chdir(name)
    url = 'https://www.tupianzj.com/meinv/xinggan/'
    page_num = int(get_page(url))
    for i in range(pages):
        page_num += 1
        page_url = url +'list_176_'+str(page_num)+'.html'
        img_addrs = find_img (page_url)
        save_img(name,img_addrs)
if __name__ == '__main__':
    download_mm()
错误类型TypeError: decode() argument 'encoding' must be str, not None
如何解决谢谢了


最佳答案
2022-4-11 00:32:45
因为图片是没有编码的,所以不能什么都解码
import chardet
import urllib.request
import os
def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()
    enc = chardet.detect(html)
    enc = enc['encoding']
    if enc:                                              # 注意这里
        html = html.decode(enc)                         # 注意这里
    return html
def get_page(url):
    html = url_open(url)
    a = html.find('thisclass')+11
    b = html.find('<',a)
    return html[a:b]
def find_img (url):
    html = url_open(url)
    img_addrs = []
    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg',a,a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img src=',b)
    return img_addrs
def save_img(name,img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)

def download_mm(name='tupian',pages = 10):
    if not os.path.exists(name):                      # 注意这里
        os.mkdir(name)                                # 注意这里
    os.chdir(name)
    url = 'https://www.tupianzj.com/meinv/xinggan/'
    page_num = int(get_page(url))
    for i in range(pages):
        page_num += 1
        page_url = url +'list_176_'+str(page_num)+'.html'
        img_addrs = find_img (page_url)
        save_img(name,img_addrs)
if __name__ == '__main__':
    download_mm()
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-4-11 00:32:45 | 显示全部楼层    本楼为最佳答案   
因为图片是没有编码的,所以不能什么都解码
import chardet
import urllib.request
import os
def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()
    enc = chardet.detect(html)
    enc = enc['encoding']
    if enc:                                              # 注意这里
        html = html.decode(enc)                         # 注意这里
    return html
def get_page(url):
    html = url_open(url)
    a = html.find('thisclass')+11
    b = html.find('<',a)
    return html[a:b]
def find_img (url):
    html = url_open(url)
    img_addrs = []
    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg',a,a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img src=',b)
    return img_addrs
def save_img(name,img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)

def download_mm(name='tupian',pages = 10):
    if not os.path.exists(name):                      # 注意这里
        os.mkdir(name)                                # 注意这里
    os.chdir(name)
    url = 'https://www.tupianzj.com/meinv/xinggan/'
    page_num = int(get_page(url))
    for i in range(pages):
        page_num += 1
        page_url = url +'list_176_'+str(page_num)+'.html'
        img_addrs = find_img (page_url)
        save_img(name,img_addrs)
if __name__ == '__main__':
    download_mm()
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2022-4-11 06:21:37 From FishC Mobile | 显示全部楼层
感谢老师讲解谢谢了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2022-4-11 09:56:24 | 显示全部楼层
isdkz 发表于 2022-4-11 00:32
因为图片是没有编码的,所以不能什么都解码

感谢老师的讲解。谢谢了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-11 18:45

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表