鱼C论坛

 找回密码
 立即注册
查看: 628|回复: 5

报了个错误,求大佬解答

[复制链接]
发表于 2018-10-19 10:55:23 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import urllib.request
import os

def get_url(url):

    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'
    }
    req = urllib.request.Request(url,headers=headers)
    response = urllib.request.urlopen(req)
    html = response.read()
    return html


def url_img(url):
    img_addrs = []
    html = get_url(url).decode('utf-8')
    a = html.find('img src2=')
    while a != -1:
        b = html.find('.jpg', a, a + 255)
        if b != -1:
            img_addrs.append(html[a:b] + '.jpg')
        else:
            print('找不到图片地址')
        a = html.find('img src2=',b)
    return img_addrs
    #print(url_img(url))                              #获取列表内页面第一页所有图片地址
#print(len(url_img(url)))                         #列表内有多少图片

def save_imgs(folder,img_addrs):

    for each in img_addrs:
        img_url = each.split('"')[1]
        with open(img_url,'wb') as f:
            img = get_url(each)
            f.write(img)

def download_mm(folder='katong',pages=10):
    os.mkdir(folder)
    os.chdir(folder)

    url = 'http://sc.chinaz.com/tupian/katongtupian_2.html'

    for i in range(1,pages):
        i += 1
        get_img = 'http://sc.chinaz.com/tupian/katongtupian' + '_' + str(i) + '.html'
        img_addrs = url_img(get_img)
        save_imgs(folder,img_addrs)


if __name__ == '__main__':
    download_mm()



#错误
Traceback (most recent call last):
  File "C:/Users/Administrator/Desktop/测试.py", line 52, in <module>
    download_mm()
  File "C:/Users/Administrator/Desktop/测试.py", line 48, in download_mm
    save_imgs(folder,img_addrs)
  File "C:/Users/Administrator/Desktop/测试.py", line 34, in save_imgs
    with open(img_url,'wb') as f:
OSError: [Errno 22] Invalid argument: 'http://pic.sc.chinaz.com/Files/pic/pic9/201806/zzpic12352_s.jpg'
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-19 10:56:50 | 显示全部楼层
文件名要处理的
split('/')[-1]获得文件名,你这整整一个url
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-19 11:00:12 | 显示全部楼层
open方法无法打开一个网页。  
用你的打开网页函数打开这个地址。  
with open打开一个文件,把你打开网页函数的内容写到这个open函数的参数中
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-10-19 11:06:39 | 显示全部楼层
塔利班 发表于 2018-10-19 10:56
文件名要处理的
split('/')[-1]获得文件名,你这整整一个url

行吧,不爬了还是在学学吧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-10-19 11:07:31 | 显示全部楼层
wongyusing 发表于 2018-10-19 11:00
open方法无法打开一个网页。  
用你的打开网页函数打开这个地址。  
with open打开一个文件,把你打开网 ...

行吧,爬这个好麻烦还是去爬些简单的吧
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-19 11:10:30 | 显示全部楼层
923204485 发表于 2018-10-19 11:07
行吧,爬这个好麻烦还是去爬些简单的吧

你离成功只差一步。这个网站很好爬啊。  
真的差一步,打开图片地址,获取里面的内容。  
写入
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-10-7 01:30

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表