小甲鱼爬取煎蛋妹子图出错了，请大神来看看哪里出问题了，谢谢

a2531509

代码如下，跟小甲鱼视频中一样
import urllib.request
import os


def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()


    return html

def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page') + 23
    b = html.find(']', a)

    return html[a:b]
   
def find_imgs(url):
    html = url_open(url).decode('utf-8')
    img_addrs = []

    a = html.find('img src=')

    while a != -1:
        b = html.find('.jpg',a, a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
            
        a = html.find('img src=', b)

    return img_addrs



def save_imgs(folder, img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename, 'wb') as f:
            img = url_open(each)
            f.write(img)

def download_mm(folder='ooxx',pages=3):
    os.mkdir(folder)
    os.chdir(folder)

    url = 'http://jandan.net/ooxx/'
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) + '#comments'
        img_addrs = find_imgs(page_url)
        save_imgs(folder, img_addrs)


if __name__ == '__main__':
    download_mm()


以下是出错内容

ValueError: unknown url type: '//ww1.sinaimg.cn/mw600/95e71c7fgw1fbdild2jd8j20dw0iiwhk.jpg'

以下是个人的一点推测，由于视频距离现在时间较久，当时在视频中妹子图的地址，比如以上的//ww1.sinaimg.cn/mw600/95e71c7fgw1fbdild2jd8j20dw0iiwhk.jpg' 是加http的

现在的煎蛋网妹子图地址没有http了，问题应该是这样，我想请问下应该如何修改原代码可以使代码能正常运行
谢谢回复的各位

紫枫醉听雨

就是地址不对，少了http:，可以加个函数。
def foo(list,s):
    return[s+str(i) for i in list]
然后在find_imgs(url):中加img_addrs = foo(img_addrs,'http:')就可以了

sunnychou

紫枫醉听雨 发表于 2017-1-13 17:12
就是地址不对，少了http:，可以加个函数。
def foo(list,s):
    return[s+str(i) for i in list]

添加了一下，还是有问题，请大神指正谢谢

import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header("User_Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36")
    response = urllib.request.urlopen(url)
    html = response.read()
    
    return html

def get_page(url):
    html = url_open(url).decode("utf-8")
    
    a = html.find("current-comment-page") + 23#偏移23
    b = html.find("]", a)
    return html[a:b]

def find_imgs(url):
    html = url_open(url).decode("utf-8")
    img_addrs = foo(img_addrs,'http:')
    
    a = html.find("img src=")
    while a != -1:#循环结束，找不到返回-1
        b = html.find(".jpg", a, a+255)
        if b != -1:#找到了
            img_addrs.append(html[a+9:b+4])#偏移？  加入列表
        else:
            b = a + 9
            
        a = html.find("img src=",b)#下一次寻找的起始位置是 b

    return img_addrs
    
def foo(list,s):
    return [s+str(i) for i in list]

        
def save_imgs(folder,img_addrs):
    for each in img_addrs:
        filename = each.split("/")[-1]
        with open(filename,"wb") as f:
            img = url_open(each)
            f.write(img)

def download_mm(folder = "ooxx",pages = 10):  #  ->主函数,下载前10页
    os.mkdir(folder)#函数作用,当前路径下，创建文件夹
    os.chdir(folder)#切换到新文件加

    url = "http://jandan.net/ooxx/"
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + "page-" + str(page_num) + "#comments"
        img_addrs = find_imgs(page_url)
        save_imgs(folder,img_addrs)


if __name__ == "__main__":
    download_mm()



    

sunnychou

楼主好，他那个偏移，怎么算的，有什么具体意义吗？可以随便设置吗

天然

sunnychou 发表于 2017-2-27 11:28
添加了一下，还是有问题，请大神指正谢谢

解决了吗？还是解决不了啊

sunnychou

天然 发表于 2017-6-30 19:36
解决了吗？还是解决不了啊

这个帖子好久了，我也记不清了

ooxx7788

img_addrs.append('http:'+html[a+9:b+4])