小甲鱼爬取煎蛋妹子图出错了，请大神来看看哪里出问题了，谢谢

a2531509

代码如下，跟小甲鱼视频中一样
import urllib.request
import os


def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()


    return html

def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page') + 23
    b = html.find(']', a)

    return html[a:b]
   
def find_imgs(url):
    html = url_open(url).decode('utf-8')
    img_addrs = []

    a = html.find('img src=')

    while a != -1:
        b = html.find('.jpg',a, a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
            
        a = html.find('img src=', b)

    return img_addrs



def save_imgs(folder, img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename, 'wb') as f:
            img = url_open(each)
            f.write(img)

def download_mm(folder='ooxx',pages=3):
    os.mkdir(folder)
    os.chdir(folder)

    url = 'http://jandan.net/ooxx/'
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) + '#comments'
        img_addrs = find_imgs(page_url)
        save_imgs(folder, img_addrs)


if __name__ == '__main__':
    download_mm()


以下是出错内容

ValueError: unknown url type: '//ww1.sinaimg.cn/mw600/95e71c7fgw1fbdild2jd8j20dw0iiwhk.jpg'

以下是个人的一点推测，由于视频距离现在时间较久，当时在视频中妹子图的地址，比如以上的//ww1.sinaimg.cn/mw600/95e71c7fgw1fbdild2jd8j20dw0iiwhk.jpg' 是加http的

现在的煎蛋网妹子图地址没有http了，问题应该是这样，我想请问下应该如何修改原代码可以使代码能正常运行
谢谢回复的各位

紫枫醉听雨

就是地址不对，少了http:，可以加个函数。
def foo(list,s):
    return[s+str(i) for i in list]
然后在find_imgs(url):中加img_addrs = foo(img_addrs,'http:')就可以了

sunnychou

紫枫醉听雨 发表于 2017-1-13 17:12
就是地址不对，少了http:，可以加个函数。
def foo(list,s):
    return[s+str(i) for i in list]

添加了一下，还是有问题，请大神指正谢谢

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header("User_Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36")
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9.    
   
10.     return html
    
11. 
    
12. def get_page(url):
    
13.     html = url_open(url).decode("utf-8")
    
14.    
    
15.     a = html.find("current-comment-page") + 23#偏移23
    
16.     b = html.find("]", a)
    
17.     return html[a:b]
    
18. 
    
19. def find_imgs(url):
    
20.     html = url_open(url).decode("utf-8")
    
21.     img_addrs = foo(img_addrs,'http:')
    
22.    
    
23.     a = html.find("img src=")
    
24.     while a != -1:#循环结束，找不到返回-1
    
25.         b = html.find(".jpg", a, a+255)
    
26.         if b != -1:#找到了
    
27.             img_addrs.append(html[a+9:b+4])#偏移？  加入列表
    
28.         else:
    
29.             b = a + 9
    
30.             
    
31.         a = html.find("img src=",b)#下一次寻找的起始位置是 b
    
32. 
    
33.     return img_addrs
    
34.    
    
35. def foo(list,s):
    
36.     return [s+str(i) for i in list]
    
37. 
    
38.         
    
39. def save_imgs(folder,img_addrs):
    
40.     for each in img_addrs:
    
41.         filename = each.split("/")[-1]
    
42.         with open(filename,"wb") as f:
    
43.             img = url_open(each)
    
44.             f.write(img)
    
45. 
    
46. def download_mm(folder = "ooxx",pages = 10):  #  ->主函数,下载前10页
    
47.     os.mkdir(folder)#函数作用,当前路径下，创建文件夹
    
48.     os.chdir(folder)#切换到新文件加
    
49. 
    
50.     url = "http://jandan.net/ooxx/"
    
51.     page_num = int(get_page(url))
    
52. 
    
53.     for i in range(pages):
    
54.         page_num -= i
    
55.         page_url = url + "page-" + str(page_num) + "#comments"
    
56.         img_addrs = find_imgs(page_url)
    
57.         save_imgs(folder,img_addrs)
    
58. 
    
59. 
    
60. if __name__ == "__main__":
    
61.     download_mm()
    
62. 
    
63. 
    
64. 
    
65.    
    

复制代码

sunnychou

楼主好，他那个偏移，怎么算的，有什么具体意义吗？可以随便设置吗

天然

sunnychou 发表于 2017-2-27 11:28
添加了一下，还是有问题，请大神指正谢谢

解决了吗？还是解决不了啊

sunnychou

天然 发表于 2017-6-30 19:36
解决了吗？还是解决不了啊

这个帖子好久了，我也记不清了

ooxx7788

img_addrs.append('http:'+html[a+9:b+4])