各位dalao，帮我看看这个是什么问题

DuiJle

#url = 'http://jandan.net/ooxx'

import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36')
    response = urllib.request.urlopen(url)
    html = response.read()
    return html

def get_page(url):
    
    html = url_open(url).decode('utf-8')

    a = html.find('current-comment-page') + 23
    b = html.find(']', a)

    return html[a:b]

def find_imgs(url):
    html = url_open(url).decode('utf-8')
    img_addrs = []

    a = html.find('img src=')


    while a != -1:
        b = html.find('.jpg', a, a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img srt=', b)

    return img_addrs

def save_imgs(floder, img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename, 'wb') as f:
            img = url_open(each)
            f.write(img)


def download_ooxx(folder="F:\.vscode\ooxx", pages=10):
    os.mkdir(folder)
    os.chdir(folder)
    url = 'http://jandan.net/ooxx/'
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= 1
        page_url = url + 'page-' + str(page_num) + '#comments'
        img_addrs = find_imgs(page_url)
        save_imgs(folder, img_addrs)

if __name__ == '__main__':
    download_ooxx()

======================== RESTART: F:\.vscode\ooxx.py ========================
Traceback (most recent call last):
  File "F:\.vscode\ooxx.py", line 60, in <module>
    download_ooxx()
  File "F:\.vscode\ooxx.py", line 57, in download_ooxx
    save_imgs(folder, img_addrs)
  File "F:\.vscode\ooxx.py", line 43, in save_imgs
    img = url_open(each)
  File "F:\.vscode\ooxx.py", line 7, in url_open
    req = urllib.request.Request(url)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\urllib\request.py", line 268, in __init__
    self.full_url = url
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\urllib\request.py", line 294, in full_url
    self._parse()
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\lib\urllib\request.py", line 323, in _parse
    raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: '//wx4.sinaimg.cn/mw600/852a13f1ly1fhy6kntqq6j20sg11xds4.jpg'

这个是怎么回事啊？

DuiJle

已经解决了，下一个问题是，我怎么爬取不了多页，运行程序只能爬十张？？

flyblood

根据你的log：ValueError: unknown url type: '//wx4.sinaimg.cn/mw600/852a13f1ly1fhy6kntqq6j20sg11xds4.jpg'
应该是网址不全，
初看是img = url_open(each)
这句错了，each读取出来的没有带‘http:’
可以改成img = url_open('http:'+each)

在这之前可以先print(each)看看是不是缺少"http:"还是缺少"http://"

YHao

def download_ooxx(folder="F:\.vscode\ooxx", pages=10)楼主，你自己默认参数设定的！！

chengyiye

pages=10，你自己设置10页的，你要是100页，也可以设置pages=100啊

sunnychou

想问楼主，理解那些a+9,b+4么，传授一下
img_addrs.append(html[a+9:b+4])

flyblood

page_num -= 1

应该是page_num -= i

DuiJle

flyblood 发表于 2017-7-27 10:24
根据你的log：ValueError: unknown url type: '//wx4.sinaimg.cn/mw600/852a13f1ly1fhy6kntqq6j20sg11xds4. ...

这个已经解决了，谢谢

DuiJle

YHao 发表于 2017-7-27 10:30
def download_ooxx(folder="F:\.vscode\ooxx", pages=10)楼主，你自己默认参数设定的！！

现在只能爬10张，不是十页

DuiJle

chengyiye 发表于 2017-7-27 10:38
pages=10，你自己设置10页的，你要是100页，也可以设置pages=100啊

设成100还是爬了几张

DuiJle

flyblood 发表于 2017-7-27 10:43
page_num -= 1

应该是page_num -= i

不行，试过了

DuiJle

sunnychou 发表于 2017-7-27 10:40
想问楼主，理解那些a+9,b+4么，传授一下
img_addrs.append(html[a+9:b+4])

http://bbs.fishc.com/thread-74121-1-1.html  到这里看

flyblood

for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) + '#comments'
        print(page_url)    #加个打印看看吧。。
        img_addrs = find_imgs(page_url)
        save_imgs(folder, img_addrs)

DuiJle

flyblood 发表于 2017-7-27 11:00

没毛病啊老铁，一模一样

flyblood

DuiJle 发表于 2017-7-27 11:15
没毛病啊老铁，一模一样

打印出的url一模一样？

flyblood

http://jandan.net/ooxx/page-208#comments
['//ws4.sinaimg.cn/mw600/0060fsirly1fhy8kue2jhj31eo240npe.jpg']
http://jandan.net/ooxx/page-207#comments
['//wx4.sinaimg.cn/mw600/852a13f1ly1fhy6kntqq6j20sg11xds4.jpg']
http://jandan.net/ooxx/page-205#comments
['//wx4.sinaimg.cn/mw600/852a13f1ly1fhy2q03tulj20qo0k077j.jpg']
http://jandan.net/ooxx/page-202#comments
['//wx4.sinaimg.cn/mw600/852a13f1ly1fhwhgu8l29j20st0zqwm6.jpg']
http://jandan.net/ooxx/page-198#comments
[]
http://jandan.net/ooxx/page-193#comments
['//wx4.sinaimg.cn/mw600/9f0e9ec6gy1fhr5yxygl4j20ix0sgqge.jpg']
http://jandan.net/ooxx/page-187#comments
['//wx3.sinaimg.cn/mw600/006abxmvgy1fhn2c9mdl5j30zk0zk45p.jpg']
http://jandan.net/ooxx/page-180#comments
['//wx4.sinaimg.cn/mw600/6439ec86gy1fhjjccg1uuj20gm0oytab.jpg']
http://jandan.net/ooxx/page-172#comments
['//wx3.sinaimg.cn/mw600/9f0e9ec6ly1fhf4p1ck4tj20m80xcaca.jpg']
http://jandan.net/ooxx/page-163#comments
['//ws3.sinaimg.cn/mw600/9f0e9ec6ly1fh7z0ta0wsj20r0100nme.jpg']

DuiJle

flyblood 发表于 2017-7-27 11:16
打印出的url一模一样？

不是，跟我写的一样

flyblood

好像你每张网页才取了一张图片

flyblood

while a != -1:
        b = html.find('.jpg', a, a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img srt=', b)
    print(img_addrs)
    return img_addrs

这段循环再查查看吧

flyblood

def find_imgs(url):
    html=open_url(url).decode('utf-8')

    img_addrs=[]
    start=0
    while True:
        a=html.find('.sinaimg.cn',start)-3
        b=html.find('.jpg',a)+4
        if a<0:
            break
        else:
            img_addrs.append(html[a:b])
            start=b
    print(img_addrs)
    return img_addrs

我的版本，给你参照一下