为什么照写的，煎蛋MM爬虫只能下载当前页

sbwcwusi

import urllib.request
import os
import re
import random
#proxyip=['58.252.72.179:3128','111.13.136.59:843','183.203.208.162:8118','120.198.243.111:80']
def openurl(url):
    #proxy = urllib.request.ProxyHandler({'http':random.choice(proxyip)})
    #opener = urllib.request.build_opener(proxy)
    #urllib.request.install_opener (opener)
    request = urllib.request.Request(url)
    request.add_header('User-Agent',"Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11")
    reponse = urllib.request.urlopen (request)
    data = reponse.read()
    return data
def find_imgs(page_url):
    data = openurl(page_url).decode('utf-8')
    img_addrs = []
    #a = data.find('img src=')
    #while a != -1:
        #b = data.find('.jpg',a,a+255)
        #if b!= -1:
            #img_addrs.append(data[a+9:b+4])
        #else:
            #b = a+9
        #a = data.find('img src=',b)
    img_addrs = re.findall('img src="(.+\.jpg)',data)
    #print(img_addrs)
    return img_addrs
def save_imgs(folder,img_addrs):
    for each in img_addrs:
        filename =each.split('/')[-1]
        with open(filename,'wb') as f:
            img = openurl(each)
            f.write(img)

def get_page(url):
    data = openurl(url).decode('utf-8')
    # a = data.find('current-comment-page')+23
    # b = data.find(']',a)
    mat=re.search('current-comment-page">\[(\d+)',data)
    return mat.group(1)
   
def download_mm(folder='ooxx',pages=10):
    if not os.path.isdir(folder):
        os.mkdir(folder)
    os.chdir(folder)
    url = 'http://www.jandan.net//ooxx//'
    page_num = int(get_page(url))
    for i in range(pages):
        page_num -= 1
        page_url = url + 'page-' + str(page_num) + '#comments'
        img_addrs =find_imgs(page_url)
        save_imgs(folder,img_addrs)
        print(page_url)
        del img_addrs
if __name__ == '__main__':
    download_mm()

rowang

同问，帮顶，我也遇到了这种问题
明明和小甲鱼视频中写的一模一样，我还专门下了源代码用BCompare比对，分毫无误
可就是只能爬一张图片，感觉好郁闷

sbwcwusi

自己解决了  url = 'http://www.jandan.net//ooxx//'
改成 url = 'http://jandan.et/ooxx/'

sbwcwusi

改成 url = 'http://jandan.net/ooxx/'

邻家老王

sbwcwusi 发表于 2015-3-15 10:28
改成 url = 'http://jandan.net/ooxx/'

我用的地址一直是这个呀，可是还爬不满

一群刁民想害朕

在find_imgs函数的最后加两个img_addrs.pop()

d5zhao

顶一下！！

zd0307

顶一下lz

internet11

我之前也是只爬取得一乐网页上的图片，之后显示URLError，我是把列表中的图片的所有地址打印下来才发现的问题，后来把find（img src=）改成（img src=''）,多加了一个双引号。

Chloe2015

  # a = data.find('current-comment-page')+23

  #img_addrs.append(data[a+9:b+4])

这些语句里的  +23  +9  +4 是什么意思？

我们的匆匆那年

怎么绕过煎蛋的反爬虫机制啊，只能爬取10几张现在