樱花飘零 发表于 2018-1-5 19:22:52

python课时57爬虫妹子图

程序运行后没有图保存到文件夹里，我在里面弄了两个print()发现只是找到了格式为src img=的字符串，没有找到.jpg的字符串，这是怎么回事呢，求教

import urllib.request
import os
#打开一个网页
def url_open(url):
    req = urllib.request.Request(url)
    req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36 QIHU 360SE")
    response = urllib.request.urlopen(req)
    html = response.read()
    return html
   
#先获得最新的页数
def get_page(url):
    html = url_open(url).decode("utf-8")

    a = html.find("current-comment-page") + 23
    b = html.find("]",a)
    return html

#获得一页图片存储在列表
def find_imgs(url):
    html = url_open(url).decode("utf-8")
    img_addrs =[]

    a = html.find("img src=")
    while a != -1:
      
      print(a,end="")
      b = html.find('.gif',a)
      print(b)
      if b != -1:
            img_addrs.append(html)
      else:
            b = a + 9
      a = html.find("img src=",b)

    return img_addrs

#将列表存到文件夹里
def save_imgs(folder,img_addrs):
    for each in img_addrs:
      filename = each.split("/")[-1]
      with open(filename,"wb") as f:
            img = url_open(each)
            f.write(img)

def download_mm(folder ="OOXX",pages=10):
    os.mkdir(folder)
    os.chdir(folder)

    url = "http://jandan.net/ooxx/"
    page_num = int(get_page(url))-1

    for i in range(pages):
      page_num -= 1
      page_url = url + "page-" + str(page_num)+"#comments"
      img_addrs = find_imgs(page_url)
      save_imgs(folder,img_addrs)

if __name__=="__main__":
    download_mm()

樱花飘零 发表于 2018-1-5 19:23:34

标注颜色的那里每次都是输出-1

xiaobinbin 发表于 2018-1-5 20:37:10

煎蛋网被爬虫爬太多，现在图片地址是用函数加密的(查看网页源代码会看到加密函数叫jandan_load_img(this))，所以用教程的方法爬不到煎蛋的妹子图url了。可以试试另一个鱼友爬的网站，http://www.gifjia.com/category/neihan/，我刚看了还能爬。

樱花飘零 发表于 2018-1-5 21:15:01

xiaobinbin 发表于 2018-1-5 20:37
煎蛋网被爬虫爬太多，现在图片地址是用函数加密的(查看网页源代码会看到加密函数叫jandan_load_img(this)) ...

哇原来是这样啊谢谢啊
页: [1]
查看完整版本: python课时57爬虫妹子图