__doc__ 发表于 2019-12-25 15:12:17

python实现抓取煎蛋 网妹子图

最新抓取妹子图python代码!
看了一遍小甲鱼视频, 发现现在煎蛋网网站源码有有变,便将代码改进,亲测可用.
可以设置保存文文件夹,抓取页数..

代码如下:
static/image/hrline/line4.png


import urllib.request
import os

def get_page(url):
    '''抓取网页地址(从当前url中的'下一页'开始)
    返回一个url'''
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page')
    a = html.find('jandan.net/ooxx/',a)
    b = html.find('#comments',a) + 9
   
    return 'http://' + html
   

def find_imgs(url):
    '''获取当前url中的jpg源地址,返回一个列表,包含了当前页面的几乎所有jpg'''
    img_addrs = []
    html = url_open(url).decode('utf-8')
    a = 0
    b = 0
    while True:
      a = html.find('li id="comment',a)
      if a == -1:
            break
      a = html.find('img src=',a) + 11
      if a == 10:
            break
      b = html.find('.jpg',a, a + 255) + 4
      if b == 3:
            break
      img_addrs.append(html)
      a = b
    print(img_addrs)
    return img_addrs

def save_imgs(folder, img_addrs):
    '''将图像保存到文件夹'''
    for each in img_addrs:
      filename = each.split('/')[-1]
      with open(filename, 'wb') as f:
            img = url_open('http://' + each)
            f.write(img)

def url_open(url):
    '''打开url,返回未解码的html'''
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64; rv:68.0) Gecko/20100101 Firefox/68.0')
    '''
    如需代理则uncomment
    proxies = []
    proxy = random.choice(proxies)
    proxy_support = urllib.request.ProxyHandler({'http':proxy})
    opener = urllib.request.build_opener(proxy_support)
    urllib.request.install_opener(opener)
   
    '''
    response = urllib.request.urlopen(req)
    html = response.read()

    return html

def download_mm(folder='ooxx',pages = 10):
    os.mkdir(folder)
    os.chdir(folder)
   
    url = 'http://jandan.net/ooxx/'
    next_page = get_page(url)
    for page in range(pages):
      print(next_page)
      save_imgs(folder, find_imgs(next_page))
      next_page = get_page(next_page)

if __name__ == '__main__' :
    download_mm('ooxx2',pages=5)


__doc__ 发表于 2019-12-30 10:49:13

{:10_249:}

seslovelm 发表于 2020-1-20 16:28:38

为什么运行之后显示
D:\PycharmProjects\untitled1\venv\Scripts\python.exe D:/PycharmProjects/untitled1/venv/pygame.py
No pyvenv.cfg file

进程已结束,退出代码106

__doc__ 发表于 2020-2-1 15:41:46

seslovelm 发表于 2020-1-20 16:28
为什么运行之后显示
D:\PycharmProjects%untitled1\venv\Scripts\python.exe D:/PycharmProjects/untitled ...

直接用idle运行即可.或者新建pycharm项目,将代码粘贴到一个py文件中

容斋五笔 发表于 2020-2-23 22:01:40

精彩，精彩！！！！太牛逼了，为什么还有人去编译对应页码的字典，我一看到你这个帖子就觉得茅塞顿开，柳暗花明，差一点走上歧路了（指页码对应编译字典）哈哈哈{:10_281:}

容斋五笔 发表于 2020-2-25 14:53:40

对了发现一个小小的问题，就是你这个是从第二页开始下载的，就是主程序里面这个next_page初始值应该就是url。否则你初始值就是第二页，第一页的图片爬不下来。{:10_297:}

年少的梦想 发表于 2020-3-2 11:58:10

顶，实现了，好激动
页: [1]
查看完整版本: python实现抓取煎蛋 网妹子图