[已解决]求助 爬图

Lk895146260

各位大佬 麻烦帮忙看看 这个在find_imgs()模块中的img_addrs数组中总是空的 怎么推都推不进去是咋回事啊？ 麻烦各位大佬了




import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User_Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134')
    response = urllib.request.urlopen(url)
    html = response.read()
    print(url)
    return html

def get_page(url):
    html = url_open(url).decode('utf-8')

    a = html.find('current-comment-page') + 23
    b = html.find(']',a)
   
    return html[a:b]
   
def find_imgs(url):
    html =url_open(url).decode('utf-8')
    img_addrs = []

    a = html.find('src=')

    while a != -1:
        b = html.find('.jpg',a,a+255)
        if b != -1:
            img_addrs.append(html[a+5:b+4])
        else:
            b = a + 4
            
        a = html.find('src=',b)

    print(img_addrs)
def save_imgs(folder,img_addrs):
    pass

def download_mm(folder = 'OOXX',pages =10 ):
    os.mkdir(folder)
    os.chdir(folder)

    url = "http://jandan.net/ooxx/"
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) + '#comments'
        img_addrs = find_imgs(page_url)
        save_imgs(folder,img_addrs)

if __name__ =='__main__':
   download_mm()

最佳答案

月排行榜 / 总排行榜

wongyusing

2018-10-9 11:17:07

Lk895146260 发表于 2018-10-9 11:12
啊！ 那得怎么爬啊 大哥 ，我看也就是那个图片链接那里有问题啊，我自己改了一下，也还是不好使

先去找点静态的网站爬一下，例如爬取小说。  
现在这个网站变成了动态的。积累多点基础知识再去爬它吧

跳转到最佳答案楼层

wongyusing

这个网站早就改版了，这样是爬取不了的

Lk895146260

wongyusing 发表于 2018-10-9 11:08
这个网站早就改版了，这样是爬取不了的

啊！ 那得怎么爬啊 大哥 ，我看也就是那个图片链接那里有问题啊，我自己改了一下，也还是不好使

wongyusing

Lk895146260 发表于 2018-10-9 11:12
啊！ 那得怎么爬啊 大哥 ，我看也就是那个图片链接那里有问题啊，我自己改了一下，也还是不好使

先去找点静态的网站爬一下，例如爬取小说。  
现在这个网站变成了动态的。积累多点基础知识再去爬它吧

Lk895146260

wongyusing 发表于 2018-10-9 11:17
先去找点静态的网站爬一下，例如爬取小说。  
现在这个网站变成了动态的。积累多点基础知识再去爬它吧

好的 感谢！

wongyusing

Lk895146260 发表于 2018-10-9 11:18
好的 感谢！

把urllib忘了。  
先学会用requests这个包。
这个包比urllib简单易学
先爬学会爬取小说，
然后再去爬取图片
再去学习如何爬取动态网站
  

Lk895146260

wongyusing 发表于 2018-10-9 12:35
把urllib忘了。  
先学会用requests这个包。
这个包比urllib简单易学

谢谢哥！