报错求助！！

叶小贤

报类型错误，我debug是    for i in range(pages): 这一段错了 是怎么回事？
还有帮我看一下 后续还有没有其他错误？？最好能详细说一下错误是为什么。谢谢！！

import urllib.request
import os
import random

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/  537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36')
    response = urllib.request.urlopen(req)
    html = response.read()  
    return html

def get_page(url):
    html = url_open(url).decode('utf-8')
    a = html.find('current-comment-page') + 23
    b = html.find(']',a)
    return html[a:b]  

def find_imgs(page_url):
    html = url_open(page_url).decode('utf-8')
    img_addrs = []
    a = html.find('img src=')
    while a != -1:
        b = html.find('.jpg',a,a+255)
        if b != -1:  
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img src=',b)

    return img_addrs


def save_imgs(folder,img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)

def Hello(folder= 'ooxx',pages = '2'):
    os.mkdir(folder)
    os.chdir(folder)
    url = 'http://jandan.net/ooxx/'
    page_num = int(get_page(url))

    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) + '#comments'
        img_addrs =  find_imgs(page_url)
        save_imgs(folder,img_addrs)

if __name__ == '__main__':
    Hello()

---------------------------------------------------------

D:\pythontest\venv\Scripts\python.exe D:/pythontest/download.py
Traceback (most recent call last):
  File "D:/pythontest/download.py", line 53, in <module>
    Hello()
  File "D:/pythontest/download.py", line 46, in Hello
    for i in range(pages):
TypeError: 'str' object cannot be interpreted as an integer

塔利班

pages = '2'你的pages是字符串啊，改成整数
还有下面的调整

叶小贤

塔利班 发表于 2018-11-13 17:31
pages = '2'你的pages是字符串啊，改成整数
还有下面的调整

还是有错 我打了断点
img_addrs.append(html[a+9:b+4]) 运行到这里的时候
img_addrs 值是 ：'//img.jandan.net/news/2018/11/0eb30d0a6d2a2cb6da0a2e630a6e2648.jpg'

返回给
img_addrs =  find_imgs(page_url)
        save_imgs(folder,img_addrs)

save_imgs经过这个函数的处理，filename的值是'0eb30d0a6d2a2cb6da0a2e630a6e2648.jpg'

def save_imgs(folder,img_addrs):
    for each in img_addrs:
        filename = each.split('/')[-1]
        with open(filename,'wb') as f:
            img = url_open(each)
            f.write(img)

img = url_open(each)  这里最后打开的页面是 img.jandan.net/news/2018/11/0eb30d0a6d2a2cb6da0a2e630a6e2648.jpg  # 404！！！！
而小甲鱼老师打开的是ww1.sinaimg.cn/ 这是哪里出了问题？？

塔利班

煎蛋早就反扒了，urllib不够用的

wongyusing

你用浏览器打开煎蛋网的xxoo
按下Ctrl + U
看一下网页源代码。
有你要获取的图片链接吗？？

这个视频几年前的，早就不能用这种方法爬取了

叶小贤

wongyusing 发表于 2018-11-14 16:59
你用浏览器打开煎蛋网的xxoo
按下Ctrl + U
看一下网页源代码。

。。。。怪不得 先练着吧哎。。。。