[已解决]爬虫解答

小伤口

甲鱼老师56讲的爬妹子图，因为之前那个不行了
俺就找的这个网站https://www.mzitu.com/


这是我的代码

import urllib.request
import os

def url_open(url):
    req=urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Mobile Safari/537.36 Edg/87.0.664.60')
    req.add_header('Referer',url)
    response=urllib.request.urlopen(req)
    html=response.read()
    return html
def get_page(url):
    html=url_open(url).decode('utf-8')
    a=html.find('page-numbers current') + 22
    b=html.find('<', a)
    print(html[a:b])
    return html[a:b]
   

    
def find_imgs(url):
    html=url_open(url).decode('utf-8')
    img_addrs=[]
    a=html.find('data-original')
    while a!=-1:
        b=html.find('.jpg',a,a+255)
        if b!=1:
            img_addrs.append(html[a+15:b+4])
        else:
            b=a+15
        a=html.find('data-original=',b)
        return img_addrs

def save_imgs(folder,img_addrs):
    for each in img_adds:
        filename=each.split('/')[-1]
        with open(filename,'wb')as f:
            img=url_open(each)
            f.write(img)
            time.sleep(5)


def download_mm(folder='ooxx',pages=10):
    os.mkdir(folder)
    os.chdir(folder)
    url='https://www.mzitu.com/'
    page_num=int(get_page(url))
    for i in range(pages):
        page_num-=i
        page_url=url+'page/'+str(page_num)+'/'
        img_addrs=find_imgs(page_url)
        save_img(folder,img_addrs)
if __name__=='__main__':
     
     
     download_mm()

报错内容

==
>

Traceback (most recent call last):
  File "C:\Users\ASUS\Desktop\爬虫爬图.py", line 55, in <module>
    download_mm()
  File "C:\Users\ASUS\Desktop\爬虫爬图.py", line 46, in download_mm
    page_num=int(get_page(url))
ValueError: invalid literal for int() with base 10: '>\n'
>>> 

出错的原因就是因为下面代码识别页数只会打印这个>

def get_page(url):
    html=url_open(url).decode('utf-8')
    a=html.find('page-numbers current') + 22
    b=html.find('<', a)
    print(html[a:b])
    return html[a:b]

我比对了无数次感觉没有错呀
修改也修改不对
哪位大佬能纠纠错吗

孩子快急哭了
我又筛查了一下原因出在User-Agent
俺用我自己的User-Agent就会返回<
用别人的就会返回1（正常）
为什么这个网站对我的User-Agent
这么偏心，大佬能否解答一下吗 （其实昨天晚上就发了，只是现在才过审核）

最佳答案

月排行榜 / 总排行榜

YunGuo

2020-12-18 16:32:28

这个页码是js加载的，你print打印源码就能发现里面根本不存在页码，只有下一页。如果你只是想翻页，哪里用得着那么麻烦去页面里获取。直接用for循环拼出来不就行了？

for i in range(1, 10):
    url = f'https://www.mzitu.com/page/{i}/'

跳转到最佳答案楼层

YunGuo

这个页码是js加载的，你print打印源码就能发现里面根本不存在页码，只有下一页。如果你只是想翻页，哪里用得着那么麻烦去页面里获取。直接用for循环拼出来不就行了？

for i in range(1, 10):
    url = f'https://www.mzitu.com/page/{i}/'

小伤口

YunGuo 发表于 2020-12-18 16:32
这个页码是js加载的，你print打印源码就能发现里面根本不存在页码，只有下一页。如果你只是想翻页，哪里用 ...

如此有道理
for循环不香吗
谢谢大佬

YunGuo

小伤口 发表于 2020-12-18 16:43
如此有道理
for循环不香吗
谢谢大佬

哈哈哈，可能你一时也没想到吧，其实我刚刚用requests模块请求试了一下，源码中是有页码的。至于用urllib为什么没有，那就不清楚了，我对urllib不熟。

小伤口

YunGuo 发表于 2020-12-18 16:49
哈哈哈，可能你一时也没想到吧，其实我刚刚用requests模块请求试了一下，源码中是有页码的。至于用urllib ...

哦哦，好像现在大家都在用requests了俺也去瞧瞧，谢谢了

qq1151985918

楼主你报错的原因在

a=html.find('page-numbers current') + 22

这一句，
因为找不到'page-numbers current'，所以返回的html.find('page-numbers current') 为-1
html里面是没有页码的，但是网页源码里面是有的。

小伤口

qq1151985918 发表于 2020-12-18 17:17
楼主你报错的原因在这一句，
因为找不到'page-numbers current'，所以返回的html.find('page-numbers curr ...

俺是去找页码数所以用

def get_page(url):
    html=url_open(url).decode('utf-8')
    a=html.find('page-numbers current') + 22
    b=html.find('<', a)
    print(html[a:b])
    return html[a:b]

俺用我自己的User-Agent就会返回’<‘这个符号
别人的就可以返回正常页码数
所以俺好像有点不懂了

小伤口

YunGuo 发表于 2020-12-18 16:49
哈哈哈，可能你一时也没想到吧，其实我刚刚用requests模块请求试了一下，源码中是有页码的。至于用urllib ...

俺也去瞧瞧requests谢谢了