小伤口 发表于 2020-12-17 09:10:06

爬虫解答

本帖最后由 小伤口 于 2020-12-18 11:08 编辑

甲鱼老师56讲的爬妹子图，因为之前那个不行了
俺就找的这个网站https://www.mzitu.com/


这是我的代码
import urllib.request
import os

def url_open(url):
    req=urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Mobile Safari/537.36 Edg/87.0.664.60')
    req.add_header('Referer',url)
    response=urllib.request.urlopen(req)
    html=response.read()
    return html
def get_page(url):
    html=url_open(url).decode('utf-8')
    a=html.find('page-numbers current') + 22
    b=html.find('<', a)
    print(html)
    return html
   

   
def find_imgs(url):
    html=url_open(url).decode('utf-8')
    img_addrs=[]
    a=html.find('data-original')
    while a!=-1:
      b=html.find('.jpg',a,a+255)
      if b!=1:
            img_addrs.append(html)
      else:
            b=a+15
      a=html.find('data-original=',b)
      return img_addrs

def save_imgs(folder,img_addrs):
    for each in img_adds:
      filename=each.split('/')[-1]
      with open(filename,'wb')as f:
            img=url_open(each)
            f.write(img)
            time.sleep(5)


def download_mm(folder='ooxx',pages=10):
    os.mkdir(folder)
    os.chdir(folder)
    url='https://www.mzitu.com/'
    page_num=int(get_page(url))
    for i in range(pages):
      page_num-=i
      page_url=url+'page/'+str(page_num)+'/'
      img_addrs=find_imgs(page_url)
      save_img(folder,img_addrs)
if __name__=='__main__':
   
   
   download_mm()


报错内容
==
>

Traceback (most recent call last):
File "C:\Users\ASUS\Desktop\爬虫爬图.py", line 55, in <module>
    download_mm()
File "C:\Users\ASUS\Desktop\爬虫爬图.py", line 46, in download_mm
    page_num=int(get_page(url))
ValueError: invalid literal for int() with base 10: '>\n'
>>>

出错的原因就是因为下面代码识别页数只会打印这个>
def get_page(url):
    html=url_open(url).decode('utf-8')
    a=html.find('page-numbers current') + 22
    b=html.find('<', a)
    print(html)
    return html


我比对了无数次感觉没有错呀
修改也修改不对
哪位大佬能纠纠错吗

孩子快急哭了{:10_266:} {:10_266:}
我又筛查了一下原因出在User-Agent
俺用我自己的User-Agent就会返回<
用别人的就会返回1（正常）
为什么这个网站对我的User-Agent
这么偏心，大佬能否解答一下吗{:10_266:} （其实昨天晚上就发了，只是现在才过审核）

YunGuo 发表于 2020-12-18 16:32:28

这个页码是js加载的，你print打印源码就能发现里面根本不存在页码，只有下一页。如果你只是想翻页，哪里用得着那么麻烦去页面里获取。直接用for循环拼出来不就行了？
for i in range(1, 10):
    url = f'https://www.mzitu.com/page/{i}/'

小伤口 发表于 2020-12-18 16:43:02

YunGuo 发表于 2020-12-18 16:32
这个页码是js加载的，你print打印源码就能发现里面根本不存在页码，只有下一页。如果你只是想翻页，哪里用 ...

如此有道理
for循环不香吗{:10_266:}
谢谢大佬{:10_266:}

YunGuo 发表于 2020-12-18 16:49:07

小伤口 发表于 2020-12-18 16:43
如此有道理
for循环不香吗
谢谢大佬

哈哈哈，可能你一时也没想到吧，其实我刚刚用requests模块请求试了一下，源码中是有页码的。至于用urllib为什么没有，那就不清楚了，我对urllib不熟。

小伤口 发表于 2020-12-18 16:54:49

YunGuo 发表于 2020-12-18 16:49
哈哈哈，可能你一时也没想到吧，其实我刚刚用requests模块请求试了一下，源码中是有页码的。至于用urllib ...

哦哦，好像现在大家都在用requests了俺也去瞧瞧，谢谢了

qq1151985918 发表于 2020-12-18 17:17:29

楼主你报错的原因在a=html.find('page-numbers current') + 22这一句，
因为找不到'page-numbers current'，所以返回的html.find('page-numbers current') 为-1
html里面是没有页码的，但是网页源码里面是有的。

小伤口 发表于 2020-12-18 17:38:10

qq1151985918 发表于 2020-12-18 17:17
楼主你报错的原因在这一句，
因为找不到'page-numbers current'，所以返回的html.find('page-numbers curr ...

俺是去找页码数所以用def get_page(url):
    html=url_open(url).decode('utf-8')
    a=html.find('page-numbers current') + 22
    b=html.find('<', a)
    print(html)
    return html
俺用我自己的User-Agent就会返回’<‘这个符号
别人的就可以返回正常页码数
所以{:10_245:}俺好像有点不懂了{:10_245:}{:10_250:}

小伤口 发表于 2020-12-18 17:40:32

YunGuo 发表于 2020-12-18 16:49
哈哈哈，可能你一时也没想到吧，其实我刚刚用requests模块请求试了一下，源码中是有页码的。至于用urllib ...

俺也去瞧瞧requests谢谢了{:10_297:}
页: [1]
查看完整版本: 爬虫解答