[已解决]爬虫解答

小伤口

甲鱼老师56讲的爬妹子图，因为之前那个不行了
俺就找的这个网站https://www.mzitu.com/


这是我的代码

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req=urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Mobile Safari/537.36 Edg/87.0.664.60')
   
7.     req.add_header('Referer',url)
   
8.     response=urllib.request.urlopen(req)
   
9.     html=response.read()
   
10.     return html
    
11. def get_page(url):
    
12.     html=url_open(url).decode('utf-8')
    
13.     a=html.find('page-numbers current') + 22
    
14.     b=html.find('<', a)
    
15.     print(html[a:b])
    
16.     return html[a:b]
    
17.    
    
18. 
    
19.    
    
20. def find_imgs(url):
    
21.     html=url_open(url).decode('utf-8')
    
22.     img_addrs=[]
    
23.     a=html.find('data-original')
    
24.     while a!=-1:
    
25.         b=html.find('.jpg',a,a+255)
    
26.         if b!=1:
    
27.             img_addrs.append(html[a+15:b+4])
    
28.         else:
    
29.             b=a+15
    
30.         a=html.find('data-original=',b)
    
31.         return img_addrs
    
32. 
    
33. def save_imgs(folder,img_addrs):
    
34.     for each in img_adds:
    
35.         filename=each.split('/')[-1]
    
36.         with open(filename,'wb')as f:
    
37.             img=url_open(each)
    
38.             f.write(img)
    
39.             time.sleep(5)
    
40. 
    
41. 
    
42. def download_mm(folder='ooxx',pages=10):
    
43.     os.mkdir(folder)
    
44.     os.chdir(folder)
    
45.     url='https://www.mzitu.com/'
    
46.     page_num=int(get_page(url))
    
47.     for i in range(pages):
    
48.         page_num-=i
    
49.         page_url=url+'page/'+str(page_num)+'/'
    
50.         img_addrs=find_imgs(page_url)
    
51.         save_img(folder,img_addrs)
    
52. if __name__=='__main__':
    
53.      
    
54.      
    
55.      download_mm()
    
56. 
    

复制代码

报错内容

1. ==
   
2. >
   
3. 
   
4. Traceback (most recent call last):
   
5.   File "C:\Users\ASUS\Desktop\爬虫爬图.py", line 55, in <module>
   
6.     download_mm()
   
7.   File "C:\Users\ASUS\Desktop\爬虫爬图.py", line 46, in download_mm
   
8.     page_num=int(get_page(url))
   
9. ValueError: invalid literal for int() with base 10: '>\n'
   
10. >>>
    

复制代码

出错的原因就是因为下面代码识别页数只会打印这个>

1. def get_page(url):
   
2.     html=url_open(url).decode('utf-8')
   
3.     a=html.find('page-numbers current') + 22
   
4.     b=html.find('<', a)
   
5.     print(html[a:b])
   
6.     return html[a:b]

复制代码

我比对了无数次感觉没有错呀
修改也修改不对
哪位大佬能纠纠错吗

孩子快急哭了
我又筛查了一下原因出在User-Agent
俺用我自己的User-Agent就会返回<
用别人的就会返回1（正常）
为什么这个网站对我的User-Agent
这么偏心，大佬能否解答一下吗 （其实昨天晚上就发了，只是现在才过审核）

最佳答案

月排行榜 / 总排行榜

YunGuo

2020-12-18 16:32:28

这个页码是js加载的，你print打印源码就能发现里面根本不存在页码，只有下一页。如果你只是想翻页，哪里用得着那么麻烦去页面里获取。直接用for循环拼出来不就行了？

1. for i in range(1, 10):
   
2.     url = f'https://www.mzitu.com/page/{i}/'

复制代码

跳转到最佳答案楼层

YunGuo

这个页码是js加载的，你print打印源码就能发现里面根本不存在页码，只有下一页。如果你只是想翻页，哪里用得着那么麻烦去页面里获取。直接用for循环拼出来不就行了？

1. for i in range(1, 10):
   
2.     url = f'https://www.mzitu.com/page/{i}/'

复制代码

小伤口

YunGuo 发表于 2020-12-18 16:32
这个页码是js加载的，你print打印源码就能发现里面根本不存在页码，只有下一页。如果你只是想翻页，哪里用 ...

如此有道理
for循环不香吗
谢谢大佬

YunGuo

小伤口 发表于 2020-12-18 16:43
如此有道理
for循环不香吗
谢谢大佬

哈哈哈，可能你一时也没想到吧，其实我刚刚用requests模块请求试了一下，源码中是有页码的。至于用urllib为什么没有，那就不清楚了，我对urllib不熟。

小伤口

YunGuo 发表于 2020-12-18 16:49
哈哈哈，可能你一时也没想到吧，其实我刚刚用requests模块请求试了一下，源码中是有页码的。至于用urllib ...

哦哦，好像现在大家都在用requests了俺也去瞧瞧，谢谢了

qq1151985918

楼主你报错的原因在

1. a=html.find('page-numbers current') + 22

复制代码

这一句，
因为找不到'page-numbers current'，所以返回的html.find('page-numbers current') 为-1
html里面是没有页码的，但是网页源码里面是有的。

小伤口

qq1151985918 发表于 2020-12-18 17:17
楼主你报错的原因在这一句，
因为找不到'page-numbers current'，所以返回的html.find('page-numbers curr ...

俺是去找页码数所以用

1. def get_page(url):
   
2.     html=url_open(url).decode('utf-8')
   
3.     a=html.find('page-numbers current') + 22
   
4.     b=html.find('<', a)
   
5.     print(html[a:b])
   
6.     return html[a:b]

复制代码

俺用我自己的User-Agent就会返回’<‘这个符号
别人的就可以返回正常页码数
所以俺好像有点不懂了

小伤口

YunGuo 发表于 2020-12-18 16:49
哈哈哈，可能你一时也没想到吧，其实我刚刚用requests模块请求试了一下，源码中是有页码的。至于用urllib ...

俺也去瞧瞧requests谢谢了