[已解决]请教下爬虫问题

Stubborn

比如我要抓取的这个图集下面的每个图片。为什么只有第一页的正常取到，后面的都取不到，在网页源码里面也没有看到值
第一项对的，后面都是错的
https://i.meizitu.net/2019/01/01e01.jpg
https://i.meizitu.net/2013/08/rosimm-596-024.jpg
https://i.meizitu.net/2013/06/bda3bfadgw1e3eifcebsgj.jpg
https://i.meizitu.net/2016/03/03c04.jpg
https://i.meizitu.net/2013/06/1-10.jpg
https://i.meizitu.net/2016/01/06k06.jpg

1. import requests,bs4,os
   
2. from fake_useragent import UserAgent
   
3. ua = UserAgent()
   
4. url = "https://www.mzitu.com/166558"
   
5. headers = {
   
6.     'User-Agent': ua.random,
   
7. }
   
8. page_data = requests.get(url, headers=headers)
   
9. soup_data = bs4.BeautifulSoup(page_data.text, 'html.parser')
   
10. img_link = soup_data.find_all("span")
    
11. Number_of_pages = []
    
12. atls_jpg_uri = []
    
13. for i in img_link:
    
14.     #获取到图集张数
    
15.     try:
    
16.         ss = int(i.text)
    
17.         Number_of_pages.append(ss)
    
18.     except:
    
19.         pass
    
20. print(max(Number_of_pages))
    
21. for each in range(1,max(Number_of_pages)+1):
    
22.         url = url+"/"+str(each)
    
23.         page_data = requests.get(url, headers=headers)
    
24.         soup_data = bs4.BeautifulSoup(page_data.text, 'html.parser')
    
25.         img_ink = soup_data.find_all("div",class_="main-image")
    
26.         for i in img_ink:
    
27.             print(i.p.a.img["src"])

复制代码

最佳答案

月排行榜 / 总排行榜

1970-1-1 08:00:00

跳转到最佳答案楼层

罗同学

上面的链接打不开呢。。。

Stubborn

罗同学 发表于 2019-1-20 19:59
上面的链接打不开呢。。。

第一个可以https://i.meizitu.net/2019/01/01e01.jpg，后面都被拒绝，可以打开主链接，https://www.mzitu.com/166558

@塔利班 班利塔

Stubborn

iwanna 发表于 2019-1-20 20:47
你志向天天爬黄网吗

兴趣，不是性趣，主要是没有完成，很纠结，再说真要去小网站，直接去在线的，还带小视频呢~

新手·ing

题主能不能换个头像，我都不敢打开你的帖子。。。

Stubborn

新手·ing 发表于 2019-1-20 21:11
题主能不能换个头像，我都不敢打开你的帖子。。。

emmm  不要想那么多，看帖子

Stubborn

iwanna 发表于 2019-1-20 21:19
应该是缓存策略的问题
在headers里面加上max-age:0试试这个键值对试试

1. page_data = requests.get(url, headers=headers)

复制代码

我这样添加灭有问题把，上面这行会报错

1. headers = {
   
2.     'User-Agent': ua.random,"max-age":0
   
3. 
   
4. }

复制代码

Stubborn

iwanna 发表于 2019-1-20 21:30
报什么错你倒是说啊

1. requests.exceptions.InvalidHeader: Value for header {max-age: 0} must be of type str or bytes, not <class 'int'>

复制代码

1. C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe C:/Users/Administrator/Desktop/题目测.py
   
2. Traceback (most recent call last):
   
3.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\requests\utils.py", line 941, in check_header_validity
   
4.     if not pat.match(value):
   
5. TypeError: expected string or bytes-like object
   
6. 
   
7. During handling of the above exception, another exception occurred:
   
8. 
   
9. Traceback (most recent call last):
   
10.   File "C:/Users/Administrator/Desktop/题目测.py", line 9, in <module>
    
11.     page_data = requests.get(url, headers=headers)
    
12.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\requests\api.py", line 75, in get
    
13.     return request('get', url, params=params, **kwargs)
    
14.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\requests\api.py", line 60, in request
    
15.     return session.request(method=method, url=url, **kwargs)
    
16.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\requests\sessions.py", line 519, in request
    
17.     prep = self.prepare_request(req)
    
18.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\requests\sessions.py", line 462, in prepare_request
    
19.     hooks=merge_hooks(request.hooks, self.hooks),
    
20.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\requests\models.py", line 314, in prepare
    
21.     self.prepare_headers(headers)
    
22.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\requests\models.py", line 448, in prepare_headers
    
23.     check_header_validity(header)
    
24.   File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\site-packages\requests\utils.py", line 945, in check_header_validity
    
25.     "bytes, not %s" % (name, value, type(value)))
    
26. requests.exceptions.InvalidHeader: Value for header {max-age: 0} must be of type str or bytes, not <class 'int'>

复制代码

Stubborn

iwanna 发表于 2019-1-20 21:45
0换成'0'

还是一样的，我好伤心，我改在修炼几个月，会多线程，图片全部扒下来

Stubborn

iwanna 发表于 2019-1-20 22:27
看错了,是403错误,这个我也不会.要懂后端语言的.爬虫需要的知识比较杂

3Q

Stubborn

iwanna 发表于 2019-1-20 22:28
等高人解释怎么绕过去了

待我在修炼修炼，会多线程，图片全部扒下来，居然欺负我。

Stubborn

iwanna 发表于 2019-1-20 22:45
大哥,你别标已解决啊,这样就没有进来看了啊.就不能解决了啊