[已解决]那为大佬帮我看看为什么我爬的图片保存下来后打不开谢谢

attfffg11

好心的大佬帮帮忙
也帮我看看怎么提高爬取速度

1. #1. requests 发送请求，从服务器获取数据。 要自己安装
   
2. #2. beautifulsoup 来解析页面源代码。 要自己安装
   
3. 
   
4. import requests
   
5. from bs4 import BeautifulSoup
   
6. import time
   
7. 
   
8. headers = {
   
9.     "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36"
   
10. }
    
11. aa = "https://mmzztt.com" #网站
    
12. resp = requests.get(aa,headers=headers)
    
13. resp.encoding = 'utf-8'
    
14. #解析
    
15. qq = BeautifulSoup(resp.text,"html.parser")
    
16. ww = qq.find('ul',attrs={'class':'uk-grid uk-grid-match uk-child-width-1-4 uk-child-width-1-6@s g-list'}).find_all('a',attrs={"uk-inline u-thumb-f"})#获取热门标签
    
17. c = 1
    
18. for a in ww:
    
19.     heji = a.get("href")#在热门标签里面拿到网站
    
20.     resp1 = requests.get(heji, headers=headers)#发送请求
    
21.     resp1.encoding = 'utf-8'
    
22.     qq1 = BeautifulSoup(resp1.text, "html.parser")
    
23.     yeshu = qq1.find('nav',attrs={"uk-container uk-padding-small m-pagination"}).find_next('li').find_next('li').find_next('li').find_next('li').find_next('li').text#获取一共有多少页
    
24.     yeshu = int(yeshu)#把页数转为整数
    
25.     print(yeshu)#打印有多少页
    
26.     c = 1 #网站后缀页数初始值
    
27.     n = 1 #图片顺序初始值
    
28.     while yeshu > 0:
    
29.         heji1 = heji+"page/%s/"%c#把网站拼接后缀页数
    
30.         #print(heji1)
    
31.         yeshu -= 1#把网站拼接后缀页数依次减少
    
32.         c += 1##网站后缀页数初始加1
    
33. 
    
34.         resp2 = requests.get(heji1, headers=headers)#发送请求
    
35.         resp2.encoding = 'utf-8'
    
36.         qq2 = BeautifulSoup(resp1.text, "html.parser")
    
37.         ww1 = qq2.find('ul',attrs={'class': 'uk-grid uk-grid-match uk-child-width-1-2@s uk-child-width-1-3@m g-list'}).find_all('img')#获取图片地址
    
38.         #mingz = qq2.find('ul', attrs={'class': 'uk-grid uk-grid-match uk-child-width-1-2@s uk-child-width-1-3@m g-list'}).find_all('div', attrs={'class': 'uk-card-body uk-padding-remove'})#获取图片名字
    
39.         for img in ww1:
    
40.             tupian = img.get('data-srcset')#[0]#获取所有图片地址"""
    
41.             #保存数据
    
42.             time.sleep(1)
    
43.             print(tupian)
    
44.             f = open("%s.jpg"%n,mode="wb")  # 保存文件
    
45.             f.write(requests.get(tupian).content)  # 向外那图片
    
46.             n += 1##网站后缀页数初始加初始
    
47.             print('成功')#"""

复制代码

最佳答案

月排行榜 / 总排行榜

临时号

2022-6-12 13:19:15

爬取图片时,需要加headers
提速的话需要使用代理ip,没有代理ip就算用多线程也容易因为ip访问速度过快而被网站封禁

1. #1. requests 发送请求，从服务器获取数据。 要自己安装
   
2. #2. beautifulsoup 来解析页面源代码。 要自己安装
   
3. 
   
4. import requests
   
5. from bs4 import BeautifulSoup
   
6. import time
   
7. 
   
8. headers = {
   
9.     "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36"
   
10. }
    
11. aa = "https://mmzztt.com" #网站
    
12. resp = requests.get(aa,headers=headers)
    
13. resp.encoding = 'utf-8'
    
14. #解析
    
15. qq = BeautifulSoup(resp.text,"html.parser")
    
16. ww = qq.find('ul',attrs={'class':'uk-grid uk-grid-match uk-child-width-1-4 uk-child-width-1-6@s g-list'}).find_all('a',attrs={"uk-inline u-thumb-f"})#获取热门标签
    
17. c = 1
    
18. for a in ww:
    
19.     heji = a.get("href")#在热门标签里面拿到网站
    
20.     resp1 = requests.get(heji, headers=headers)#发送请求
    
21.     resp1.encoding = 'utf-8'
    
22.     qq1 = BeautifulSoup(resp1.text, "html.parser")
    
23.     yeshu = qq1.find('nav',attrs={"uk-container uk-padding-small m-pagination"}).find_next('li').find_next('li').find_next('li').find_next('li').find_next('li').text#获取一共有多少页
    
24.     yeshu = int(yeshu)#把页数转为整数
    
25.     print(yeshu)#打印有多少页
    
26.     c = 1 #网站后缀页数初始值
    
27.     n = 1 #图片顺序初始值
    
28.     while yeshu > 0:
    
29.         heji1 = heji+"page/%s/"%c#把网站拼接后缀页数
    
30.         #print(heji1)
    
31.         yeshu -= 1#把网站拼接后缀页数依次减少
    
32.         c += 1##网站后缀页数初始加1
    
33. 
    
34.         resp2 = requests.get(heji1, headers=headers)#发送请求
    
35.         resp2.encoding = 'utf-8'
    
36.         qq2 = BeautifulSoup(resp1.text, "html.parser")
    
37.         ww1 = qq2.find('ul',attrs={'class': 'uk-grid uk-grid-match uk-child-width-1-2@s uk-child-width-1-3@m g-list'}).find_all('img')#获取图片地址
    
38.         #mingz = qq2.find('ul', attrs={'class': 'uk-grid uk-grid-match uk-child-width-1-2@s uk-child-width-1-3@m g-list'}).find_all('div', attrs={'class': 'uk-card-body uk-padding-remove'})#获取图片名字
    
39.         for img in ww1:
    
40.             tupian = img.get('data-srcset')#[0]#获取所有图片地址"""
    
41.             #保存数据
    
42.             time.sleep(1)
    
43.             print(tupian)
    
44.             f = open("%s.jpg"%n,mode="wb")  # 保存文件
    
45.             f.write(requests.get(tupian, headers=headers).content)  # 向外那图片
    
46.             n += 1##网站后缀页数初始加初始
    
47.             print('成功')#"""

复制代码

跳转到最佳答案楼层

qq1151985918

f.close()

南归

f.write(requests.get(tupian).content) 这行加上user-agent
提速的话开多线程

临时号

爬取图片时,需要加headers
提速的话需要使用代理ip,没有代理ip就算用多线程也容易因为ip访问速度过快而被网站封禁

1. #1. requests 发送请求，从服务器获取数据。 要自己安装
   
2. #2. beautifulsoup 来解析页面源代码。 要自己安装
   
3. 
   
4. import requests
   
5. from bs4 import BeautifulSoup
   
6. import time
   
7. 
   
8. headers = {
   
9.     "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36"
   
10. }
    
11. aa = "https://mmzztt.com" #网站
    
12. resp = requests.get(aa,headers=headers)
    
13. resp.encoding = 'utf-8'
    
14. #解析
    
15. qq = BeautifulSoup(resp.text,"html.parser")
    
16. ww = qq.find('ul',attrs={'class':'uk-grid uk-grid-match uk-child-width-1-4 uk-child-width-1-6@s g-list'}).find_all('a',attrs={"uk-inline u-thumb-f"})#获取热门标签
    
17. c = 1
    
18. for a in ww:
    
19.     heji = a.get("href")#在热门标签里面拿到网站
    
20.     resp1 = requests.get(heji, headers=headers)#发送请求
    
21.     resp1.encoding = 'utf-8'
    
22.     qq1 = BeautifulSoup(resp1.text, "html.parser")
    
23.     yeshu = qq1.find('nav',attrs={"uk-container uk-padding-small m-pagination"}).find_next('li').find_next('li').find_next('li').find_next('li').find_next('li').text#获取一共有多少页
    
24.     yeshu = int(yeshu)#把页数转为整数
    
25.     print(yeshu)#打印有多少页
    
26.     c = 1 #网站后缀页数初始值
    
27.     n = 1 #图片顺序初始值
    
28.     while yeshu > 0:
    
29.         heji1 = heji+"page/%s/"%c#把网站拼接后缀页数
    
30.         #print(heji1)
    
31.         yeshu -= 1#把网站拼接后缀页数依次减少
    
32.         c += 1##网站后缀页数初始加1
    
33. 
    
34.         resp2 = requests.get(heji1, headers=headers)#发送请求
    
35.         resp2.encoding = 'utf-8'
    
36.         qq2 = BeautifulSoup(resp1.text, "html.parser")
    
37.         ww1 = qq2.find('ul',attrs={'class': 'uk-grid uk-grid-match uk-child-width-1-2@s uk-child-width-1-3@m g-list'}).find_all('img')#获取图片地址
    
38.         #mingz = qq2.find('ul', attrs={'class': 'uk-grid uk-grid-match uk-child-width-1-2@s uk-child-width-1-3@m g-list'}).find_all('div', attrs={'class': 'uk-card-body uk-padding-remove'})#获取图片名字
    
39.         for img in ww1:
    
40.             tupian = img.get('data-srcset')#[0]#获取所有图片地址"""
    
41.             #保存数据
    
42.             time.sleep(1)
    
43.             print(tupian)
    
44.             f = open("%s.jpg"%n,mode="wb")  # 保存文件
    
45.             f.write(requests.get(tupian, headers=headers).content)  # 向外那图片
    
46.             n += 1##网站后缀页数初始加初始
    
47.             print('成功')#"""

复制代码