爬虫爬取出的图片下载出错，图片文件直接损坏

伏惜寒

程序执行完后，打开文件夹会发现图片全部损坏，有没有哪位知道原因的，最好有解决方法。

1. import requests
   
2. import os, sys, stat
   
3. from lxml import etree
   
4. import time
   
5. 
   
6. 
   
7. class HuangMan():
   
8.     def __init__(self):
   
9.         #设置请求头
   
10.         self.headers = {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}
    
11.         self.url_list = []
    
12.         self.Hman_url_list = []
    
13.         self.Hman_name_list = []
    
14.         
    
15.     def get_url_list(self):
    
16.         #这里是设置爬取到第3页，想要更多的话请自行更改
    
17.         url = "http://www.93qoqo.com/artlist/27-%d.html"
    
18.         for i in range(2,4):
    
19.             #获取第2到3页的url
    
20.             self.url_list.append(url % i)
    
21.             
    
22. 
    
23.     #由于第一页网址不同，所以单独写一个获取函数
    
24.     def start_1(self):
    
25.         url_1 = "http://www.93qoqo.com/artlist/27.html"
    
26.         response = requests.get(url_1, headers = self.headers).content.decode('utf-8')
    
27.         html = etree.HTML(response)
    
28.         result = html.xpath('//ul/li[@class="name"]/a')
    
29.         for i in range(len(result)):
    
30.             #获取result的属性
    
31.             shuxing = result[i].attrib
    
32.             #获取url
    
33.             self.Hman_url_list.append("http://www.93qoqo.com" + shuxing.get('href'))
    
34.             #获取名字
    
35.             self.Hman_name_list.append(shuxing.get('title'))
    
36.         print("正在爬取第1页的网站信息")
    
37.         time.sleep(2)
    
38. 
    
39.     #从第二页开始爬取信息
    
40.     def start(self):
    
41.         self.start_1()
    
42.         self.get_url_list()
    
43.         for url in self.url_list:
    
44.             response = requests.get(url, headers = self.headers).content.decode('utf-8')
    
45.             html = etree.HTML(response)
    
46.             result = html.xpath('//ul/li[@class="name"]/a')
    
47.             for i in range(len(result)):
    
48.                 #获取result的属性
    
49.                 shuxing = result[i].attrib
    
50.                 #获取url
    
51.                 self.Hman_url_list.append("http://www.93qoqo.com" + shuxing.get('href'))
    
52.                 #获取名字
    
53.                 self.Hman_name_list.append(result[i].text)
    
54.                
    
55.             print("正在爬取第%d页的网站信息" % (self.url_list.index(url) + 2))
    
56.             time.sleep(2)
    
57.         self.wenjian()
    
58.         self.main()
    
59. 
    
60.     def wenjian(self):
    
61.         #创建文件夹
    
62.         if os.path.exists("photo") == False:
    
63.             os.makedirs("photo")
    
64.             os.chmod("photo", stat.S_IWRITE)
    
65.             os.chdir("photo")
    
66.             
    
67.         else:
    
68.             print("文件已经存在")
    
69.             
    
70.     def main(self):
    
71.         for url in self.Hman_url_list:
    
72.             response = requests.get(url, headers = self.headers).content.decode('utf-8')
    
73.             html = etree.HTML(response)
    
74.             result = html.xpath('//center/div[@class="t_msgfont"]/img')
    
75.             print(self.Hman_name_list[self.Hman_url_list.index(url)])
    
76.             for i in range(len(self.Hman_name_list)):
    
77.                 #创建次级文件夹用于存放图片
    
78.                 f = os.makedirs(self.Hman_name_list[i])
    
79.                 os.chmod(self.Hman_name_list[i], stat.S_IWRITE)
    
80.                 print("正在创建文件夹")
    
81.                 for e in range(len(result)):
    
82.                     print("下载图片中。。。请稍等片刻")
    
83.                     name ="%d.jpg" % e
    
84.                     #请求图片
    
85.                     respomse=requests.get(url,headers=self.headers)
    
86.                     #下载
    
87.                     with open(os.path.join(self.Hman_name_list[i],name),mode='wb') as f:
    
88.                         f.write(respomse.content)
    
89.                
    
90.             
    
91. if __name__ == "__main__":
    
92.     h = HuangMan()
    
93.     h.start()

复制代码

伏惜寒

找到问题了，图片下载的url引用错了