第一个图片爬虫，终于爬下来了

zm_selina

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. import os
   
5. 
   
6. 
   
7. def getHTMLText(url):
   
8.     try:
   
9.         headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
   
10.                                  '(KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}
    
11.         r = requests.get(url, headers=headers)
    
12.         r.raise_for_status()
    
13.         r.encoding = 'utf-8'
    
14.         return r.text
    
15.     except:
    
16.         return ''
    
17. 
    
18. def get_img(html):
    
19.     try:
    
20.         p = r'<li><img src="([^"]*\.jpg)"'
    
21.         imglist = re.findall(p, html)
    
22.         soup = BeautifulSoup(html, 'lxml')
    
23.         name = soup.title.text
    
24.         root = r"D:\Pictures//"
    
25.         path = root + name
    
26.     except:
    
27.         print("")
    
28. 
    
29.     try:
    
30.         os.mkdir(path)
    
31.     except FileExistsError:
    
32.         pass
    
33. 
    
34.     os.chdir(path)
    
35. 
    
36.     for each in imglist:
    
37.         filename = each.split('/')[-1]
    
38.         url = "http://www.jsgho.net"
    
39.         each = url + each
    
40.         r = requests.get(each)
    
41. 
    
42.         with open(filename, 'wb') as f:
    
43.             f.write(r.content)
    
44. 
    
45. def main(url):
    
46.     html = getHTMLText(url)
    
47.     get_img(html)
    
48. 
    
49. 
    
50. with open("C://Users//Administrator//Desktop//sitemap.txt") as f:
    
51.     urls = f.readlines()
    
52. 
    
53. for url in urls:
    
54.     url = url.strip('\n')
    
55.     main(url)

复制代码

再上个图（都穿了衣服的）：）

网址文本，解压放桌面。
sitemap.rar (432 Bytes, 下载次数: 9)

2019-12-30 21:32 上传

点击文件名下载附件

zm_selina

写的很烂，请大神们多多指点。