萌新献丑，爬取整套高清写真原图的爬虫

Levin-e

第二弹已发布
https://fishc.com.cn/thread-162027-1-1.html

---

这是我第一次发帖，在论坛逛了好久，看到许多大佬们写的爬虫，自己也想试一试
于是用了一天时间写了这个爬虫，基本功能可以实现，但是细节上还有待优化，希望有大佬可以修改完善
额外依赖的包有requests和bs4中的BeautifulSoup

网页来源：https://www.nvshens.net/
爬取的是高清原图，不是缩略图
运行过程中console会显示下载信息，提示一个error不用担心，连续出现两个error则说明特定的一张图片下载失败
这个bug有待改进
具体使用方法在代码的注释中
最后放出源码：

1. import re, math
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. if __name__ == '__main__':
   
6.     headers = {
   
7.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36 Edg/80.0.361.54'
   
8.     }
   
9.     first_url = 'https://www.nvshens.net/g/31118/'  #需手动更改链接，参照这个样式
   
10.     r = requests.get(first_url,headers=headers)
    
11.     html = r.text
    
12.     bf = BeautifulSoup(html,'lxml')
    
13.     page_info = bf.find('div',id='dinfo').find('span').get_text()   #获取套图照片总数以计算页码
    
14.     pic_num = re.findall(r'\d+',page_info)  
    
15.     page_num = math.ceil(int(pic_num[0])/3)
    
16.     print('该套图总共有%d页' %page_num)
    
17.     print('该套图包含%s' %page_info)
    
18. 
    
19.     img_url = bf.find('div', class_='gallery_wrapper').find_all('img')
    
20.     for each in img_url:
    
21.         name = each.get('alt') + '.jpg'
    
22.         img_src = each.get('src')
    
23.         replace_src = img_src.replace('/s','')
    
24.         path = r'E:\Movie\photo\azhua'  #自定义存储位置
    
25.         file_name = path + '\\' + name
    
26.         try:
    
27.             # print(replace_src)
    
28.             req1 = requests.get(replace_src,headers=headers)
    
29.             with open(file_name, 'wb') as f:
    
30.                 f.write(req1.content)
    
31.             print('%s is download' %file_name)
    
32.             time.sleep(3)
    
33.             req1 = requests.get(first_url,headers=headers)
    
34.         except:
    
35.             print('Error')
    
36.     page = 2
    
37.     while page<=page_num:
    
38.         url = 'https://www.nvshens.net/g/31118/%d.html'%page  #手动设置最终页码，以及图片地址
    
39.         req = requests.get(url,headers=headers)
    
40.         html = req.text
    
41.         bf = BeautifulSoup(html, 'lxml')
    
42.         #page_url = 'https://www.nvshens.net' + bf.find('div', id_='pages').find('a', class_='a1')
    
43.         #print(page_url)
    
44.         img_url = bf.find('div', class_='gallery_wrapper').find_all('img')
    
45.         # print(img_url)
    
46.         for each in img_url:
    
47.             name = each.get('alt') + '.jpg'
    
48.             img_src = each.get('src')
    
49.             replace_src = img_src.replace('/s','')
    
50.             path = r'E:\'  #自定义存储位置
    
51.             file_name = path + '\\' + name
    
52.             try:
    
53.                 # print(replace_src)
    
54.                 req1 = requests.get(replace_src,headers=headers)
    
55.                 with open(file_name, 'wb') as f:
    
56.                     f.write(req1.content)
    
57.                 print('%s is download' %file_name)
    
58.                 time.sleep(3)
    
59.                 req1 = requests.get(url,headers=headers)
    
60.             except:
    
61.                 print('Error')
    
62.         page=page+1
    

复制代码

Sungne_jer

优秀

Levin-e

自己顶一下，欢迎交流

烟肖雨晨

感谢分享~学习爬虫奋斗中

biubiucat

2333

金秋梦话

蒂花之秀

妲树

想看看高清图，裤子都脱了，发现需要回复，生气。

kirte

看看

25368899

学习了

kedapc

感谢分享~学习爬虫奋斗中

j4551234

感谢分享

cmmylove

学习

sgwe

12321

kkk999de

向你学习

PythonLV

为了看隐藏

PythonLV

楼主啊，我的版本是3.7，复制过来运行不了呀，我就想看图

MCDULLtotto

爱我的违法

Levin-e

PythonLV 发表于 2020-2-23 09:53
楼主啊，我的版本是3.7，复制过来运行不了呀，我就想看图

emmm,你是依赖的包没有安装，还是没有设定图片保存的路径，我也是3.7的，想看图的话代码里面的地址打开就行

Levin-e

妲树 发表于 2020-2-20 20:14
想看看高清图，裤子都脱了，发现需要回复，生气。

哈哈哈哈哈，动动手，勤劳致富