复习一下妹子图（啊不对）爬虫

ietar

回复可直接复制代码

1. from bs4 import BeautifulSoup
   
2. import requests
   
3. import os
   
4. 
   
5. # 使用说明 将py文件放在要保存图包的目录下运行
   
6. # number别太贪心 目前主页24个 我也就设置最大24
   
7. 
   
8. # 源url number确认要整几个图包
   
9. url0 = 'https://www.mzitu.com'
   
10. headers={
    
11.     'referer': 'https://www.mzitu.com/188045',
    
12.     'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Mobile Safari/537.36'
    
13.     }
    
14. number = int(input('how many:(max=24)'))
    
15. while number > 24:
    
16.     number = int(input('how many:(max=24)'))
    
17. 
    
18. # 打开主页
    
19. res0 = requests.get(url0,headers=headers)
    
20. soup0 = BeautifulSoup(res0.text,'lxml')
    
21. 
    
22. # 正式开整
    
23. for h in range(number):
    
24.     url = soup0.find('div', class_='main').find('div', class_='postlist')\
    
25.           .find_all('li')[h].a['href']
    
26.     res = requests.get(url,headers=headers)
    
27.     soup = BeautifulSoup(res.text,'lxml')
    
28.     target_url = soup.find('div',class_='main-image').img['src']
    
29.     # filename = target_url.split(r'.net/')[-1]
    
30.     # 懒得处理filename里的/了 直接1 2 3 4命名图片完事
    
31.     pages = soup.find('div',class_='pagenavi').find_all('a')[-2].span.text
    
32.     title = soup.find('div',class_='content').find('h2',class_='main-title').text
    
33. 
    
34.     print('正在搞第{}个'.format(h+1))
    
35.     if title not in os.listdir():
    
36.         os.mkdir(title)
    
37.     os.chdir(title)
    
38. 
    
39.     for i in range(int(pages)):
    
40.         url1 = url + r'/' + str(i+1)
    
41.         res1 = requests.get(url1,headers=headers)
    
42.         soup = BeautifulSoup(res1.text,'lxml')
    
43.         target_url = soup.find('div',class_='main-image').img['src']
    
44.         res1 = requests.get(target_url,headers=headers)
    
45.         with open(str(i+1)+r'.jpg', 'wb') as f:
    
46.             f.write(res1.content)
    
47.     os.chdir('..')
    
48.    
    
49. # 我完事了 你们呢
    
50. 
    
51. 
    
52. 
    

复制代码

eric91

好东西

chxchxkkk

支持一下

dysfm

膜拜大神

苏泱

哈哈

想抓兔子的云

感谢分享

非鱼~~

优秀

小鲨鱼爱虾米

艺术

九月水

学习

895454048

膜拜大神

imcampbell

运行出错了，是不是我的Python少了东西？

helloconan

学习一下

小贵妇

爬虫想学

daleling

还有没其他的有图可以下的站点推荐的？

76978341

sha

xixixixiansen

精华

fishc233

学习学习

n197h

学习学习

qq2569650920

666666666666666666666

ietar

imcampbell 发表于 2019-6-11 12:26
运行出错了，是不是我的Python少了东西？

贴个报错信息啊 目测是没装requests bs4