也发一个小爬虫

轻轻4843

闲来无事也发一个小爬虫，
之前忘记是哪个大佬发的贴了，爬取gifjia5.com
下下来用了一下发现貌似不太能用，自己也写了一个，实战效果还可以

水平较低，大佬勿喷

主要的几个功能：

1.自定义页码数量
2.未知错误跳过
3.gif和jpg按各自类型下载

缺点：
1.没有引入自动创建目录，需要自己提前建好

1. # -*- coding: utf-8 -*-
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. import os, time
   
5. import re
   
6. 
   
7. headers = {
   
8.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0'
   
9. }
   
10. 
    
11. def downpic(url):
    
12.         a = 0
    
13.         for url in url:
    
14.                 html = requests.get(url,headers=headers)
    
15.                 soup = BeautifulSoup(html.text,'lxml')
    
16.                 for article in soup.find_all('article'):
    
17.                         next_url= article.a.get('href')
    
18.                         next_html = requests.get(next_url,headers=headers)
    
19.                         next_soup = BeautifulSoup(next_html.text,'lxml')
    
20.                         for pic_article in next_soup.find_all('article'):
    
21.                                 try:
    
22.                                         pic_url = pic_article.p.img.get('src')
    
23.                                         #print(pic_url) #测试链接是否正确获取
    
24.                                         pic = requests.get(pic_url,headers=headers)
    
25.                                         if pic_url.endswith('.gif'):
    
26.                                                 with open('E:\\pic\\gif5\\%s.gif' % a,'wb') as f:
    
27.                                                         f.write(pic.content)
    
28.                                                         f.close()
    
29.                                                         a += 1
    
30.                                                         print('No.%s' % a)
    
31.                                         elif pic_url.endswith('.jpg'):
    
32.                                                 with open('E:\\pic\\gif5\\%s.jpg' % a,'wb') as f:
    
33.                                                         f.write(pic.content)
    
34.                                                         f.close()
    
35.                                                         a += 1
    
36.                                                         print('No.%s' % a)
    
37.                                 except:
    
38.                                         print('有个错误，跳过吧')
    
39.                 time.sleep(3)
    
40. def appendurl(num):
    
41.         url = []
    
42.         for i in range(1,int(num)+1):
    
43.                 if i == 1:
    
44.                         url.append(r'http://www.gifjia5.com/tag/老司机')
    
45.                 else:
    
46.                         url.append(r'http://www.gifjia5.com/tag/老司机' + r'/page/' + ('%s' % i))
    
47.         return url
    
48.        
    
49. 
    
50. page = input('输入页数:')
    
51. urllist = appendurl(page)
    
52. #print (urllist)
    
53. downpic(urllist)
    

复制代码

黄金猫

gif5.net吧

轻轻4843

黄金猫 发表于 2018-5-18 12:26
gif5.net吧

啊、写错了，gifjia5.com