Python 爬取鱼C表情包 (1)

qiuyouzhi

Python 爬取表情包 (1)

写在前面的话

1，这段代码目前还有许多的缺陷(可以爬取大部分，

不知道能不能爬取全部的，没有试过），

各位大佬可以顺便帮忙改一改

2，抱歉啦，服务器君

用到的模块：

urllib:  用于保存图片和调试错误。

os:  用于确定保存图片的位置。。

思路：

先看看网页，随便打开一个鱼C的网页（可以回复），

然后检查一下网页，调到Network，刷新：

https://imgchr.com/i/GSfawD

随便翻一翻，发现了一堆开头

是aru的png图片，直接点开看Preview:

https://imgchr.com/i/GSf2m8

这就是我们想要的（本人喜欢啊撸）！

开始写代码，先导入模块，

并做一些基本的工作：

1. import urllib.request
   
2. from urllib.error import HTTPError
   
3. import os
   
4. os.mkdir(r"C:\Users\username\Desktop\Image")
   
5. os.chdir(r"C:\Users\username\Desktop\Image") # username换成自己的

复制代码

看看图片所在的url：

https://imgchr.com/i/GS4Q2R

可以发现，url就是https://fishc.com.cn/static/image/smiley/ARU/

后面加上图片名字，可以写出代码：

1. def open_url(url):
   
2.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
   
3.     res = urllib.request.urlopen(url)
   
4.     return res
   
5. 
   
6. def make_url(count, count2):
   
7.     count = str(count)      
   
8.     if len(count) > 1:       # 因为URL的第二个可变部分最多不会超过3位，所以就这么
   
9.                                         瞎写了一个，判断自己配出来的URL是否符合要求（但这段代码还是做不到啊。。）
   
10.         if len(count) > 2:   # 这一段算法还有问题，继续修改。。。
    
11.             pass
    
12.         else:
    
13.             count = '0' + count[1:]
    
14.     else:
    
15.         count = "00" + count
    
16.     url = 'https://fishc.com.cn/static/image/smiley/ARU/aru-1x-%d_%s.png' % (count2, count)
    
17.     print(url)
    
18.     return url

复制代码

make_url就是用于构造url的，本人初学，

写的一团糟。。。

btw: 这段代码我可谓死伤无数脑细胞，

别看不长，第一代可以长的要死，我实在

看不下去，就换了个思路改了改。

最难的部分已经完成啦！剩下的就是

下载图片并保存了！

1. def get_Image(res, count,count2):
   
2.     with open(f"{count}({count2}).png", 'wb') as f:
   
3.         f.write(res.read())
   
4.         
   
5. 
   
6. def main(count):
   
7.     url = make_url(count, count2)
   
8.     if url == None:
   
9.         return 0
   
10.     res = open_url(url)
    
11.     get_Image(res, count,count2)
    
12.    
    
13. for j in range(3):
    
14.     for i in range(200):
    
15.         try:
    
16.             a = main(i)
    
17.             if a == 0:
    
18.                 continue
    
19.         except HTTPError:
    
20.            pass
    
21.     count2 += 1

复制代码

简单说一下思路：

可以看下Network，会发现有

1_005, 2_069 这样的URL，

我一开始没发现，中了很大的坑。

于是后面就加上了count2，又套了一次循环才成、

（可以直接改成j，但是懒得改了。。。）


差不多就这样了，附上最终代码：

1. import urllib.request
   
2. from urllib.error import HTTPError
   
3. import os
   
4. os.mkdir(r"C:\Users\rzzl\Desktop\Image")
   
5. os.chdir(r"C:\Users\rzzl\Desktop\Image")
   
6. 
   
7. count2 = 1
   
8. 
   
9. def open_url(url):
   
10.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
    
11.     res = urllib.request.urlopen(url)
    
12.     return res
    
13. 
    
14. def make_url(count, count2):
    
15.     count = str(count)      
    
16.     if len(count) > 1:
    
17.         if len(count) > 2:   # 这一段算法还有问题，继续修改。。。
    
18.             pass
    
19.         else:
    
20.             count = '0' + count[1:]
    
21.     else:
    
22.         count = "00" + count
    
23.     url = 'https://fishc.com.cn/static/image/smiley/ARU/aru-1x-%d_%s.png' % (count2, count)
    
24.     print(url)
    
25.     return url
    
26.    
    
27. 
    
28. def get_Image(res, count,count2):
    
29.     with open(f"{count}({count2}).png", 'wb') as f:
    
30.         f.write(res.read())
    
31.         
    
32. 
    
33. def main(count):
    
34.     url = make_url(count, count2)
    
35.     if url == None:
    
36.         return 0
    
37.     res = open_url(url)
    
38.     get_Image(res, count,count2)
    
39.    
    
40. for j in range(3):
    
41.     for i in range(200):
    
42.         try:
    
43.             a = main(i)
    
44.             if a == 0:
    
45.                 continue
    
46.         except HTTPError:
    
47.            pass
    
48.     count2 += 1

复制代码

qiuyouzhi

P.S:电脑太渣，图片我放到图床上去了

wuqramy

哦哦，不错嘛！

wuqramy

qiuyouzhi 发表于 2020-3-26 16:03
P.S:电脑太渣，图片我放到图床上去了

有bug，只爬了7张图

qiuyouzhi

修改了一下：

1. import urllib.request
   
2. from urllib.error import HTTPError
   
3. import os
   
4. try:
   
5.     os.mkdir(r"C:\Users\rzzl\Desktop\Image")
   
6. except OSError:
   
7.     pass
   
8. os.chdir(r"C:\Users\rzzl\Desktop\Image")
   
9. 
   
10. count2 = 1
    
11. 
    
12. def open_url(url):
    
13.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
    
14.     res = urllib.request.urlopen(url)
    
15.     return res
    
16. 
    
17. def make_url(count, count2):
    
18.     count = str(count)      
    
19.     if len(count) > 1:
    
20.         if len(count) > 2:   # 这一段算法还有问题，继续修改。。。
    
21.             pass
    
22.         else:
    
23.             count = '0' + count[:1] + count[1:]
    
24.     else:
    
25.         count = "00" + count
    
26.     url = 'https://fishc.com.cn/static/image/smiley/ARU/aru-1x-%d_%s.png' % (count2, count)
    
27.     print(url)
    
28.     return url
    
29.    
    
30. 
    
31. def get_Image(res, count,count2):
    
32.     with open(f"{count}({count2}).png", 'wb') as f:
    
33.         f.write(res.read())
    
34.         
    
35. 
    
36. def main(count):
    
37.     url = make_url(count, count2)
    
38.     if url == None:
    
39.         return 0
    
40.     res = open_url(url)
    
41.     get_Image(res, count,count2)
    
42.    
    
43. for j in range(3):
    
44.     for i in range(300):
    
45.         try:
    
46.             a = main(i)
    
47.             if a == 0:
    
48.                 continue
    
49.         except HTTPError:
    
50.            pass
    
51.     count2 += 1

复制代码

这样就不需要手动删除已存在的文件夹了！

温木zou

芜湖，我最近也写了几个爬鱼C上东西 、的