【鱼币】python批量爬取k站（konachan）上的图片

小超努力学习中

1111

白色浪花

66

白色浪花

99

Sunnysun.

liuhongrun2022 发表于 2023-9-3 10:46
自占前排，求评分qwq

@学习编程中的Ben @歌者文明清理员 @Mike_python小 @陶远航 @zhangjinxuan @Ewan-A ...

白嫖

18305177067

隐藏内容

360341024

来取真经

sam_alphatop

試試看

不愧是我

kk

lantest

tql

harryhan123

6

lantest

1. import os
   
2. import requests
   
3. import urllib3
   
4. from bs4 import BeautifulSoup
   
5. import random
   
6. import string
   
7. 
   
8. """
   
9. 主要是批量获取konachan.net的图（斯哈斯哈）
   
10. 没有做多线程
    
11. """
    
12. 
    
13. headers = {
    
14.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
    
15. }
    
16. 
    
17. # 忽略 InsecureRequestWarning 警告
    
18. urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning)
    
19. 
    
20. def getContent(url):
    
21.     req = requests.get(url, headers=headers)
    
22.     req.encoding = 'utf-8'
    
23.     html = req.text
    
24.     return html
    
25. 
    
26. def getAllImageContentUrls(html):
    
27.     ImageContentUrls = []
    
28.     soup = BeautifulSoup(html, 'html.parser')
    
29.     thumb_links = soup.find_all('a', class_='thumb')
    
30.     for link in thumb_links:
    
31.         href_value = link['href']
    
32.         imageContentUrl = "https" + "://konachan.net/" + href_value
    
33.         ImageContentUrls.append(imageContentUrl)
    
34.     return ImageContentUrls
    
35. 
    
36. def getImageUrl(html):
    
37.     soup = BeautifulSoup(html, 'html.parser')
    
38.     imageUrl = soup.find('link', rel='image_src').get('href')
    
39.     return imageUrl
    
40. 
    
41. 
    
42. def downloadImage(url,path):
    
43.     response  = requests.get(url, headers=headers)
    
44.     if response.status_code == 200:
    
45.         characters = string.digits + string.ascii_letters
    
46.         random_code = ''.join(random.choice(characters) for _ in range(5))
    
47.         file_extension = os.path.splitext(url)[1]
    
48.         fileName = random_code + file_extension
    
49.         save_path = path + fileName
    
50.         os.makedirs(os.path.dirname(save_path), exist_ok=True)
    
51.         with open(save_path, 'wb') as file:
    
52.             file.write(response.content)
    
53.         file.close()
    
54.         print("保存地址：{}".format(save_path))
    
55. 
    
56. def getImageUrls(ImageContentUrls):
    
57.     imageUrls = []
    
58.     for i in ImageContentUrls:
    
59.         html = getContent(i)
    
60.         imageUrl  =getImageUrl(html)
    
61.         imageUrls.append(imageUrl)
    
62.     return imageUrls
    
63. 
    
64. if __name__ == '__main__':
    
65. 
    
66.     """important"""
    
67.     print("开始")
    
68.     count = 0
    
69. 
    
70.     #开始页面
    
71.     startPage = 10
    
72.     #结束页面
    
73.     endPage = 11
    
74.     #保存地址
    
75.     path = "D:\\seseimage\"
    
76. 
    
77.     for i in range(startPage,endPage + 1):
    
78.         url = "https:" + "//konachan.net/post?page=" + str(i)
    
79.         imageContentUrls = getAllImageContentUrls(getContent(url))
    
80.         imageUrls = getImageUrls(imageContentUrls)
    
81.         for j in imageUrls:
    
82.             downloadImage(j,path)
    
83.             count = count + 1
    
84.     print("下载完成，共{}张".format(count))
    
85. 
    
86. 
    

复制代码

fengyu315

源代码

360341024

代码看懂了，关掉自己写又是一脸的懵逼

额外减小

我看看，什么是k站

额外减小

我要白嫖育碧

Wei-Yuanzhe

yinda_peng

lantest 发表于 2023-9-27 23:32

代码能跑但是下载0张

a905448839

C#能爬虫嘛？

Ethan惊天

鱼币

chen_1123

+4 鱼币