[分享]爬取漫画，多线程的爬虫

六小鸭

我不是原创，然后我也找不到原来的链接了
直接上代码

1. import requests
   
2. from urllib import parse
   
3. from bs4 import BeautifulSoup
   
4. import threading
   
5. import os
   
6. import sys
   
7. 
   
8. _name=input('请输入你想看的漫画:')
   
9. 
   
10. try:
    
11.     os.mkdir('./{}'.format(_name))
    
12. except:
    
13.     print('已经存在相同的文件夹了,程序无法在继续进行！')
    
14.     sys.exit()
    
15. 
    
16. name_=parse.urlencode({'keyword':_name})
    
17. url='https://www.mkzhan.com/search/?{}'.format(name_)
    
18. html=requests.get(url=url)
    
19. content=html.text
    
20. soup=BeautifulSoup(content,'lxml')
    
21. list1=soup.select('div.common-comic-item')
    
22. names=[]
    
23. hrefs=[]
    
24. keywords=[]
    
25. for str1 in list1:
    
26.     names.append(str1.select('p.comic__title>a')[0].get_text())   # 匹配到的漫画名称
    
27.     hrefs.append(str1.select('p.comic__title>a')[0]['href'])      # 漫画的网址
    
28.     keywords.append(str1.select('p.comic-feature')[0].get_text())          # 漫画的主题
    
29. print('匹配到的结果如下：')
    
30. for i in range(len(names)):
    
31.     print('【{}】-{}     {}'.format(i+1,names[i],keywords[i]))
    
32. 
    
33. i=int(input('请输入你想看的漫画序号:'))
    
34. print('你选择的是{}'.format(names[i-1]))
    
35. 
    
36. 
    
37. url1='https://www.mkzhan.com'+hrefs[i-1]      # 漫画的链接
    
38. html1=requests.get(url=url1)
    
39. content1=html1.text
    
40. soup1=BeautifulSoup(content1,'lxml')
    
41. str2=soup1.select('ul.chapter__list-box.clearfix.hide')[0]
    
42. list2=str2.select('li>a')
    
43. name1=[]
    
44. href1=[]
    
45. for str3 in list2:
    
46.     href1.append(str3['data-hreflink'])   # 漫画一章的链接
    
47.     name1.append(str3.get_text().strip()) # 漫画一章的题目,去空格
    
48. 
    
49. def Downlad(href1,path):
    
50.     headers = {
    
51.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3756.400 QQBrowser/10.5.4039.400'}
    
52.     url2='https://www.mkzhan.com'+href1
    
53.     html2=requests.get(url=url2,headers=headers)
    
54.     content2=html2.text
    
55.     soup2=BeautifulSoup(content2,'lxml')
    
56.     list_1=soup2.select('div.rd-article__pic.hide>img.lazy-read')  # 漫画一章中的所有内容列表
    
57.     urls=[]
    
58.     for str_1 in list_1:
    
59.         urls.append(str_1['data-src'])
    
60. 
    
61.     for i in range(len(urls)):
    
62.         url=urls[i]
    
63.         content3=requests.get(url=url,headers=headers)
    
64.         with open(file=path+'/{}.jpg'.format(i+1),mode='wb') as f:
    
65.             f.write(content3.content)
    
66.     return True
    
67. 
    
68. 
    
69. def Main_Downlad(href1:list,name1:list):
    
70.     while True:
    
71.         if len(href1)==0:
    
72.             break
    
73.         href=href1.pop()
    
74.         name=name1.pop()
    
75.         try:
    
76.             path='./{}/{}'.format(_name,name)
    
77.             os.mkdir(path=path)
    
78.             if Downlad(href, path):
    
79.                 print('线程{}正在下载章节{}'.format(threading.current_thread().getName(),name))
    
80.         except:
    
81.             pass
    
82. 
    
83. threading_1=[]
    
84. for i in range(30):
    
85.     threading1=threading.Thread(target=Main_Downlad,args=(href1,name1,))
    
86.     threading1.start()
    
87.     threading_1.append(threading1)
    
88. for i in threading_1:
    
89.     i.join()
    
90. print('当前线程为{}'.format(threading.current_thread().getName()))

复制代码

下载是真心快
记得评分@一个账号 @编程鱼C

zedi

不错有我当年的风范

编程鱼C

好

编程鱼C

你的回复在审核，我看不到

乘号

斗破苍穹？？？！！！

乘号

斗破苍穹到840话怎么不动了

六小鸭

乘号 发表于 2020-4-14 10:31
斗破苍穹到840话怎么不动了

应该是完了？

六小鸭

乘号 发表于 2020-4-14 10:31
斗破苍穹到840话怎么不动了

一共840话

乘号

六小鸭 发表于 2020-4-14 10:40
一共840话

肿么可冷

六小鸭

乘号 发表于 2020-4-14 10:51
肿么可冷

真的
我爬的漫客斋

六小鸭

乘号 发表于 2020-4-14 10:51
肿么可冷

我这么好的爬虫为什么没人看呢

丶小小少年

为什么我用不了啊

六小鸭

丶小小少年 发表于 2020-4-15 17:21
为什么我用不了啊

没下载第三方库

lpfight

输入漫画编号为什么有问题

小小怪士兵

Traceback (most recent call last):
  File "E:/Python小程序/漫画爬取.py", line 20, in <module>
    soup=BeautifulSoup(content,'lxml')
  File "D:\电脑软件\Python38\lib\site-packages\bs4\__init__.py", line 243, in __init__
    raise FeatureNotFound(
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?
大佬这怎么搞

nnzp

小小怪士兵 发表于 2020-10-7 19:36
Traceback (most recent call last):
  File "E:/Python小程序/漫画爬取.py", line 20, in
    soup=Bea ...

安装个html解析器

1. pip3 install lxml

复制代码