用python爬虫获取小说

chenxz186

        曾几何时，你是否见到某小说突然收费了，然后抓狂不断在网上查找哪里免费的下载资源，结果很多时候是找不到的，而且找到的也只是web上的，我们只能在浏览器上看，若没有网络那咋办呢？继续抓狂呗！
        我喜欢听小说，就是把小说下载下来后，放进小说软件上开启听书模式，然后静静的聆听起来。毕竟天天操电脑，眼睛也需要休息的，所以听听书也挺不错，喜欢听书的朋友可以用一些听书的软件，把下载好的小说放进去，开启听书模式就能听了。好了，废话不多说了，要尽快亮出今天的主角内容。
        近来我迷上一部小说《百炼成神》, 我们在https://m.sikushu.org/可以查找到，今天这个爬虫小程序能在此网上爬取所有的小说，只需要应用requests、bs4、os、time这四个模块，其中time模块只是为了测算整个过程耗费的时间，对整个程序没有根本性的作用，各位可根据实际情况取舍，其余三个模块在网上可以找到相关学习资料，我就不多说了，直接上代码。

代码：

1. import requests
   
2. import bs4
   
3. import os
   
4. import time
   
5. 
   
6. 
   
7. def folder_func(folder_name='小说收藏'):
   
8.     """生成文件夹"""
   
9.     if os.path.exists(folder_name):
   
10.         os.chdir(folder_name)
    
11.         folder = os.getcwd()
    
12.     else:
    
13.         os.mkdir(folder_name)
    
14.         os.chdir(folder_name)
    
15.         folder = os.getcwd()
    
16.     return folder
    
17. 
    
18. 
    
19. def download_per_chapter_content(name, target, fiction_name, folder):
    
20.     content = target.find('div', id="nr1").text.strip()
    
21.     total_content = [name, content]
    
22.     filename = folder + '/' + fiction_name + '.txt'
    
23.     with open(filename, 'a', encoding='utf-8') as file:
    
24.         file.writelines(total_content)
    
25. 
    
26. 
    
27. def find_per_chapter(soup):
    
28.     # 找出相关的 a 标签
    
29.     a_tag = soup.find_all('a')
    
30.     a_list = []
    
31.     for each in a_tag:
    
32.         if '.html' in each['href']:
    
33.             # 找每一章的章节名称
    
34.             chapter_name = each.text
    
35.             # 找每一章的内容
    
36.             chapter_url = 'https://m.sikushu.org' + each['href']
    
37.             # 合并数据
    
38.             a_list.append(['\n\n\n     ' + chapter_name + '     \n\n', chapter_url])
    
39.     return a_list
    
40. 
    
41. 
    
42. def find_page(soup):
    
43.     page = 0
    
44.     for each in soup.find_all('div', class_="page"):
    
45.         if '输入页数' in each.text:
    
46.             page += int(each.text.split('/', 1)[1].split('页)', 1)[0])
    
47.     return page
    
48. 
    
49. 
    
50. 
    
51. def find_fiction_name(soup):
    
52.     fiction_name = soup.find('title').text.split('_', 1)[0]
    
53.     return fiction_name
    
54. 
    
55. 
    
56. def cooking_soup(res):
    
57.     soup = bs4.BeautifulSoup(res.text, 'html.parser')
    
58.     return soup
    
59. 
    
60. 
    
61. def open_url(url):
    
62.     headers = {
    
63.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
    
64.     res = requests.get(url, headers=headers)
    
65.     res.encoding = 'gbk'
    
66.     return res
    
67. 
    
68. 
    
69. def timer(param_time):
    
70.     hours = int(param_time // 3600)
    
71.     minutes = int(param_time % 3600 // 60)
    
72.     seconds = int(param_time % 3600 % 60)
    
73.     mses = int((param_time % 3600 % 1) * 1000)
    
74.     if param_time < 1:
    
75.         time_meter = '%d 毫秒' % mses
    
76.     elif 1 <= param_time < 60:
    
77.         time_meter = '%d 秒 %d 毫秒' % (seconds, mses)
    
78.     elif 60 <= param_time < 3600:
    
79.         time_meter = '%d 分 %d 秒 %d 毫秒' % (minutes, seconds, mses)
    
80.     else:
    
81.         time_meter = '%d 时 %d 分 %d 秒 %d 毫秒' % (hours, minutes, seconds, mses)
    
82.     return time_meter
    
83. 
    
84. 
    
85. def main(start_time):
    
86.     folder = folder_func()
    
87.     print('\n \033[1;35m 例如《百炼成神》的目录网址是 "https://m.sikushu.org/93/93866" ，因为程序内'
    
88.           '默认了\n "https://m.sikushu.org/" ，那么只需要在输入后半段"93/93866"就行\033[0m \n')
    
89.     prompt = 'https://m.sikushu.org/' + input('请输入您要搜索的小说网址后半段，按上例来输入:')
    
90.     response = open_url(prompt)
    
91.     prompt_soup = cooking_soup(response)
    
92.     fiction_name = find_fiction_name(prompt_soup)
    
93.     page = find_page(prompt_soup)
    
94.     print('页数有 ' + str(page) + ' 页')
    
95.     count = 1
    
96.     start = start_time
    
97.     for i in range(1, page + 1):
    
98.         url = '%s_%s/' % (prompt, str(i))
    
99.         res = open_url(url)
    
100.         soup = cooking_soup(res)
     
101.         a_list = find_per_chapter(soup)
     
102.         print(a_list)
     
103.         for each_chapter in a_list:
     
104.             chapter_res = open_url(each_chapter[1])
     
105.             chapter_soup = cooking_soup(chapter_res)
     
106.             download_per_chapter_content(each_chapter[0], chapter_soup, fiction_name, folder)
     
107. 
     
108.         end_time = time.time()
     
109.         end = end_time
     
110.         cumulative_time = end_time - start_time
     
111.         gap_time = end - start
     
112.         print('第%d个网页下载完耗时: %s，累计耗时：%s \n\n' % (count, timer(gap_time), timer(cumulative_time)))
     
113.         start = end_time
     
114.         count += 1
     
115. 
     
116. 
     
117. if __name__ == '__main__':
     
118.     begin_time = time.time()
     
119.     main(begin_time)
     
120.     finish_time = time.time()
     
121.     total_time = finish_time - begin_time
     
122.     print('全程结束后所需要时间是：%s' % timer(total_time))
     

复制代码

例如我们要下载《白袍总管》， 就在 https://m.sikushu.org/ 搜索上输入 白袍总管 找到此书后