request+bs4+lxml思路 小说爬取. 每一步都有注释. 适合新手学习

johnnyb

理论上,只要替换url 和 写入的txt文件名. 即可爬其他任何小说. 具体没测试.

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import os
   
4. 
   
5. 
   
6. headers = {
   
7.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'
   
8. }
   
9. url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
   
10. 
    
11. html_text = requests.get(url=url, headers=headers).text  # 获取目录
    
12. soup = BeautifulSoup(html_text, 'lxml')  # lxml解析
    
13. li_list = soup.select('.book-mulu > ul > li')  # 选择标签
    
14. if not os.path.exists('./三国演义'):  # 创建文件夹
    
15.     os.mkdir('./三国演义')
    
16. f = open('./三国演义/sanguo.txt', 'w', encoding='utf-8')  # 创建文件
    
17. for li in li_list:  # 遍历所有的li标签.里面包含有连接和标题
    
18.     title = li.a.string  # 该章节标题
    
19.     info_url = 'http://www.shicimingju.com'+li.a['href']  # 取到该章节的连接,并进行完善
    
20.     info_text = requests.get(info_url, headers=headers).text  # 有了连接,就可以请求对应章节的text
    
21.     info_soup = BeautifulSoup(info_text, 'lxml')  # 还是lxml解析
    
22.     div_tag = info_soup.find('div', class_='chapter_content')  # 定位内容部分标签.
    
23.     data_text = div_tag.get_text()  # 获取正文部分
    
24.     f.write(title+data_text+'\n')  # 写入标题加对应正文.换行符隔开
    
25.     print(title,'爬取写入完成.')
    
26. 
    
27. print('Over All')

复制代码

结果预览画面!  请多指教.

johnnyb

liuzhengyuan 发表于 2020-7-15 16:03
你没用 lxml

为何么说呢?

liuzhengyuan

johnnyb 发表于 2020-7-15 16:19
为何么说呢?

不好意思，我看错了……（怪我眼瞎，没看到 ）

johnnyb

liuzhengyuan 发表于 2020-7-15 17:38
不好意思，我看错了……（怪我眼瞎，没看到 ）