爬虫

君子好逑

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import re
   
4. 
   
5. 
   
6. url = 'https://www.biduo.cc/biquge/41_41864/c15143933.html'
   
7. 
   
8. headers = {
   
9. 'Accept-Language': 'zh-CN',
   
10. 'Cache-Control': 'no-cache',
    
11. 'Connection': 'Keep-Alive',
    
12. 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18363'
    
13. }
    
14. 
    
15. html = requests.get(url=url,headers=headers).text
    
16. 
    
17. soup = BeautifulSoup(html,'lxml')
    
18. title = soup.select('.bookname > h1')
    
19. title = title[0].text
    
20. text = soup.find('div',id='content').text.replace('    ','\n')
    
21. 
    
22. with open('无敌1.txt','w',encoding='utf-8') as f:
    
23.     while (len(text)>50):
    
24.         str1 = text[0:50]
    
25.         if ('\n') in str1:
    
26.             index = str1.find('\n')
    
27.             str1 = str1[0:index+1]
    
28.             text = text[index+1:]
    
29.             f.write(str1)
    
30. 
    
31.         else:
    
32.             if (text[50]) is '\n':
    
33.                 f.write(str1)
    
34.                 text = text[50:]
    
35.             
    
36.             else:
    
37.                 f.write(str1)
    
38.                 f.write('\n')
    
39.                 text = text[50:]
    
40.     else:
    
41.         f.write(text)
    
42. 
    
43. print('完成爬取')

复制代码

有没有大佬有爬完文本后向文件里写的时候控制每行字符长度的程序。我自己写了一个，感觉不是很理想。求大佬指点

xiaosi4081

你想要的效果？

君子好逑

就是跟Word差不多的那种，每行的长度都一致

君子好逑

xiaosi4081 发表于 2020-8-24 15:40
你想要的效果？

这是我的程序的效果


吧文档放到Word里她是这样的，我想编个程序可以让写入文件里的字符跟Word一样整齐

xiaosi4081

君子好逑 发表于 2020-8-24 15:47
这是我的程序的效果

word好像有自动换行，所以没办法

君子好逑

xiaosi4081 发表于 2020-8-24 15:51
word好像有自动换行，所以没办法

君子好逑

xiaosi4081 发表于 2020-8-24 15:51
word好像有自动换行，所以没办法

有点难受，爬来的小说格式是真的让人看得难受