[已解决]关于Python爬虫保存问题求助

wongyusing

1. import re
   
2. import os
   
3. from urllib import request
   
4. import urllib
   
5. 
   
6. 
   
7. def url_open(url):     #打开网页函数
   
8.     req = urllib.request.Request
   
9.     req.add_header("Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36")
   
10.     response = urllib.request.urlopen(url)
    
11.     html = response.read()
    
12. 
    
13.     return html
    
14. 
    
15. 
    
16. def chapter(url):
    
17. 
    
18. 
    
19.     html = request.url_open(url).read().decode('gbk')
    
20. 
    
21. #print(html)
    
22. 
    
23.     reg =r'<li><a href="/cang/(.*?)">.*?</a>'#章节列表和章节url
    
24. 
    
25.     txt_chapter = re.findall(reg,html)
    
26.     #print(txt)
    
27.     txt_num = len(txt_chapter)
    
28.     return (txt_num)
    
29. 
    
30. def book_get(chapter_url):#获取小说正文函数
    
31.     html = request.url_open(chapter_url).read().decode('gbk')
    
32.     reg = r'<div class="nr_con">(.*?)<div class="syz">'
    
33.     txtbook = re.findall(reg,html,re.S)
    
34.    
    
35.     return txtbook
    
36. 
    
37. 
    
38. def save_txt(folder,txt_book):
    
39.     pass
    
40. 
    
41. def down_gulong(folder="txt",txt_num=14):                 #主函数
    
42.     #主函数名称           文件名
    
43.     os.mkdir(folder)#生成工作目录
    
44.     os.chdir(folder)#改变切入工作目录
    
45.     url = 'http://www.gulongwang.com/cang/'
    
46.     txt_number = txt_num
    
47.     for i in range(txt_num):
    
48.         txt_num += i
    
49.         chapter_url = "%s%s" % (url,chapter_url)#chapter是小说正文的url
    
50.         txt_book = book_get(chapter_url)#提取正文
    
51.         save_txt(folder,txt_book)
    

复制代码

#代码如上，问题是，0.我该怎么写save_txt(folder,txt_book)这个函数，该如何保存成txt文件？
                                              1.   这本小说有13章，循环是该用for 还是whlie？？？
#代码不知道为什么上传不了，网盘https://pan.baidu.com/s/1geLtHeF

最佳答案

月排行榜 / 总排行榜

BngThea

2017-11-6 15:20:14

0 学习一下open函数即可
1 for 和 while 都行

跳转到最佳答案楼层

wongyusing

如果大神看到我写错的地方，请狠狠地用红笔批我一下

BngThea

0 学习一下open函数即可
1 for 和 while 都行