[已解决]关于Python爬虫保存全本小说的问题

wongyusing

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. def url_open(url):#网页打开函数，以防被禁
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header('User-Agent',"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36")
   
8.     response = urllib.request.urlopen(url)
   
9.     html = response.read()
   
10. 
    
11.     return html
    
12. 
    
13. def get_url(url):#获得章节数
    
14.     html = url_open(url).decode('gbk')
    
15. 
    
16.     reg = r'<a href="/cang/(.*?).html">.*?</a>'
    
17.     html = re.findall(reg, html)
    
18. 
    
19.     return html
    
20. 
    
21. 
    
22. 
    
23. 
    
24. def txt_book(chapter):#正文函数
    
25.     html = url_open(chapter).decode('gbk')
    
26.     reg = r'<div class="nr_con">(.*?)<div class="syz">'
    
27.     txtbook = re.findall(reg, html, re.S)
    
28.     print(txtbook)
    
29.     return txtbook
    
30. 
    
31. def save_book(folder,getbook):#保存正文函数
    
32.     os.mknod("cang.txt")
    
33.     file = open("cang.txt", 'w')
    
34.     file.writelines(getbook)#个人感觉这里应该是少了个参数，但找不到该用什么来保存全本小说。
    
35.     file.close()
    
36. def down_txt(folder='txtbook',page=1):#这是主函数
    
37.     os.mkdir(folder)
    
38.     os.chdir(folder)
    
39.     url = 'http://www.gulongwang.com/cang/'
    
40.     txt_num = get_url(url)#获得章节数
    
41.     i=0
    
42.     while True:
    
43.         i += 1
    
44.         if i>int(len(txt_num)):#如果i小于章节长度，则继续运行
    
45.             for a in txt_num:
    
46. 
    
47.                 print(a)
    
48. 
    
49. 
    
50.                 chapter = url + a +'.html'#拼接小说正文url
    
51. 
    
52.                 print(chapter)#打印小说url，测试程序
    
53.                 getbook = txt_book(chapter)
    
54.                 save_book(folder, getbook)
    
55.         else:
    
56.             break
    
57. 
    
58. 
    
59. 
    
60. if __name__ == "__main__":
    
61.     down_txt()
    
62. 
    

复制代码

0. 程序运行后保存的小说只有第一章，我想打印全本小说到一个txt文件中，该如何解决？个人感觉是在save_book(folder,getbook):#保存正文函数，这里出问题了，但没有思路了，求各位大神提点一下需要修改的地方。谢谢

最佳答案

月排行榜 / 总排行榜

Teagle

2017-11-7 15:33:21

wongyusing 发表于 2017-11-7 15:03
其实我一开始的初衷是写一个爬取整个网站的爬虫，想着可以首页加书名的标签，然后加上小说的页码，拼接成 ...

哈哈 怎么样 我的头像是不是很帅 哈哈

我用的bs4这个包 专门解析html xml的模块

呃，也没法说太多

推荐你学习一下BeautifulSoup，真的很爽

建议先撸一遍BeautifulSoup的文档

还有，老哥，给我设置最佳吧，设置完就成已经解决了

跳转到最佳答案楼层

wongyusing

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. def url_open(url):#网页打开函数，以防被禁
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header('User-Agent',"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36")
   
8.     response = urllib.request.urlopen(url)
   
9.     html = response.read()
   
10. 
    
11.     return html
    
12. 
    
13. def get_url(url):#获得章节数
    
14.     html = url_open(url).decode('gbk')
    
15. 
    
16.     reg = r'<a href="/cang/(.*?).html">.*?</a>'
    
17.     html = re.findall(reg, html)
    
18. 
    
19.     return html
    
20. 
    
21. 
    
22. 
    
23. 
    
24. def txt_book(chapter):#正文函数
    
25.     html = url_open(chapter).decode('gbk')
    
26.     reg = r'<div class="nr_con">(.*?)<div class="syz">'
    
27.     txtbook = re.findall(reg, html, re.S)
    
28.     print(txtbook)
    
29.     return txtbook
    
30. 
    
31. def save_book(folder,getbook):#保存正文函数
    
32. 
    
33.     file = open("cang.txt", 'a')
    
34. 
    
35.     file.writelines(getbook)#个人感觉这里应该是少了个参数，但找不到该用什么来保存全本小说。
    
36.     file.close()
    
37. def down_txt(folder='txtbook',page=1):#这是主函数
    
38.     os.mkdir(folder)
    
39.     os.chdir(folder)
    
40.     os.mknod("cang.txt")
    
41.     url = 'http://www.gulongwang.com/cang/'
    
42.     txt_num = get_url(url)#获得章节数
    
43.     i=0
    
44.     while True:
    
45.         i += 1
    
46.         if i>int(len(txt_num)):#如果i小于章节长度，则继续运行
    
47.             for a in txt_num:
    
48. 
    
49.                 print(a)
    
50. 
    
51. 
    
52.                 chapter = url + a +'.html'#拼接小说正文url
    
53. 
    
54.                 print(chapter)#打印小说url，测试程序
    
55.                 getbook = txt_book(chapter)
    
56.                 save_book(folder, getbook)
    
57. 
    
58. 
    
59. 
    
60. 
    
61. 
    
62. if __name__ == "__main__":
    
63.     down_txt()
    
64. 
    

复制代码

其实改变一下创建txt文件的位置和把保存文本的方法‘a’就好了。
现在要解决运行后停不下来的问题了

wongyusing

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. def url_open(url):#网页打开函数，以防被禁
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header('User-Agent',"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36")
   
8.     response = urllib.request.urlopen(url)
   
9.     html = response.read()
   
10. 
    
11.     return html
    
12. 
    
13. def get_url(url):#获得章节数
    
14.     html = url_open(url).decode('gbk')
    
15. 
    
16.     reg = r'<a href="/cang/(.*?).html">.*?</a>'
    
17.     html = re.findall(reg, html)
    
18. 
    
19.     return html
    
20. 
    
21. 
    
22. 
    
23. 
    
24. def txt_book(chapter):#正文函数
    
25.     html = url_open(chapter).decode('gbk')
    
26.     reg = r'<div class="nr_con">(.*?)<div class="syz">'
    
27.     txtbook = re.findall(reg, html, re.S)
    
28.     print(txtbook)
    
29.     return txtbook
    
30. 
    
31. def save_book(folder,getbook):#保存正文函数
    
32. 
    
33.     file = open("cang.txt", 'a')
    
34. 
    
35.     file.writelines(getbook)#个人感觉这里应该是少了个参数，但找不到该用什么来保存全本小说。
    
36.     file.close()
    
37. def down_txt(folder='txtbook',page=1):#这是主函数
    
38.     os.mkdir(folder)
    
39.     os.chdir(folder)
    
40.     os.mknod("cang.txt")
    
41.     url = 'http://www.gulongwang.com/cang/'
    
42.     txt_num = get_url(url)#获得章节数
    
43.     url_num =int(len(txt_num))
    
44.     i=0
    
45.     print(url_num)
    
46.     while i!=url_num:
    
47. 
    
48. 
    
49.         for a in txt_num:
    
50. 
    
51.             print(a)
    
52. 
    
53. 
    
54.             chapter = url + a +'.html'#拼接小说正文url
    
55. 
    
56.             print(chapter)#打印小说url，测试程序
    
57.             getbook = txt_book(chapter)
    
58.             save_book(folder, getbook)
    
59.             i += 1
    
60. 
    

复制代码

成功了，虽然保存下来的小说带有<p>之类的字符，但仍然很开心，毕竟是自己写出来的第一天爬虫，感谢TVB，感谢鱼C工作室，感谢小甲鱼。
现在就去市场买只甲鱼煲汤去
最后一个问题，怎么把帖子弄成已解决啊？？？

Teagle

1. import urllib.request
   
2. import os
   
3. import re
   
4. 
   
5. def url_open(url):#网页打开函数，以防被禁
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header('User-Agent',"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36")
   
8.     response = urllib.request.urlopen(url)
   
9.     html = response.read()
   
10. 
    
11.     return html
    
12. 
    
13. def get_url(url):#获得章节数
    
14.     html = url_open(url).decode('gbk')
    
15. 
    
16.     reg = r'<a href="/cang/(.*?).html">.*?</a>'
    
17.     html = re.findall(reg, html)
    
18. 
    
19.     return html
    
20. 
    
21. 
    
22. 
    
23. 
    
24. def txt_book(chapter):#正文函数
    
25.     html = url_open(chapter).decode('gbk')
    
26.     reg = r'<div class="nr_con">(.*?)<div class="syz">'
    
27.     txtbook = re.findall(reg, html, re.S)
    
28.     print(txtbook)
    
29.     return txtbook
    
30. 
    
31. def save_book(folder,getbook):#保存正文函数
    
32. 
    
33.     file = open("cang.txt", 'a')
    
34. 
    
35.     file.writelines(getbook)#个人感觉这里应该是少了个参数，但找不到该用什么来保存全本小说。
    
36.     file.close()
    
37. def down_txt(folder='txtbook',page=1):#这是主函数
    
38.     os.mkdir(folder)
    
39.     os.chdir(folder)
    
40.     os.mknod("cang.txt")
    
41.     url = 'http://www.gulongwang.com/cang/'
    
42.     txt_num = get_url(url)#获得章节数
    
43.     i=0
    
44.     while True:
    
45.         i += 1
    
46.         if i>int(len(txt_num)):#如果i小于章节长度，则继续运行
    
47.             for a in txt_num:
    
48. 
    
49.                 print(a)
    
50. 
    
51. 
    
52.                 chapter = url + a +'.html'#拼接小说正文url
    
53. 
    
54.                 print(chapter)#打印小说url，测试程序
    
55.                 getbook = txt_book(chapter)
    
56.                 save_book(folder, getbook)
    
57. 
    
58. 
    
59. 
    
60. 
    
61. 
    
62. if __name__ == "__main__":
    
63.     down_txt()
    
64. 
    

复制代码

你提出的问题是因为，画蛇添足，滥用循环造成的
会重复13次全文写入

还有因为是linux下，所以累死我了

还有你的代码实在是。。。。惨不忍睹

Teagle

分享一下我刚才写的
你的代码，会保留部分标签，并没有提取出来真实的string

1. import requests,os
   
2. from bs4 import BeautifulSoup as Soup
   
3. 
   
4. def getUrl(page):
   
5.     url = 'http://www.gulongwang.com/cang/'
   
6.     return url+str(page)+'.html'
   
7. 
   
8. def getResponse(url):
   
9.     headers = {'User-Agent':"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"}
   
10.     response = requests.get(url,headers=headers)
    
11.     response.encoding = 'gb2312'
    
12.     #采用网站设置的编码，避免读取时乱码
    
13.     return response.text
    
14. 
    
15. def getContent(html):
    
16.     soup = Soup(html,'html.parser')
    
17.     title = soup.find('h1',class_='mulu').contents[-1].string
    
18.     content = soup.find('div',class_='nr_con').strings
    
19.     #strings属性返回div标签下所有子标签的string
    
20.     #content是一个生成器
    
21.     return title,content
    
22. 
    
23. def writeFile(title,content):
    
24.     with open('苍穹神剑.txt','a',encoding='utf-8')as cang_file:
    
25.         #设置文件编码，避免写入时乱码
    
26.         cang_file.write('\n'+title+'\n')
    
27.         for line in content:
    
28.             #content是一个生成器，采用for循环逐次写入文件
    
29.             cang_file.write(line)
    
30.     print('%s was writed ..'%title)
    
31. 
    
32. def main():
    
33.     ##经过观察，所有的章节是1.html-13.html，所以不需要画蛇添足进行匹配
    
34.     for page in range(1,14):
    
35.         url = getUrl(page)
    
36.         html = getResponse(url)
    
37.         title,content = getContent(html)
    
38.         writeFile(title,content)
    
39. 
    
40. if __name__=='__main__':
    
41.     main()
    

复制代码

爬取之前，好好观察规律，那样会省去很多不必要的过程，还有re太重，没必要的时候就别用了

Teagle

Teagle 发表于 2017-11-7 14:40
分享一下我刚才写的
你的代码，会保留部分标签，并没有提取出来真实的string

我是在win下写的

SixPy

1. import requests as req
   
2. 
   
3. url = 'http://www.gulongwang.com/cang/'
   
4. 
   
5. for i in range(1, 14):
   
6.     filename = '%d.html'%i
   
7.     rsp = req.get(url+'/'+filename)
   
8.     if rsp.status_code==200:
   
9.         with open(filename, 'wb')as w:
   
10.             sz = w.write(rsp.content)
    
11.             print('已下载[%s],%d 字节。'%(filename,sz))
    
12.     else:
    
13.         print(i,rsp.status_code)
    

复制代码

1. 已下载[1.html],39147 字节。
   
2. 已下载[2.html],37275 字节。
   
3. 已下载[3.html],42573 字节。
   
4. 已下载[4.html],31281 字节。
   
5. 已下载[5.html],58785 字节。
   
6. 已下载[6.html],50375 字节。
   
7. 已下载[7.html],45613 字节。
   
8. 已下载[8.html],37783 字节。
   
9. 已下载[9.html],50279 字节。
   
10. 已下载[10.html],35622 字节。
    
11. 已下载[11.html],46428 字节。
    
12. 已下载[12.html],51919 字节。
    
13. 已下载[13.html],50163 字节。

复制代码

wongyusing

Teagle 发表于 2017-11-7 14:40
我是在win下写的

其实我一开始的初衷是写一个爬取整个网站的爬虫，想着可以首页加书名的标签，然后加上小说的页码，拼接成一个url，然后获取正文，保存。
新人上路，心太大，所以才会用那么多正则啊。
然后发现心太大，会导致一事无成的，所以就改变思路，先爬一本小说来练手啊。
求轻打，新人的第一个作品
对了，怎么去除正文中那些<p>之类的便签啊？？我看了你的代码，找不到你去除便签的代码？
最后一句，你的头像搞到我要拿本书来挡住。

wongyusing

SixPy 发表于 2017-11-7 14:55

我是想把所有正文保存到一个txt文件中啊，姐姐
不是下载网页

Teagle

wongyusing 发表于 2017-11-7 15:03
其实我一开始的初衷是写一个爬取整个网站的爬虫，想着可以首页加书名的标签，然后加上小说的页码，拼接成 ...

哈哈 怎么样 我的头像是不是很帅 哈哈

我用的bs4这个包 专门解析html xml的模块

呃，也没法说太多

推荐你学习一下BeautifulSoup，真的很爽

建议先撸一遍BeautifulSoup的文档

还有，老哥，给我设置最佳吧，设置完就成已经解决了

SixPy

wongyusing 发表于 2017-11-7 15:09
我是想把所有正文保存到一个txt文件中啊，姐姐
不是下载网页

1. import requests as req
   
2. import html
   
3. import re
   
4. 
   
5. ptn_lb = re.compile(br'<div class="lb">.*?</ul>',re.DOTALL)
   
6. ptn_ml = re.compile(r'<a href="/\w+/(\d+).html">([^<]+)</a>')
   
7. ptn_nr = re.compile(br'<div class="nr_con">(.*?)</div>',re.DOTALL)
   
8. ptn_p  = re.compile(br'</?p>')
   
9.                     
   
10. url = 'http://www.gulongwang.com/cang/'
    
11. rsp = req.get(url)
    
12. ml = ptn_ml.findall(ptn_lb.findall(rsp.content)[0].decode('gbk'))
    
13. for i,filename in ml:
    
14.     rsp = req.get(url+i+'.html')
    
15.     if rsp.status_code==200:
    
16.         nr = ptn_nr.findall(rsp.content)
    
17.         nr = ptn_p.sub(b'',nr[0]).decode('gbk')
    
18.         nr = html.unescape(nr)
    
19.         with open(filename+'.txt', 'w')as w:
    
20.             sz = w.write(nr)
    
21.             print('已下载[%s],%d 字。'%(filename,sz))
    
22.     else:
    
23.         print('失败:', i, filename, rsp.status_code)
    

复制代码