[已解决]关于网络爬虫爬取小说保存问题

wongyusing

代码如下:

1. import re,urllib,os,html
   
2. import requests as req
   
3. 
   
4. def url_open(url):#网页打开函数，以防被禁
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent',"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36")
   
7.     response = urllib.request.urlopen(url)
   
8.     ret = response.read()
   
9. 
   
10.     return ret
    
11. 
    
12. 
    
13. 
    
14. def get_txt_url(url):#获取小说的url
    
15.     ret = url_open(url).decode('gbk')
    
16.     reg = r'<li><a href="/(.*?)" title=".*?" target="_top">.*?</a></li>'
    
17.     book_url = re.findall(reg, ret,re.S)
    
18.     return book_url
    
19. 
    
20. 
    
21. def get_txt_book(url_1):#获取正文url后缀
    
22.     ret = url_open(url_1).decode('gbk')
    
23.     reg = r'<li><a href="/.*?/(.*?)">.*?</a></li>'
    
24.     char = re.findall(reg,ret,re.S)
    
25.     return char
    
26. 
    
27. def get_txt_nr(url_z):
    
28.     ret = url_open(url_z).decode('gbk')
    
29.     ptn_nr = re.compile(br'<div class="nr_con">(.*?)</div>', re.DOTALL)  # 正文
    
30.     ptn_p = re.compile(br'</?p>')  # 正文
    
31.     rsp = req.get(url_z)#必须要req.get
    
32.     nr = ptn_nr.findall(rsp.content)
    
33.     nr = ptn_p.sub(b'', nr[0]).decode('gbk')
    
34. 
    
35.     nr = html.unescape(nr)
    
36.     return nr
    
37. 
    
38. def get_name(url_z):#获取书名
    
39.     ret = url_open(url_z).decode('gbk')
    
40.     reg = r'<a href="/.*?/">(.*?)</a>'
    
41.     bookname = re.findall(reg,ret)
    
42.     return bookname
    
43. def save_book(folder,txt_nr,txt_name):#保存正文函数,问题主要在这里:让小说内容按书名保存到一个txt文件中,不是分章节保存
    
44. 
    
45.     file = open(txt_name + '.txt', 'a')
    
46. 
    
47.     file.writelines(txt_nr)
    
48.     file.close()
    
49. 
    
50. def txt_down(folder='gulongtxt'): #主函数,我电脑已经创建了一个叫'gulongtxt'的文件夹
    
51.     os.chdir(folder)#让小说在这个文件夹保存
    
52.     url = 'http://www.gulongwang.com/'
    
53.     txt_url = get_txt_url(url)#获取小说的url
    
54.     for i in txt_url:
    
55.         url_1 = url + i#拼接小说的url
    
56.         txt_book =get_txt_book(url_1)#获取小说正文url后缀
    
57.         #print(txt_book)
    
58.         for a in txt_book:
    
59.             url_z = url_1 +a#拼接小说正文的url
    
60.             txt_nr = get_txt_nr(url_z)#获取小说内容
    
61.             txt_name = get_name(url_z)#获取小说书名
    
62.             for t in txt_name:
    
63.                 txt_save =save_book(folder,txt_nr,txt_name)
    
64. 
    
65. 
    
66. 
    
67. if __name__ == "__main__":
    
68.     txt_down()
    
69. 
    
70. 
    

复制代码

这是爬取整个网站小说的爬虫,目的是把这个网站全部小说下载,并按照书名保存成一个txt文件(不是分章节保存).
问题如下:
0. 如何让小说内容按照书名保存成一个txt文件?
1. 自我感觉是因为书名获取函数get_name(url_z)写的太后面了,大神们说是不是?
2. 我的代码是不是很丑?运行界面很难看?求轻拍.

最后感谢@BngThea @SixPy @Teagle  @wyp02033  (排名不分先后)的指导让我写出的第一条爬虫,虽然每次只能爬取一部小说,而且里面还有html的标签但我很高兴能写出来.

最佳答案

月排行榜 / 总排行榜

ba21

2017-11-11 11:49:57

你这里用到了requests类，所以建议全都用requests类来操作即可。
修改后的代码：

1. import re, os
   
2. import requests
   
3. 
   
4. def url_open(url):  # 网页打开函数，以防被禁   
   
5.     headers = {'User-Agent':"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"}
   
6.     req = requests.get(url, headers=headers)
   
7.     req.encoding = 'gbk'
   
8.     return req.text
   
9. 
   
10. def get_txt_url_name(url):  # 获取小说的url和书名
    
11.     ret = url_open(url)
    
12.     reg = r'<li><a href="/(.*?)" title="(.*?)" target="_top">.*?</a></li>'
    
13.     book_url = re.findall(reg, ret,re.S)
    
14.     return book_url
    
15. 
    
16. def get_txt_book(url_1):    # 获取正文url后缀
    
17.     ret = url_open(url_1)
    
18.     reg = r'<li><a href="/.*?/(.*?)">.*?</a></li>'
    
19.     char = re.findall(reg,ret,re.S)
    
20.     return char
    
21. 
    
22. def get_txt_nr(url_z):
    
23.     ret = url_open(url_z)
    
24.     ptn_nr = re.compile(r'<div class="nr_con">(.*?)</div>', re.DOTALL)  # 正文
    
25.     ptn_p = re.compile(r'</?p>')  # 正文   
    
26.     nr = ptn_nr.findall(ret)
    
27.     nr = ptn_p.sub('', nr[0])
    
28.     return nr
    
29. 
    
30. def save_book(txt_name, txt_nr):    #   保存正文函数,问题主要在这里:让小说内容按书名保存到一个txt文件中,不是分章节保存
    
31.     with open(txt_name + '.txt', 'a') as f:
    
32.         f.writelines(txt_nr)
    
33. 
    
34. 
    
35. def txt_down(folder='gulongtxt'):   # 主函数,我电脑已经创建了一个叫'gulongtxt'的文件夹
    
36.     os.chdir(folder)    # 让小说在这个文件夹保存
    
37.     url = 'http://www.gulongwang.com/'
    
38.     txt_url_name = get_txt_url_name(url)    # 获取每部小说的url和书名
    
39.     for i in txt_url_name:
    
40.         url_1 = url + i[0]  # 拼接每部小说的url
    
41.         txt_book =get_txt_book(url_1) # 获取每部小说正文url后缀
    
42.         for a in txt_book:
    
43.             url_z = url_1 + a   # 拼接每部小说每章节正文的url
    
44.             txt_nr = get_txt_nr(url_z)  # 获取小说内容            
    
45.             txt_save =save_book(i[1], txt_nr)   # 按书名保存内容
    
46.    
    
47. 
    
48. if __name__ == "__main__":
    
49.     txt_down()
    
50.    
    
51. 
    
52. 
    

复制代码

跳转到最佳答案楼层

chakyam

0.没细看
1.函数在调用前定义就可以了
2.能跑能下就行，还要啥自行车

ba21

你这里用到了requests类，所以建议全都用requests类来操作即可。
修改后的代码：

1. import re, os
   
2. import requests
   
3. 
   
4. def url_open(url):  # 网页打开函数，以防被禁   
   
5.     headers = {'User-Agent':"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"}
   
6.     req = requests.get(url, headers=headers)
   
7.     req.encoding = 'gbk'
   
8.     return req.text
   
9. 
   
10. def get_txt_url_name(url):  # 获取小说的url和书名
    
11.     ret = url_open(url)
    
12.     reg = r'<li><a href="/(.*?)" title="(.*?)" target="_top">.*?</a></li>'
    
13.     book_url = re.findall(reg, ret,re.S)
    
14.     return book_url
    
15. 
    
16. def get_txt_book(url_1):    # 获取正文url后缀
    
17.     ret = url_open(url_1)
    
18.     reg = r'<li><a href="/.*?/(.*?)">.*?</a></li>'
    
19.     char = re.findall(reg,ret,re.S)
    
20.     return char
    
21. 
    
22. def get_txt_nr(url_z):
    
23.     ret = url_open(url_z)
    
24.     ptn_nr = re.compile(r'<div class="nr_con">(.*?)</div>', re.DOTALL)  # 正文
    
25.     ptn_p = re.compile(r'</?p>')  # 正文   
    
26.     nr = ptn_nr.findall(ret)
    
27.     nr = ptn_p.sub('', nr[0])
    
28.     return nr
    
29. 
    
30. def save_book(txt_name, txt_nr):    #   保存正文函数,问题主要在这里:让小说内容按书名保存到一个txt文件中,不是分章节保存
    
31.     with open(txt_name + '.txt', 'a') as f:
    
32.         f.writelines(txt_nr)
    
33. 
    
34. 
    
35. def txt_down(folder='gulongtxt'):   # 主函数,我电脑已经创建了一个叫'gulongtxt'的文件夹
    
36.     os.chdir(folder)    # 让小说在这个文件夹保存
    
37.     url = 'http://www.gulongwang.com/'
    
38.     txt_url_name = get_txt_url_name(url)    # 获取每部小说的url和书名
    
39.     for i in txt_url_name:
    
40.         url_1 = url + i[0]  # 拼接每部小说的url
    
41.         txt_book =get_txt_book(url_1) # 获取每部小说正文url后缀
    
42.         for a in txt_book:
    
43.             url_z = url_1 + a   # 拼接每部小说每章节正文的url
    
44.             txt_nr = get_txt_nr(url_z)  # 获取小说内容            
    
45.             txt_save =save_book(i[1], txt_nr)   # 按书名保存内容
    
46.    
    
47. 
    
48. if __name__ == "__main__":
    
49.     txt_down()
    
50.    
    
51. 
    
52. 
    

复制代码