[已解决]关于爬取小说的章节排序和格式问题

wongyusing

代码如下：

1. #!/usr/bin/env python
   
2. 
   
3. # encoding: utf-8
   
4. # Sing
   
5. from bs4 import BeautifulSoup as Soup
   
6. import re
   
7. import urllib
   
8. import requests
   
9. 
   
10. 
    
11. 
    
12. def url_open(url):  # 网页打开函数，以防被禁
    
13.     headers = {
    
14.         'User-Agent': "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"}
    
15.     req = requests.get(url, headers=headers)
    
16.     req.encoding = 'utf-8'
    
17.     return req.text
    
18. 
    
19. def get_book_list(url):#获取书籍的url并提取出修订版的url后缀列表
    
20.     ret = url_open(url)
    
21.     reg = r'<p class="title"><a href="(.*?)">.*?</a></p>'
    
22.     req = re.findall(reg, ret)
    
23.     return req[0:15]
    
24. 
    
25. def get_chapter(url_char):#获取章节后缀和书名
    
26.     ret = url_open(url_char)
    
27.     reg = r'<li><a href="(.*?)">.*?</a></li>'
    
28.     char = re.findall(reg, ret)#章节后缀
    
29.     reg = r'<h1 class="title"><span>(.*?)</span>.*?</h1>'
    
30.     name = re.findall(reg, ret)#书名
    
31. 
    
32.     return char,name
    
33. 
    
34. def getContent(html):#获取章节名和章节内容
    
35.     ret = url_open(html)
    
36.     soup = Soup(ret,'html.parser')
    
37.     title = soup.find('div', class_='mbtitle').contents[-1].string or soup.find('h1', class_='title').contents[-1].string #获取标签 #获取标签
    
38.     #上面是获取章节名这里总是报错误，说无法获取内容
    
39.     content = soup.find('div',class_='vcon').strings #获取内容
    
40.    
    
41.     return title,content
    
42. 
    
43. def writeFile(title,content,name):
    
44.     with open(name +'.txt','a',encoding='utf-8')as ganrong:
    
45.         #设置文件编码，避免写入时乱码
    
46.         ganrong.write('\n'+title+'\n')
    
47.         for line in content:
    
48.             ganrong.write(line)
    
49.     print('%s was writed ..'%title,name)
    
50. 
    
51. 
    
52. def getganrong(): #主函数
    
53.     url = 'http://www.jinyongwang.com/book/'
    
54.     baseurl ='http://www.jinyongwang.com'
    
55.     #ppp = url_open(url)
    
56.     #print(ppp)
    
57.     book_list = get_book_list(url)
    
58.     #print(book_list)
    
59.     for i in book_list:
    
60.         url_char = baseurl + i
    
61.         char, name = get_chapter(url_char)
    
62.         for page in char:
    
63.             html = baseurl + page
    
64.             title, content = getContent(html)
    
65.             writeFile(title, content,name[0])
    
66. 
    
67. 
    
68. 
    
69. 
    
70. 
    
71. 
    
72. 
    
73. if __name__ == "__main__":
    
74.     getganrong()
    
75. 
    

复制代码

问题如下：
1.小说文件爬取下来后，文本格式不好看，不能分好段落，全部连成一坨，求解决方案。
2.如果我想用scrapy框架的话，该如何写？我根据网上教程去写，运行的爬虫全部都报“DNS”错误，有好心人给个可以运行的scrapy爬虫让我测试和参考一下吗？？
3.在获取标签的BS4表达式中总是报错误，具体位置在37行代码中。
错误信息如下：
第05章　老鼠汤 was writed .. 连城诀小说
第06章　血刀老祖 was writed .. 连城诀小说
Traceback (most recent call last):
  File "/home/sing/桌面/untitled1/bbbbb.py", line 74, in <module>
    getganrong()
  File "/home/sing/桌面/untitled1/bbbbb.py", line 64, in getganrong
    title, content = getContent(html)
  File "/home/sing/桌面/untitled1/bbbbb.py", line 37, in getContent
    title = soup.find('div', class_='mbtitle').contents[-1].string or soup.find('h1', class_='title').contents[-1].string #获取标签 #获取标签
AttributeError: 'NoneType' object has no attribute 'contents'

最佳答案

月排行榜 / 总排行榜

纳兰小寒

2018-3-12 23:18:28

写入每一行数据的时候，末尾加个换行符

1. def writeFile(title,content,name):
   
2.     with open(name +'.txt','a',encoding='utf-8')as ganrong:
   
3.         #设置文件编码，避免写入时乱码
   
4.         ganrong.write('\n'+title+'\n')#加个换行符
   
5.         for line in content:
   
6.             ganrong.write(line+'\n')
   
7.     print('%s was writed ..'%title,name)

复制代码

抓到了你说的第二个问题，爬虫返回的是“<title>500 Internal Server Error</title>”
换IP或者换个浏览器头就好了，再或者在采集的时候加个间隔时间

1. def url_open(url):  # 网页打开函数，以防被禁
   
2.     headers = {
   
3.         'User-Agent': rand_ua()}
   
4.     req = requests.get(url, headers=headers)
   
5.     req.encoding = 'utf-8'
   
6.     return req.text
   
7. 
   
8. def rand_ua():
   
9.     headers = ["Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"]
   
10.     headers.append('Mozilla/5.0 (Windows NT 6.1; rv:53.0) Gecko/20100101 Firefox/53.0')
    
11.     headers.append('Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')
    
12.     headers.append('Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36')
    
13.     headers.append('Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/57.0.2987.98 Chrome/57.0.2987.98 Safari/537.36')
    
14.     return headers[rd.randint(0,4)]

复制代码

跳转到最佳答案楼层

°蓝鲤歌蓝

1.贴图看看
2.http://blog.csdn.net/mr_blued/article/list?t=1
3.报错信息是什么？

wongyusing

°蓝鲤歌蓝 发表于 2018-3-12 17:09
1.贴图看看
2.http://blog.csdn.net/mr_blued/article/list?t=1
3.报错信息是什么？

等等，报错是不定的，有时会报错，有时不报，好气人的，我先弄个错误信息再发出来。
有错误信息了

°蓝鲤歌蓝

wongyusing 发表于 2018-3-12 17:22
等等，报错是不定的，有时会报错，有时不报，好气人的，我先弄个错误信息再发出来。
有错误信息了

1. import requests
   
2. import re
   
3. 
   
4. 
   
5. url = 'http://www.jinyongwang.com/fei/484.html'
   
6. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36\
   
7.             (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'
   
8.            }
   
9. response = requests.get(url, headers=headers)
   
10. p = r'<p>(.*?)</p>'
    
11. content = re.findall(p, response.text)
    
12. 
    
13. for i in content:
    
14.     print(i+'\n')

复制代码

纳兰小寒

写入每一行数据的时候，末尾加个换行符

1. def writeFile(title,content,name):
   
2.     with open(name +'.txt','a',encoding='utf-8')as ganrong:
   
3.         #设置文件编码，避免写入时乱码
   
4.         ganrong.write('\n'+title+'\n')#加个换行符
   
5.         for line in content:
   
6.             ganrong.write(line+'\n')
   
7.     print('%s was writed ..'%title,name)

复制代码

抓到了你说的第二个问题，爬虫返回的是“<title>500 Internal Server Error</title>”
换IP或者换个浏览器头就好了，再或者在采集的时候加个间隔时间

1. def url_open(url):  # 网页打开函数，以防被禁
   
2.     headers = {
   
3.         'User-Agent': rand_ua()}
   
4.     req = requests.get(url, headers=headers)
   
5.     req.encoding = 'utf-8'
   
6.     return req.text
   
7. 
   
8. def rand_ua():
   
9.     headers = ["Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36"]
   
10.     headers.append('Mozilla/5.0 (Windows NT 6.1; rv:53.0) Gecko/20100101 Firefox/53.0')
    
11.     headers.append('Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')
    
12.     headers.append('Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36')
    
13.     headers.append('Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/57.0.2987.98 Chrome/57.0.2987.98 Safari/537.36')
    
14.     return headers[rd.randint(0,4)]

复制代码

wongyusing

纳兰小寒 发表于 2018-3-12 23:18
写入每一行数据的时候，末尾加个换行符

抓到了你说的第二个问题，爬虫返回的是“500 Internal Server Er ...

还是不行，每次下载到大概30到40章左右呢，就会停止，报错的意思没看错的话就是爬虫无法获取内容。
按照顺序来看，到天龙八部第一章到第十章左右就会停止，1点12分左右就出现了反爬机制拒绝访问了，但浏览器还是可以访问。我还是学一下用scrapy来分布式爬虫试一下。报错图如下：