[已解决]爬取正文为空！！

seaman_w

看了一段时间书，尝试着也来爬网络小说，

小说地址是：https://www.zhuishubang.com/131036/54103552.html

能把首页的标题都爬取到，正文都爬取不到。是“获取章节”里的那个地方出错了？

1. from bs4 import BeautifulSoup
   
2. import requests, sys
   
3. 
   
4. class download(object):
   
5.     def __init__(self):
   
6.         self.server_url = 'http://www.zhuishubang.com'
   
7.         self.target_url = 'http://www.zhuishubang.com/131036/'
   
8.         self.names = []
   
9.         self.urls = []
   
10.         self.nums = 0
    
11. 
    
12.     """
    
13.     获取下载的链接
    
14.     获取目录
    
15.     """
    
16. 
    
17.     def download_url(self):
    
18.         req = requests.get(url=self.target_url)
    
19.         html = req.text.encode("latin1").decode("gbk")
    
20.         bf = BeautifulSoup(html, 'lxml')
    
21.         texts = bf.find_all('div', 'chapterCon')
    
22.         bf_a = BeautifulSoup(str(texts), 'lxml')
    
23.         a = bf_a.find_all('a')
    
24.         self.nums = len(a)
    
25.         for i in a:
    
26.             self.names.append(i.string)
    
27.             self.urls.append(self.server_url + i.get('href'))
    
28. 
    
29.     """
    
30.     获取每一章节的内容
    
31.     """
    
32. 
    
33.     def download_content(self, target_url):
    
34.         req = requests.get(url=target_url)
    
35.         html = req.text.encode("latin1").decode("gbk")
    
36.         bf = BeautifulSoup(html, 'lxml')
    
37.         texts = bf.find_all('div', class_='articleCon')
    
38.         bf_div = BeautifulSoup(str(texts), 'lxml')
    
39.         div = bf_div.find_all('div')
    
40.         txt = ''
    
41.         for i in div:
    
42.             if i.string is not None:
    
43.                 txt = txt + i.string + '\n\n'
    
44.         return txt
    
45. 
    
46.     def writer(self, name, path, text):
    
47.         write_flag = True
    
48.         with open(path, 'a', encoding='utf-8') as f:
    
49.             f.write(name + '\n')
    
50.             f.writelines(text)
    
51.             f.write('\n\n')
    
52. 
    
53. 
    
54. if __name__ == '__main__':
    
55.     dl = download()
    
56.     dl.download_url()
    
57.     print("开始下载")
    
58.     for i in range(dl.nums):
    
59.         dl.writer(dl.names[i], '全球制造.txt', dl.download_content(dl.urls[i]))
    
60.         sys.stdout.write("已下载：%.3f%%" % float(i / dl.nums) + '\r')
    
61.         sys.stdout.flush
    
62.     print('已下载完成')
    

复制代码

最佳答案

月排行榜 / 总排行榜

Jery_wang09

2019-8-27 14:57:32

好像找到问题原因了：

1. for i in div:
   
2.             if i.string is not None:   ---这一句 i.string始终都是None
   
3.                 txt = txt + i.string + '\n\n'

复制代码

跳转到最佳答案楼层

waitforlove

1. headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"}
   
2.         req = requests.get(url=self.target_url,headers=headers)
   
3. texts = bf.find_all('div',attrs={'class':'chapterList'})

复制代码

ykn大神6

同意楼上

Jery_wang09

好像找到问题原因了：

1. for i in div:
   
2.             if i.string is not None:   ---这一句 i.string始终都是None
   
3.                 txt = txt + i.string + '\n\n'

复制代码

Jery_wang09

请问 i.string  是个什么用法？

Jery_wang09

把上面那一句改成这样，可以写一点章节内容进去：

1. if str(i) is not None:
   
2.                 txt = txt + str(i) + '\n\n'

复制代码

i.string   ---这个是什么用法呢？能帮忙解释下吗

seaman_w

Jery_wang09 发表于 2019-8-27 15:21
把上面那一句改成这样，可以写一点章节内容进去：

防止有空值，所以想把空值不抓取。

Jery_wang09

seaman_w 发表于 2019-8-27 15:49
防止有空值，所以想把空值不抓取。

i.string  ---这个用法怎么来的？有什么出处吗

塔利班

Jery_wang09 发表于 2019-8-27 16:27
i.string  ---这个用法怎么来的？有什么出处吗

你可以查看bs4文档

Jery_wang09

塔利班 发表于 2019-8-27 16:31
你可以查看bs4文档

看到了，多谢！