[已解决]爬取笔趣阁发现的问题

摆动的呆毛

1. import requests
   
2. import bs4
   
3. 
   
4. headers = {
   
5.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
   
6.     }
   
7. url = "http://www.xbiquge.la/0/951/827334.html"
   
8. res = requests.get(url=url, headers=headers)
   
9. res.encoding = "utf-8"
   
10. soup = bs4.BeautifulSoup(res.text, "html.parser")
    
11. targets = soup.find_all("div", id="content")
    
12. for each in targets:
    
13.     print(each)
    
14.     for i in each:
    
15.         print(i)

复制代码

为什么要在加个for循环才能看到小说的内容？

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-8-10 14:09:38

因为 soup.find_all("div", id="content") 提取到的是所有 div 标签下 id 属性为 content 的 bs4 对象数据，你需要 for 循环将对象中的内容重新提取使用才行

帮你稍微改了下代码，去掉标签保留文本内容了：

1. import requests
   
2. import bs4
   
3. 
   
4. headers = {
   
5.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
   
6.     }
   
7. url = "http://www.xbiquge.la/0/951/827334.html"
   
8. res = requests.get(url=url, headers=headers)
   
9. res.encoding = "utf-8"
   
10. soup = bs4.BeautifulSoup(res.text, "html.parser")
    
11. targets = soup.find_all("div", id="content")
    
12. for each in targets:
    
13.     for i in each:
    
14.         if i.string == None:
    
15.             continue
    
16.         print(i.string)

复制代码

跳转到最佳答案楼层

永恒的蓝色梦想

鱼币

永恒的蓝色梦想

因为 bs4.BeautifulSoup.find_all 返回的是迭代器。

zltzlt

3 楼正解

年少的梦想

我也好想。爬小说

sunrise085

年少的梦想 发表于 2020-8-10 13:21
我也好想。爬小说

我写了一个简陋版的程序，能爬取小说。
戳这里

Twilight6

因为 soup.find_all("div", id="content") 提取到的是所有 div 标签下 id 属性为 content 的 bs4 对象数据，你需要 for 循环将对象中的内容重新提取使用才行

帮你稍微改了下代码，去掉标签保留文本内容了：

1. import requests
   
2. import bs4
   
3. 
   
4. headers = {
   
5.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
   
6.     }
   
7. url = "http://www.xbiquge.la/0/951/827334.html"
   
8. res = requests.get(url=url, headers=headers)
   
9. res.encoding = "utf-8"
   
10. soup = bs4.BeautifulSoup(res.text, "html.parser")
    
11. targets = soup.find_all("div", id="content")
    
12. for each in targets:
    
13.     for i in each:
    
14.         if i.string == None:
    
15.             continue
    
16.         print(i.string)

复制代码

摆动的呆毛

Twilight6 发表于 2020-8-10 14:09
因为 soup.find_all("div", id="content") 提取到的是所有 div 标签下 id 属性为 content 的 bs4 对象数 ...

了解明白了

年少的梦想

sunrise085 发表于 2020-8-10 13:24
我写了一个简陋版的程序，能爬取小说。
戳这里

顶，