[已解决]爬取笔趣阁发现的问题

摆动的呆毛

import requests
import bs4

headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }
url = "http://www.xbiquge.la/0/951/827334.html"
res = requests.get(url=url, headers=headers)
res.encoding = "utf-8"
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", id="content")
for each in targets:
    print(each)
    for i in each:
        print(i)

为什么要在加个for循环才能看到小说的内容？

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-8-10 14:09:38

因为 soup.find_all("div", id="content") 提取到的是所有 div 标签下 id 属性为 content 的 bs4 对象数据，你需要 for 循环将对象中的内容重新提取使用才行

帮你稍微改了下代码，去掉标签保留文本内容了：

import requests
import bs4

headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }
url = "http://www.xbiquge.la/0/951/827334.html"
res = requests.get(url=url, headers=headers)
res.encoding = "utf-8"
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", id="content")
for each in targets:
    for i in each:
        if i.string == None:
            continue
        print(i.string)

跳转到最佳答案楼层

永恒的蓝色梦想

鱼币

永恒的蓝色梦想

因为 bs4.BeautifulSoup.find_all 返回的是迭代器。

zltzlt

3 楼正解

年少的梦想

我也好想。爬小说

sunrise085

年少的梦想 发表于 2020-8-10 13:21
我也好想。爬小说

我写了一个简陋版的程序，能爬取小说。
戳这里

Twilight6

因为 soup.find_all("div", id="content") 提取到的是所有 div 标签下 id 属性为 content 的 bs4 对象数据，你需要 for 循环将对象中的内容重新提取使用才行

帮你稍微改了下代码，去掉标签保留文本内容了：

import requests
import bs4

headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }
url = "http://www.xbiquge.la/0/951/827334.html"
res = requests.get(url=url, headers=headers)
res.encoding = "utf-8"
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", id="content")
for each in targets:
    for i in each:
        if i.string == None:
            continue
        print(i.string)

摆动的呆毛

Twilight6 发表于 2020-8-10 14:09
因为 soup.find_all("div", id="content") 提取到的是所有 div 标签下 id 属性为 content 的 bs4 对象数 ...

了解明白了

年少的梦想

sunrise085 发表于 2020-8-10 13:24
我写了一个简陋版的程序，能爬取小说。
戳这里

顶，