摆动的呆毛 发表于 2020-8-10 12:55:01

爬取笔趣阁发现的问题

import requests
import bs4

headers = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }
url = "http://www.xbiquge.la/0/951/827334.html"
res = requests.get(url=url, headers=headers)
res.encoding = "utf-8"
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", id="content")
for each in targets:
    print(each)
    for i in each:
      print(i)

为什么要在加个for循环才能看到小说的内容？

永恒的蓝色梦想 发表于 2020-8-10 13:15:07

鱼币

永恒的蓝色梦想 发表于 2020-8-10 13:16:30

因为 bs4.BeautifulSoup.find_all 返回的是迭代器。

zltzlt 发表于 2020-8-10 13:17:41

3 楼正解

年少的梦想 发表于 2020-8-10 13:21:28

我也好想。爬小说{:10_254:}

sunrise085 发表于 2020-8-10 13:24:39

年少的梦想 发表于 2020-8-10 13:21
我也好想。爬小说

我写了一个简陋版的程序，能爬取小说。
戳这里

Twilight6 发表于 2020-8-10 14:09:38


因为 soup.find_all("div", id="content") 提取到的是所有 div 标签下 id 属性为 content 的 bs4 对象数据，你需要 for 循环将对象中的内容重新提取使用才行

帮你稍微改了下代码，去掉标签保留文本内容了：
import requests
import bs4

headers = {
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }
url = "http://www.xbiquge.la/0/951/827334.html"
res = requests.get(url=url, headers=headers)
res.encoding = "utf-8"
soup = bs4.BeautifulSoup(res.text, "html.parser")
targets = soup.find_all("div", id="content")
for each in targets:
    for i in each:
      if i.string == None:
            continue
      print(i.string)

摆动的呆毛 发表于 2020-8-10 15:19:41

Twilight6 发表于 2020-8-10 14:09
因为 soup.find_all("div", id="content") 提取到的是所有 div 标签下 id 属性为 content 的 bs4 对象数 ...

了解明白了{:10_254:}

年少的梦想 发表于 2020-8-12 16:57:32

sunrise085 发表于 2020-8-10 13:24
我写了一个简陋版的程序，能爬取小说。
戳这里

顶， {:10_279:}
页: [1]
查看完整版本: 爬取笔趣阁发现的问题