ljydxxzl 发表于 2025-1-11 17:15:34

求求解决爬虫代码问题

import requests
from bs4 import BeautifulSoup
import jieba
url="https://movie.douban.com/subject/26420675/"
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}
response=requests.get(url,headers=headers)
html=response.text
soup=BeautifulSoup(html,"lxml")
content_all=soup.find_all(class_="short-content")
wordList=[]
for content in content_all:
    contentString=content.get_text(strip=True)
    words=jieba.lcut(contentString)
    wordList+=words
letter={}
for word in wordList:
    if len(word)>1:
      if word not in letter:
            letter=1
      else:
            letter+=1
from pyecharts.charts import WordCloud
wd=WordCloud()
wd.add(series_name="影评",data_pair=letter.items(),word_size_range=)
wd.render("古剑奇谭影评.html")

想请问各位大佬,为啥我这段爬虫代码运行结果是can notimport name iterable from collections呢?我根本没有导入这个库呀!{:5_100:}

FishC 发表于 2025-1-11 17:15:49

这个错误可能与您使用的某个库版本有关,其中一个常见原因是 `pyecharts` 的依赖库版本不兼容。在最新的 Python 版本中,`collections.Iterable` 已被移除,因此使用该属性的老版本库会出现错误信息。

您还存在一些代码问题,以下是对代码进行修正及优化的建议:

1. **变量初始化**:`wordList` 变量需要先初始化为空列表。
2. **变量命名错误**:`letter` 字典中的计数逻辑有误,应该是 `letters = 1` 和 `letters += 1`。
3. **`word_size_range` 参数缺失**:需要为 `WordCloud` 添加适当的 `word_size_range`。

以下是修正后的代码:

import requests
from bs4 import BeautifulSoup
import jieba
from pyecharts.charts import WordCloud

url = "https://movie.douban.com/subject/26420675/"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}
response = requests.get(url, headers=headers)
html = response.text
soup = BeautifulSoup(html, "lxml")

content_all = soup.find_all(class_="short-content")

wordList = []# 初始化为空列表

for content in content_all:
    contentString = content.get_text(strip=True)
    words = jieba.lcut(contentString)
    wordList += words# 拼接列表

letters = {}
for word in wordList:
    if len(word) > 1:
      if word not in letters:
            letters = 1# 初始化计数
      else:
            letters += 1# 计数加1

wd = WordCloud()
wd.add(series_name="影评", data_pair=letters.items(), word_size_range=)
wd.render("古剑奇谭影评.html")

您还可以检查是否有必要更新 `pyecharts` 或其他相关依赖库,以避免兼容性问题。

以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。

ljydxxzl 发表于 2025-1-11 18:12:00

我已经把pyecharts更新到最新版本了,还是不行,这要怎么解决呢?

FishC 发表于 2025-1-11 18:12:08

ljydxxzl 发表于 2025-01-11 18:12
我已经把pyecharts更新到最新版本了,还是不行,这要 ...

即使更新了 `pyecharts`,如果依赖的其他库不兼容,依然可能出现此问题。您可以尝试以下解决方案:

1. **安装特定版本的依赖库**:

   尝试安装一个与 `pyecharts` 兼容的老版本 `pandas`,因为问题通常出在 `pandas` 的版本上:

   pip install pandas==1.2.5

2. **使用其他库进行词云绘制**:

   如果仍然不行,可以考虑使用另一个词云库,例如 `wordcloud`。

   from wordcloud import WordCloud
   import matplotlib.pyplot as plt

   text = " ".join(wordList)
   wordcloud = WordCloud(font_path='simhei.ttf', width=800, height=600).generate(text)

   plt.imshow(wordcloud, interpolation='bilinear')
   plt.axis("off")
   plt.show()

3. **检查Python和第三方库版本的兼容性**:

   确保使用的库是与您的 Python 版本兼容的。如果某库在高版本的 Python 中已弃用某些功能,考虑安装合适版本的库或降级到支持的 Python 版本。

尝试以上方法,希望能帮助您解决问题!如果问题仍然存在,请提供更多上下文或错误信息。

以上回复来自 FishC AI 小助理,如未能正确解答您的问题,请继续追问。

某一个“天” 发表于 2025-1-11 18:49:58

ljydxxzl 发表于 2025-1-11 18:12
我已经把pyecharts更新到最新版本了,还是不行,这要怎么解决呢?

换个库

ljydxxzl 发表于 2025-1-11 22:20:29

如何查看自己的python版本兼容的是哪个库呢?我的python版本是3.12,应该安装哪个版本的库呢?

某一个“天” 发表于 2025-1-11 22:31:40

ljydxxzl 发表于 2025-1-11 22:20
如何查看自己的python版本兼容的是哪个库呢?我的python版本是3.12,应该安装哪个版本的库呢?

太新了,用3.11

某一个“天” 发表于 2025-1-11 22:32:41

ljydxxzl 发表于 2025-1-11 22:20
如何查看自己的python版本兼容的是哪个库呢?我的python版本是3.12,应该安装哪个版本的库呢?

3.12很多不兼容

isdkz 发表于 2025-1-12 15:35:01

最好是把完整的报错粘出来

六翻了 发表于 2025-1-12 19:06:55

6

ljydxxzl 发表于 2025-1-13 19:47:42

六翻了 发表于 2025-1-12 19:06
6

6啥?
页: [1]
查看完整版本: 求求解决爬虫代码问题