求求解决爬虫代码问题

ljydxxzl

import requests
from bs4 import BeautifulSoup
import jieba
url="https://movie.douban.com/subject/26420675/"
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}
response=requests.get(url,headers=headers)
html=response.text
soup=BeautifulSoup(html,"lxml")
content_all=soup.find_all(class_="short-content")
wordList=[]
for content in content_all:
    contentString=content.get_text(strip=True)
    words=jieba.lcut(contentString)
    wordList+=words
letter={}
for word in wordList:
    if len(word)>1:
        if word not in letter:
            letter[word]=1
        else:
            letter[word]+=1
from pyecharts.charts import WordCloud
wd=WordCloud()
wd.add(series_name="影评",data_pair=letter.items(),word_size_range=[12,70])
wd.render("古剑奇谭影评.html")

想请问各位大佬，为啥我这段爬虫代码运行结果是can not  import name iterable from collections呢？我根本没有导入这个库呀！

FishC

这个错误可能与您使用的某个库版本有关，其中一个常见原因是 `pyecharts` 的依赖库版本不兼容。在最新的 Python 版本中，`collections.Iterable` 已被移除，因此使用该属性的老版本库会出现错误信息。

您还存在一些代码问题，以下是对代码进行修正及优化的建议：

1. **变量初始化**：`wordList` 变量需要先初始化为空列表。
2. **变量命名错误**：`letter` 字典中的计数逻辑有误，应该是 `letters[word] = 1` 和 `letters[word] += 1`。
3. **`word_size_range` 参数缺失**：需要为 `WordCloud` 添加适当的 `word_size_range`。

以下是修正后的代码：

import requests
from bs4 import BeautifulSoup
import jieba
from pyecharts.charts import WordCloud

url = "https://movie.douban.com/subject/26420675/"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}
response = requests.get(url, headers=headers)
html = response.text
soup = BeautifulSoup(html, "lxml")

content_all = soup.find_all(class_="short-content")

wordList = []  # 初始化为空列表

for content in content_all:
    contentString = content.get_text(strip=True)
    words = jieba.lcut(contentString)
    wordList += words  # 拼接列表

letters = {}
for word in wordList:
    if len(word) > 1:
        if word not in letters:
            letters[word] = 1  # 初始化计数
        else:
            letters[word] += 1  # 计数加1

wd = WordCloud()
wd.add(series_name="影评", data_pair=letters.items(), word_size_range=[20, 100])
wd.render("古剑奇谭影评.html")

您还可以检查是否有必要更新 `pyecharts` 或其他相关依赖库，以避免兼容性问题。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

ljydxxzl

我已经把pyecharts更新到最新版本了，还是不行，这要怎么解决呢？

FishC

ljydxxzl 发表于 2025-01-11 18:12
我已经把pyecharts更新到最新版本了，还是不行，这要 ...

即使更新了 `pyecharts`，如果依赖的其他库不兼容，依然可能出现此问题。您可以尝试以下解决方案：

1. **安装特定版本的依赖库**：

   尝试安装一个与 `pyecharts` 兼容的老版本 `pandas`，因为问题通常出在 `pandas` 的版本上：

pip install pandas==1.2.5

2. **使用其他库进行词云绘制**：

   如果仍然不行，可以考虑使用另一个词云库，例如 `wordcloud`。

from wordcloud import WordCloud
   import matplotlib.pyplot as plt

   text = " ".join(wordList)
   wordcloud = WordCloud(font_path='simhei.ttf', width=800, height=600).generate(text)

   plt.imshow(wordcloud, interpolation='bilinear')
   plt.axis("off")
   plt.show()

3. **检查Python和第三方库版本的兼容性**：

   确保使用的库是与您的 Python 版本兼容的。如果某库在高版本的 Python 中已弃用某些功能，考虑安装合适版本的库或降级到支持的 Python 版本。

尝试以上方法，希望能帮助您解决问题！如果问题仍然存在，请提供更多上下文或错误信息。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

某一个“天”

ljydxxzl 发表于 2025-1-11 18:12
我已经把pyecharts更新到最新版本了，还是不行，这要怎么解决呢？

换个库

ljydxxzl

如何查看自己的python版本兼容的是哪个库呢？我的python版本是3.12，应该安装哪个版本的库呢？

某一个“天”

ljydxxzl 发表于 2025-1-11 22:20
如何查看自己的python版本兼容的是哪个库呢？我的python版本是3.12，应该安装哪个版本的库呢？

太新了，用3.11

某一个“天”

ljydxxzl 发表于 2025-1-11 22:20
如何查看自己的python版本兼容的是哪个库呢？我的python版本是3.12，应该安装哪个版本的库呢？

3.12很多不兼容