求求解决爬虫代码问题

ljydxxzl

import requests
from bs4 import BeautifulSoup
import jieba
url="https://movie.douban.com/subject/26420675/"
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}
response=requests.get(url,headers=headers)
html=response.text
soup=BeautifulSoup(html,"lxml")
content_all=soup.find_all(class_="short-content")
wordList=[]
for content in content_all:
    contentString=content.get_text(strip=True)
    words=jieba.lcut(contentString)
    wordList+=words
letter={}
for word in wordList:
    if len(word)>1:
        if word not in letter:
            letter[word]=1
        else:
            letter[word]+=1
from pyecharts.charts import WordCloud
wd=WordCloud()
wd.add(series_name="影评",data_pair=letter.items(),word_size_range=[12,70])
wd.render("古剑奇谭影评.html")

想请问各位大佬，为啥我这段爬虫代码运行结果是can not  import name iterable from collections呢？我根本没有导入这个库呀！

FishC

这个错误可能与您使用的某个库版本有关，其中一个常见原因是 `pyecharts` 的依赖库版本不兼容。在最新的 Python 版本中，`collections.Iterable` 已被移除，因此使用该属性的老版本库会出现错误信息。

您还存在一些代码问题，以下是对代码进行修正及优化的建议：

1. **变量初始化**：`wordList` 变量需要先初始化为空列表。
2. **变量命名错误**：`letter` 字典中的计数逻辑有误，应该是 `letters[word] = 1` 和 `letters[word] += 1`。
3. **`word_size_range` 参数缺失**：需要为 `WordCloud` 添加适当的 `word_size_range`。

以下是修正后的代码：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import jieba
   
4. from pyecharts.charts import WordCloud
   
5. 
   
6. url = "https://movie.douban.com/subject/26420675/"
   
7. headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"}
   
8. response = requests.get(url, headers=headers)
   
9. html = response.text
   
10. soup = BeautifulSoup(html, "lxml")
    
11. 
    
12. content_all = soup.find_all(class_="short-content")
    
13. 
    
14. wordList = []  # 初始化为空列表
    
15. 
    
16. for content in content_all:
    
17.     contentString = content.get_text(strip=True)
    
18.     words = jieba.lcut(contentString)
    
19.     wordList += words  # 拼接列表
    
20. 
    
21. letters = {}
    
22. for word in wordList:
    
23.     if len(word) > 1:
    
24.         if word not in letters:
    
25.             letters[word] = 1  # 初始化计数
    
26.         else:
    
27.             letters[word] += 1  # 计数加1
    
28. 
    
29. wd = WordCloud()
    
30. wd.add(series_name="影评", data_pair=letters.items(), word_size_range=[20, 100])
    
31. wd.render("古剑奇谭影评.html")

复制代码

您还可以检查是否有必要更新 `pyecharts` 或其他相关依赖库，以避免兼容性问题。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

ljydxxzl

我已经把pyecharts更新到最新版本了，还是不行，这要怎么解决呢？

FishC

ljydxxzl 发表于 2025-01-11 18:12
我已经把pyecharts更新到最新版本了，还是不行，这要 ...

即使更新了 `pyecharts`，如果依赖的其他库不兼容，依然可能出现此问题。您可以尝试以下解决方案：

1. **安装特定版本的依赖库**：

   尝试安装一个与 `pyecharts` 兼容的老版本 `pandas`，因为问题通常出在 `pandas` 的版本上：

  

1. pip install pandas==1.2.5

复制代码

2. **使用其他库进行词云绘制**：

   如果仍然不行，可以考虑使用另一个词云库，例如 `wordcloud`。

  

1. from wordcloud import WordCloud
   
2.    import matplotlib.pyplot as plt
   
3. 
   
4.    text = " ".join(wordList)
   
5.    wordcloud = WordCloud(font_path='simhei.ttf', width=800, height=600).generate(text)
   
6. 
   
7.    plt.imshow(wordcloud, interpolation='bilinear')
   
8.    plt.axis("off")
   
9.    plt.show()

复制代码

3. **检查Python和第三方库版本的兼容性**：

   确保使用的库是与您的 Python 版本兼容的。如果某库在高版本的 Python 中已弃用某些功能，考虑安装合适版本的库或降级到支持的 Python 版本。

尝试以上方法，希望能帮助您解决问题！如果问题仍然存在，请提供更多上下文或错误信息。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

某一个“天”

ljydxxzl 发表于 2025-1-11 18:12
我已经把pyecharts更新到最新版本了，还是不行，这要怎么解决呢？

换个库

ljydxxzl

如何查看自己的python版本兼容的是哪个库呢？我的python版本是3.12，应该安装哪个版本的库呢？

某一个“天”

ljydxxzl 发表于 2025-1-11 22:20
如何查看自己的python版本兼容的是哪个库呢？我的python版本是3.12，应该安装哪个版本的库呢？

太新了，用3.11

某一个“天”

ljydxxzl 发表于 2025-1-11 22:20
如何查看自己的python版本兼容的是哪个库呢？我的python版本是3.12，应该安装哪个版本的库呢？

3.12很多不兼容

isdkz

最好是把完整的报错粘出来

六翻了

6

ljydxxzl

六翻了 发表于 2025-1-12 19:06
6

6啥？