【最新唐探三的数据】谁能做成最帅数据可视化？？

孤独的嫖客

先上图:

申明:采用图像仅用作美化词云展示效果,评论内容与图像无关!
更新2021年2月23日

• 修改了目录结构,使其看起来更加清晰明了
• 取消了jieba分词,让词云还原评论本质
• 尝试使用pyecharts作图(TODO)未完成
  

功能实现:

• 获取程序运行路径,方便服务器部署
• pandas 读取csv指定列保存到txt
• 使用中文分词 jieba 对评论做语言处理
• 使用停用词排除干扰
• 使用 Worldcloud 创建词云
• 使用自定义画像美化词云
  

注意:

worldcloud 使用pip install 无法直接安装成功(macos,linux 未测试)

安装worldcloud 需要whl文件,imgs文件夹中附带了适配win10 64位 python3.9版本的whl文件,相同环境可以直接使用 pip install 绝对路径+wordcloud-1.8.1-cp39-cp39-win_amd64.whl安装

其他python版本的可以到这里下载whl文件

1. https://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud

复制代码

最后建议脚本运行环境为python 3.8以上 因为脚本使用了3.8版本的新特性

代码展示:

1. from wordcloud import WordCloud
   
2. from imageio import imread
   
3. import pandas as pd
   
4. import os
   
5. import logging as log
   
6. 
   
7. # 设置停用词
   
8. stopword = ['什么', '没有', '真的', '这种', '那里',
   
9.             '就是', '可以', '一个', '还是', '最后',
   
10.             '这个', '但是', '总之', '不要', '这部',
    
11.             '一部', '故事', '这么', '出来', '应该',
    
12.             '电影', '不是', '为了', '还有', '你们',
    
13.             '系列', '觉得', '自己', '已经', '整个',
    
14.             '一直', '还是', '出来', '完全', '看到'
    
15.             '那个', '之后', '除了', '其中', '长泽雅美',
    
16.             '陈思诚', '妻夫木聪', '浅野忠信', '铃木保奈美',
    
17.             'the','world','大过年的','三浦友和']
    
18. 
    
19. # def fenci():
    
20. #     # 设置用户字典
    
21. #     jieba.load_userdict(parent_dir+"\\imgs\\自定义字典.txt")
    
22. #     with open(filepath, "r", encoding="utf8") as f:
    
23. #         file = f.read()
    
24. #
    
25. #     # 数据清洗
    
26. #     wordslist = jieba.lcut(file)
    
27. #     with open(parent_dir + "\\tmp\\分词结果.txt", "w", encoding="utf8") as f:
    
28. #         f.write(" ".join(wordslist))
    
29. #     log.info("数据分词完毕,开始清洗...")
    
30. #     regworld = list()
    
31. #     for i in wordslist:
    
32. #         if len(i) > 1:
    
33. #             regworld.append(i)
    
34. #
    
35. #
    
36. #     outworld = list()
    
37. #     for i in regworld:
    
38. #         if i not in stopword:
    
39. #             outworld.append(i)
    
40. #     with open(parent_dir+"\\tmp\\清洗结果.txt", "w", encoding="utf8") as f:
    
41. #         f.write(" ".join(outworld))
    
42. #     words = " ".join(outworld)
    
43. #     return words
    
44. 
    
45. 
    
46. def creatCiYun(words):
    
47.     log.info("数据清洗完毕,开始画图...")
    
48.     fontpath = parent_dir + "\\imgs\\Alibaba-PuHuiTi-Regular.ttf"
    
49.     bgpic = imread(parent_dir + "\\imgs\\3.png")
    
50.     wc = WordCloud(font_path=fontpath,stopwords=stopword,
    
51.                    mask=bgpic,scale=3,
    
52.                    background_color='white', )
    
53.     wc = wc.generate(words)
    
54.     wc.to_file(parent_dir + "\\tmp\\唐探3.png")
    
55. 
    
56. 
    
57. if __name__ == '__main__':
    
58.     # 日志初始化
    
59.     log.basicConfig(level=log.INFO, format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s')
    
60.     # 获取相对路径
    
61.     parent_dir = os.path.dirname(os.path.abspath(__file__))
    
62.     log.debug(f"程序运行路径{parent_dir}")
    
63.     filepath = parent_dir + "\\tmp\\tempdata.txt"
    
64.     # 判断程序是否首次运行,是则读取csv,非首次运行不需要读取csv
    
65.     try:
    
66.         f = open(filepath, "r")
    
67.         f.close()
    
68.     except IOError:
    
69.         log.info("初始化中....")
    
70.         f = open(filepath, "w", encoding="utf8")
    
71.         f.close()
    
72.         # 读取评论
    
73.         df = pd.read_csv(parent_dir + '\\imgs\\Ori.csv', usecols=[3])
    
74.         # 提取所有评论写入txt,为分词做准备工作
    
75.         df.to_csv(filepath, sep="\t", index=False, header=None)
    
76.     # data = fenci()
    
77.     with open(parent_dir+"\\tmp\\tempdata.txt","r",encoding="utf8") as f:
    
78.         data = f.read()
    
79.     creatCiYun(data)
    

复制代码

补充一下项目地址,不然没有图像,字体资源,程序无法直接运行

1. https://gitee.com/Rt_hum/three-words-of-tang-tan

复制代码

感谢论坛的活动,学习了词云可视化

何处追寻

看我的！

高山

看我的！……
半天没相应
咋至今也没有最佳答案呢。？

陶远航

这是一个很有趣的挑战！在这里，我将演示如何使用Python库Pandas和Matplotlib来处理和可视化唐探3口碑数据。

首先，让我们导入必要的库并加载数据：

```python
import pandas as pd
import matplotlib.pyplot as plt

df = pd.read_csv('Ori.csv')
```

接下来，我们可以检查一下数据的前几行和概览：

```python
print(df.head())
print(df.info())
```

根据数据概览，我们可以看到数据集包含4个列：电影名称、评分、评论和时间戳。其中，时间戳列没有用，可以删除。

```python
df.drop('timestamp', axis=1, inplace=True)
```

接下来，让我们来看一下唐探3的整体评分分布：

```python
plt.hist(df['rating'], bins=10, edgecolor='black')
plt.title('唐探3评分分布')
plt.xlabel('评分')
plt.ylabel('数量')
plt.show()
```

这将绘制唐探3的评分直方图。

我们也可以使用箱形图来显示唐探3的评分分布：

```python
plt.boxplot(df['rating'], vert=False)
plt.title('唐探3评分分布')
plt.xlabel('评分')
plt.yticks([])
plt.show()
```

下一步，我们将使用词云来显示唐探3评论中最常用的词汇。我们将使用Python库wordcloud和jieba来实现。

```python
from wordcloud import WordCloud
import jieba

# 将所有评论拼接成一个字符串
comments = ' '.join(df['comment'])

# 使用jieba进行中文分词
words = ' '.join(jieba.cut(comments))

# 生成词云
wc = WordCloud(background_color='white', width=800, height=400).generate(words)

# 显示词云
plt.imshow(wc, interpolation='bilinear')
plt.axis('off')
plt.show()
```

最后，我们可以使用柱形图来显示唐探3的评分随时间的变化趋势：

```python
# 将时间戳转换为datetime类型
df['date'] = pd.to_datetime(df['date'], format='%Y-%m-%d %H:%M:%S')

# 按照日期对评分进行平均
df = df.groupby('date')['rating'].mean().reset_index()

# 绘制柱形图
plt.bar(df['date'], df['rating'])
plt.title('唐探3评分变化趋势')
plt.xlabel('日期')
plt.ylabel('评分')
plt.show()
```

这将绘制唐探3的评分随时间的变化趋势图。

综上，这些代码可以让我们从不同角度分析唐探3的口碑数据。你可以进一步加工这些代码，制作出更漂亮的图表。