[已解决]python 网页开发

ELI_

这是较为简略的需求分析：

1.功能需求
用户习惯于从互联网的各种评论中获取信息，为自己的某些决策寻找参考意见。商品评论是“电子口碑”的一部分，但往往比商家自身的宣传更真实可信。因此，潜在消费者可以在购买商品前，通过充分浏览评论获取相关信息，辅助购物决策，使消费购物更趋合理化。而直接电商平台读取评论耗时耗力，评论质量参差不齐，用户无法全面客观的了解消费者反馈信息。所以系统的主要功能需求有：
（1）        用户的管理（用户角色的识别，注册登陆验证）
（2）        电商平台网页评论数据的爬取
（3）        对爬取评论数据的预处理和情感分析
（4）        分析结果前台展示和与用户的交互（用户可以选择商品特征维度，各种可视化图表）

2.性能需求
因为采用的是Python的轻量级网页框架，在前端方面需要做更多的优化；以及后台数据的爬取，如果数据量很大，单机爬取可能速度很慢，不能满足用户的实时查看需求。数据库方面如果能采用轻型的SQLlite也许能解决一部分数据交互问题。
（1）        网页前端后台数据交互的流畅性。
（2）        网页爬取性能优化。（或者配置HADOOP集群采取分布式爬取策略）
（3）        网页前端界面交互要友好。



功能详解：

实时爬取
输入店铺商品的一个url地址，实时爬取该商品评论。
评论分类、有效性检测
评价对象分类
颜色标记
属性-观点对抽取
有监督的学习、用户自定义
店铺整体评分分布
商品质量评分分布
各项评价平均指标
整体评价变化趋势
订餐终端分布
商品推荐榜
送餐时间分布


现在是要形成一个网站和用户交互，本人能力有限，希望万能的<。)#)))≦友们能帮我想到解决方案，代码或者实现思路都可以，谢谢啦！！！！

最佳答案

月排行榜 / 总排行榜

jerryxjr1220

2017-4-14 18:44:03

确实这个问题比较宽泛，如果只是你一个人要做这整个一套系统，从建立网站的前端和后端，爬虫爬取网站数据，大数据分析，情感分析等等，那是一个很庞大的任务了。不过这里面的所有内容都可以在我的python小练习系列里找到。
目前我在做的利用神经网络进行文章分类和语境分析就是为了让机器自动帮助我们对爬取的内容进行分析。
如果你对这方面感兴趣，可以关注一下我的python小练习系列，相信对你有帮助。

跳转到最佳答案楼层

jerryxjr1220

确实这个问题比较宽泛，如果只是你一个人要做这整个一套系统，从建立网站的前端和后端，爬虫爬取网站数据，大数据分析，情感分析等等，那是一个很庞大的任务了。不过这里面的所有内容都可以在我的python小练习系列里找到。
目前我在做的利用神经网络进行文章分类和语境分析就是为了让机器自动帮助我们对爬取的内容进行分析。
如果你对这方面感兴趣，可以关注一下我的python小练习系列，相信对你有帮助。

ELI_

新手·ing

这个我是基本看不懂...
但是我可以召唤大佬：
@冬雪雪冬 @lumber2388779 @ooxx7788 @小甲鱼
你们来看看...

ooxx7788

这个问题太大了，jerryxjr1220有一个京东小米5s的差评爬取的帖子介绍！

新手·ing

@jerryxjr1220 忘记你了

lumber2388779

新手·ing 发表于 2017-4-14 19:47
@jerryxjr1220 忘记你了

分布式爬虫我还在研究不用找我直接找@jerryxjr1220 爬虫算法大神

新手·ing

lumber2388779 发表于 2017-4-14 19:56
分布式爬虫我还在研究不用找我直接找@jerryxjr1220 爬虫算法大神

反正你们都是大佬

jerryxjr1220

另外，悄悄剧透一下，我的python小练习马上也接近100期了，我也准备做一个稍微大一点的项目，把之前的大部分知识都串起来。
爬虫+大数据分析+基于神经网络的机器学习是我考虑的一个方向。

ELI_

新手·ing 发表于 2017-4-14 18:49
这个我是基本看不懂...
但是我可以召唤大佬：
@冬雪雪冬 @lumber2388779 @ooxx7788 @小甲鱼

谢谢啦

ELI_

lumber2388779 发表于 2017-4-14 19:56
分布式爬虫我还在研究不用找我直接找@jerryxjr1220 爬虫算法大神

谢谢啦

ELI_

jerryxjr1220 发表于 2017-4-14 20:51
另外，悄悄剧透一下，我的python小练习马上也接近100期了，我也准备做一个稍微大一点的项目，把之前的大部 ...

哇，搞起来，这个项目感觉很awesome