python小练习（093）：基于keras快速搭建神经网络（实战篇）之豆瓣电影评分系统（二）

jerryxjr1220 · 发表于 2017-4-16 13:37:59

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

接上一篇，爬完豆瓣电影的主版之后，我们就拿到了电影名称以及相应的编号。

打开任意一个电影评论页面，可以看到url都是固定的格式

'https://movie.douban.com/subject/ <编号> /comments?status=P'

只要替换不同的编号，就能获取相应的电影的评论。

但是很不幸，评论板块依然是js的动态网页，无法用requests直接爬取，仍然只能依靠phantomjs+splinter+BeautifulSoup

爬下的评论对应评分，储存在comments中，然后用pickle保存，方便以后调用。

总共大约2000多条评论和评分（有些评论爬取遇到错误就舍弃了）。如果评论数再多可以考虑用数据库储存。

至此，所有爬虫的工作就结束了。

源代码：

游客，如果您要查看本帖隐藏内容请回复

jerryxjr1220 · 发表于 2017-4-16 13:43:33

对于爬取的电影评论，需要进行数据清洗，过滤，构建词汇表，词向量转化，然后导入基于tensorflow的keras系统进行机器学习，最后验证预测结果。
这些就是后面几篇小练习要分享的内容。

新手·ing · 发表于 2017-4-16 13:48:03

jerryxjr1220 · 发表于 2017-4-16 13:56:21

其实，创建神经网络是很枯燥的过程，尤其是需要自己去搜集训练数据和标签的时候。
但是当系统创建好并能正确运行的时候，就可以实现一些强大的功能。
之后，看看是否有时间可以做一套股市趋势预测系统，原理其实类似，只要搜集一批股评家的趋势分析报告让机器自动学习，然后根据实际的趋势变化进行调整。

tyzam · 发表于 2017-4-20 11:02:04

跟进学习

没有土豆的洋芋 · 发表于 2017-4-21 09:58:46

binggou

Py小学生 · 发表于 2017-6-26 10:53:24

macmac · 发表于 2017-9-11 13:20:33

学习下看看数据格式

yyf900524 · 发表于 2017-12-12 10:19:02

厉害了

wandyking · 发表于 2018-7-18 22:40:30

特意过来学习python，同时学习神经网络，最近要用到

zhou995287902 · 发表于 2018-7-25 19:38:51

学习

forever1qazz · 发表于 2018-12-24 15:22:29

henry2018 · 发表于 2018-12-24 17:49:03

我来了！！！！

云中客6 · 发表于 2018-12-30 22:39:55

oxrl · 发表于 2019-3-2 22:02:22

谢谢

morton · 发表于 2019-3-12 17:27:36

thanks

沉迷include · 发表于 2019-3-28 06:16:44

execjs找到js文件来跑就好了，不用selenium

USTB · 发表于 2019-4-10 18:27:39

谢谢楼主分享

qaz123765 · 发表于 2019-7-15 23:43:10

看看

yfffff · 发表于 2020-5-26 23:14:03

账号		自动登录	找回密码
密码			立即注册

[技术交流] python小练习（093）：基于keras快速搭建神经网络（实战篇）之豆瓣电影评分系统（二）

马上注册，结交更多好友，享用更多功能^_^

本帖被以下淘专辑推荐: