爬取京东iphone 7 pluse 100页详细评论信息

liyan8866 · 发表于 2017-4-20 20:27:18

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本人爬虫新手，自学写了一个爬取京东iphone 7 pluse 100页详细评论信息的爬虫代码，评论一页有10条，爬取100页共1000条，主要包阔如下信息：用户，等级，地区，评分，评论，时间，手机颜色，存储空间，客户端。
感觉爬1000条挺顺利，所以没有用代理和time.sleep，爬取得信息写入文档jingdong.txt中，结果如下图：
有一个问题就是，由于京东第一页评论中有一条评论有bug，没有写手机存储大小，所以也抓取不到信息，本人不知如何解决，就加了一个判断让这条信息补全为‘None’。
有什么宝贵意见希望大家批评指正！

听说大家都是回复可见，哈哈哈哈！
QQ截图20170420202247.png

游客，如果您要查看本帖隐藏内容请回复

py一学到底 · 发表于 2017-4-20 20:58:47

qiang

Kal · 发表于 2017-4-20 21:52:03

可以
，不会爬，不敢说自己会代码

guolimin · 发表于 2017-4-20 22:45:38

66666666

gopythoner · 发表于 2017-4-20 23:44:19

抓不全的信息可以使用try

xurunhe · 发表于 2017-4-21 06:54:00

看下吧，刚好学习

不要种草莓 · 发表于 2017-4-21 09:24:58

厉害啊

Kua.Max · 发表于 2017-4-21 10:14:34

ooxx7788 · 发表于 2017-4-21 11:32:07

学习学习！

ndm123 · 发表于 2017-4-21 11:45:48

iwind · 发表于 2017-4-21 13:22:55

强

东爷 · 发表于 2017-4-21 14:30:37

谢谢楼主

ypxyz123 · 发表于 2017-4-21 15:37:48

厉害

文人心梦 · 发表于 2017-4-21 16:48:08

过来学习了

ggshen · 发表于 2017-4-21 17:52:03

23333333333333333333333333

一个小兵 · 发表于 2017-4-21 17:54:39

tmkuej · 发表于 2017-4-21 18:05:31

可以
，不会爬，不敢说自己会代码

yoyodj · 发表于 2017-4-22 20:45:33

过期的牛奶 · 发表于 2017-4-23 19:39:54

来学习一下

清风揽月shine · 发表于 2017-4-24 08:14:40

楼主这个太乱了能把信息归类整齐就好了评价分等级刚好可以做个市场调查了

账号		自动登录	找回密码
密码			立即注册

[技术交流] 爬取京东iphone 7 pluse 100页详细评论信息

马上注册，结交更多好友，享用更多功能^_^