鱼C论坛

 找回密码
 立即注册
查看: 23917|回复: 1073

[作品展示] Python爬取妹子图(不仅仅只有封面哦),附完整代码和思路

  [复制链接]
最佳答案
0 
发表于 2016-9-25 10:33:09 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
本帖最后由 urbanforest 于 2016-9-25 10:36 编辑

思路:1、get_totalpages(url)  通过【性。感。美。女。图】获得该版块的总页数 【首页1234567891011下一页末页211034
2、get_sercoverurl(pageurl) 版块每一页有50个系列的封面,获得每个封面的地址。
3、 进入该封面(即系列),获得该系列图片的总张数【[url=]共79页:[/url]上一页12345678910111213下一页
4、get_serurl(sercoverurl) 获得每一个图片所在页面的地址
5、urllib.request.urlretrieve(picurl, filename) 获得图片的下载地址。


跟着小甲鱼老师学了这么久,感触最深的就是要【理清编程思路,琢磨程序进度,最好通过路线图推演出来】
这个例子中,我根据网站结构,总结了 版块 -< 系列 -- 系列封面 -< 图片页面 -- 图片下载地址 的编排规律,
其中" -< " 表示 1对多,即1个版块有多个系列, 1个系列封面有多个图片;
    " -- " 表示 1对1, 如1个系列只有1个封面, 1个图片页面只有1个图片下载地址
搞清楚这些就明白哪些地方需要循环了。
废话太多,直接上代码吧!
游客,如果您要查看本帖隐藏内容请回复


无标题.jpg

评分

参与人数 4荣誉 +9 鱼币 +14 贡献 +2 收起 理由
Amano + 5 + 5 + 2 支持楼主!
杨伟朋 + 5 我要尽快学会这个技能!
小树 + 3 + 3 感谢楼主无私奉献!
人zai旅途 + 1 + 1 感谢楼主无私奉献!

查看全部评分

本帖被以下淘专辑推荐:

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-25 13:36:24 | 显示全部楼层
非常感谢楼主的思路,仔细研究一下!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-25 13:56:33 | 显示全部楼层
嗯,研究一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-25 16:09:23 | 显示全部楼层
我真的只是只是学习的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-25 21:26:57 | 显示全部楼层

我真的只是只是学习的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-25 22:54:26 | 显示全部楼层
仔细研究一下!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-26 11:42:26 | 显示全部楼层
哇塞
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-26 13:52:16 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-26 14:26:38 | 显示全部楼层
学习一下,感谢楼主
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
1 
发表于 2016-9-26 16:57:26 | 显示全部楼层
我是来学习Python到底能看什么事情的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
1 
发表于 2016-9-26 17:01:51 | 显示全部楼层
楼主,您好,请问还需要安装什么第三方库吗?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
 楼主| 发表于 2016-9-26 21:31:51 | 显示全部楼层
人zai旅途 发表于 2016-9-26 17:01
楼主,您好,请问还需要安装什么第三方库吗?

我这个代码不需要其他三方库
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
1 
发表于 2016-9-26 22:20:07 | 显示全部楼层
urbanforest 发表于 2016-9-26 21:31
我这个代码不需要其他三方库

谢谢楼主,怎么知道,程序是否执行完毕?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-26 22:44:20 | 显示全部楼层
这个要好好看下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-26 22:52:28 | 显示全部楼层
谢谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-26 22:55:13 | 显示全部楼层
感谢分享,学习下爬虫
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-26 23:58:29 | 显示全部楼层
thanks
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-27 00:17:45 | 显示全部楼层
给力,赞一个~~~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-27 08:55:26 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
发表于 2016-9-27 10:33:36 | 显示全部楼层
就服你一个
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

小甲鱼强烈推荐上一条 /1 下一条

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号

GMT+8, 2018-9-24 03:09

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表