鱼C论坛

 找回密码
 立即注册
楼主: 人造人

[作品展示] Python爬取斗破苍穹漫画

  [复制链接]
 楼主| 发表于 2018-10-22 23:12:42 | 显示全部楼层
暗夜之隐 发表于 2018-10-22 22:48
想问下楼主   我也试了一下写这个爬虫 遇到一个问题 就是获取图片链接,第一次方式我是考虑直接换图片链接 ...

1.png

这些信息保存在 mh_info 里面

  1. var mh_info={imgpath:"L-:N-M>-A>-A?-M?-I8-J<-M@-@J-@L-M?-IA-JA-M>-@J-@>-M=-@@-@>-M?-@A-@@-:N9-M@-IN-AL-:N",startimg:1,totalimg:13,mhid:"doupocangqiong",mhname:"斗破苍穹",pageid:1400558,pagename:"第1话 陨落的天才(上)",pageurl:"dpcq_1h",readmode:1,maxpreload:5,defaultminline:1,domain:"cnmanhua.com",comic_size:"-mht.middle",default_price:0,price:0,time_diff:37232112573};var cnzz_comic = ["_trackEvent","斗破苍穹","mht_"+(isMobile?"wap":"pc"),"",0];_czc = [["_setAccount", "1261814609"]];_czc.push(cnzz_comic);  /* 图片加载时cnzz事件统计 */
复制代码

  1. var mh_info={imgpath:"L-:N-M>-A>-A?-M?-I8-J<-M@-@J-@L-M?-IA-JA-M>-@J-@>-M=-@@-@>-M?-@A-@@-:N9-M@-IN-AL-:N",startimg:1,totalimg:13,mhid:"doupocangqiong",mhname:"斗破苍穹",pageid:1400558,pagename:"第1话 陨落的天才(上)",pageurl:"dpcq_1h",readmode:1,maxpreload:5,defaultminline:1,domain:"cnmanhua.com",comic_size:"-mht.middle",default_price:0,price:0,time_diff:37232112573};
复制代码

  1. var mh_info =
  2. {
  3.         imgpath:"L-:N-M>-A>-A?-M?-I8-J<-M@-@J-@L-M?-IA-JA-M>-@J-@>-M=-@@-@>-M?-@A-@@-:N9-M@-IN-AL-:N",
  4.         startimg:1,
  5.         totalimg:13,
  6.         mhid:"doupocangqiong",
  7.         mhname:"斗破苍穹",
  8.         pageid:1400558,
  9.         pagename:"第1话 陨落的天才(上)",
  10.         pageurl:"dpcq_1h",
  11.         readmode:1,
  12.         maxpreload:5,
  13.         defaultminline:1,
  14.         domain:"cnmanhua.com",
  15.         comic_size:"-mht.middle",
  16.         default_price:0,
  17.         price:0,
  18.         time_diff:37232112573
  19. };
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-23 16:19:38 | 显示全部楼层
无法子,我等咸鱼专喊666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-23 16:40:01 | 显示全部楼层
mark一下.......想学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-23 16:43:14 | 显示全部楼层
学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-23 18:39:25 | 显示全部楼层

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-23 20:42:30 | 显示全部楼层
666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-23 22:06:29 | 显示全部楼层
本帖最后由 暗夜之隐 于 2018-10-23 22:09 编辑
人造人 发表于 2018-10-22 23:12
这些信息保存在 mh_info 里面


恩  这看到了 谢谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-23 23:04:19 | 显示全部楼层
学习下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-24 09:51:58 From FishC Mobile | 显示全部楼层
谢谢大佬!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-24 17:56:06 | 显示全部楼层
人造人 发表于 2018-10-22 23:12
这些信息保存在 mh_info 里面

朋友 再问个问题, 我获取到图片地址 但是下载下来打不开  

  1. req = 'https://mhpic.jumanhua.com/comic/D/%E6%96%97%E7%A0%B4%E8%8B%8D%E7%A9%B9%E6%8B%86%E5%88%86%E7%89%88/707%E8%AF%9D/1.jpg-mht.middle.webp'


  2. html = urllib.request.urlopen(req)

  3. html = html.read()

  4. with open('1.jpg','wb')as f:
  5.     f.write(html)
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-24 18:28:11 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-24 20:05:50 | 显示全部楼层
厉害
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-10-24 21:29:48 | 显示全部楼层
暗夜之隐 发表于 2018-10-24 17:56
朋友 再问个问题, 我获取到图片地址 但是下载下来打不开

这个图片的格式不是jpg,是webp
webp可以用浏览器打开,把这个图片拖到浏览器就可以打开
我的代码中进行了格式转换
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-24 21:31:43 From FishC Mobile | 显示全部楼层
好的 谢谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-24 22:18:17 | 显示全部楼层
大佬
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-25 07:38:27 | 显示全部楼层
好厉害
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-25 08:47:35 | 显示全部楼层
还是得麻烦一下您 ,您的代码我没太懂。 我现在写的可以下载图片了,但是获取的图片链接还是有问题,下载到696章节发现原图片链接里面又多了一个字母。

我获取的链接是这样的
  1. https://mhpic.jumanhua.com/comic/D/%E6%96%97%E7%A0%B4%E8%8B%8D%E7%A9%B9%E6%8B%86%E5%88%86%E7%89%88/696%E8%AF%9D/1.jpg-mht.middle.webp
复制代码


直实的链接应该是 在图章节数的后面再加了一个V  但我不知道这是那里来的
  1. https://mhpic.jumanhua.com/comic/D/%E6%96%97%E7%A0%B4%E8%8B%8D%E7%A9%B9%E6%8B%86%E5%88%86%E7%89%88/696%E8%AF%9DV/1.jpg-mht.middle.webp
复制代码



我对这个链接的来组成是这样写的: 'https://mhpic.jumanhua.com/comic/'+小说名字第一个字的字母大写+小说名字+章节数加一个字符串‘话’+图片的数字编号(如第一张就是1.jpg)+-mht.middle.webp

我也发现有问题的地方 比如小说的名字应该是:斗破苍穹   但是显示的是斗破苍穹拆分版  我也不知道这个 拆分版 三个字那里来的 ,我就只能当固定字符串加进去了,我看有些漫画是没有加 拆分版 三个字

另一个问题就是现在才遇到的 图片地址里面这个V 我不知道那里来的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-25 09:07:21 | 显示全部楼层
支持支持
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-25 09:52:17 | 显示全部楼层
学习一下代码。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-25 09:56:30 | 显示全部楼层
看一下源码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 07:12

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表