鱼C论坛

 找回密码
 立即注册
查看: 17549|回复: 127

[作品展示] python 爬取煎蛋妹子图片

  [复制链接]
发表于 2018-10-27 10:59:16 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 考拉熊 于 2018-10-29 11:06 编辑

前一段之间一直在网上找爬取煎蛋妹子的教程,

一直都是破解js加密算法后,回去到图片的真是url

后来通过模拟无头浏览器headless Chrome,
先下载谷歌无头浏览器(前提是自己要有谷歌浏览器)
https://pan.baidu.com/s/18-tGwpgOCvS6HntVdVyqrg
米码: 5x8j
将无头浏览器放置在自己的同级文件夹下面,
也可以了解他的功能  https://www.jianshu.com/p/11d519e2d0cb

请求回来的网页会自动加载js文件后,通过正则分析出来图片URL,进行保存。

解决图片加密问题,


微信截图_20181027105645.png
源代码如下
游客,如果您要查看本帖隐藏内容请回复
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-10-27 11:30:33 | 显示全部楼层
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-27 13:19:19 | 显示全部楼层
haha1
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-27 14:07:51 | 显示全部楼层
厉害!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-27 14:35:24 | 显示全部楼层
羡慕
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-10-27 14:36:17 | 显示全部楼层

我是初学者···互相学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-10-27 14:36:56 | 显示全部楼层

互相学习,共同进步

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-27 14:47:53 | 显示全部楼层
本帖最后由 Lawliet666 于 2018-10-27 14:49 编辑

================== RESTART: C:\Users\Desktop\新建文本文档.py ==================
Traceback (most recent call last):
  File "C:\Users\AppData\Local\Programs\Python\Python36-32\lib\site-packages\selenium\webdriver\common\service.py", line 76, in start
    stdin=PIPE)
  File "C:\Users\AppData\Local\Programs\Python\Python36-32\lib\subprocess.py", line 709, in __init__
    restore_signals, start_new_session)
  File "C:\Users\AppData\Local\Programs\Python\Python36-32\lib\subprocess.py", line 997, in _execute_child
    startupinfo)
FileNotFoundError: [WinError 2] 系统找不到指定的文件。

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\Users\Desktop\新建文本文档.py", line 25, in <module>
    driver = webdriver.Chrome(chrome_options=chrome_options)
  File "C:\Users\AppData\Local\Programs\Python\Python36-32\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 73, in __init__
    self.service.start()
  File "C:\Users\AppData\Local\Programs\Python\Python36-32\lib\site-packages\selenium\webdriver\common\service.py", line 83, in start
    os.path.basename(self.path), self.start_error_message)
selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home

>>> 我运行这个这样怎么回事
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-27 15:51:27 | 显示全部楼层
学习
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-10-27 15:59:31 | 显示全部楼层
Lawliet666 发表于 2018-10-27 14:47
================== RESTART: C:%users\Desktop\新建文本文档.py ==================
Traceback (most rec ...

C:\ Users \ MI \ Desktop \ python \爬虫测试文件\煎蛋妹子\

这个是我的文件夹路径,
你的文件夹路径替换一下我这个就ok了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-10-27 16:22:30 | 显示全部楼层
Lawliet666 发表于 2018-10-27 14:47
================== RESTART: C:%users\Desktop\新建文本文档.py ==================
Traceback (most rec ...

已经做了修改,,可以重新复制跑
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-27 19:20:58 | 显示全部楼层
每天学习一点点。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-29 09:45:07 | 显示全部楼层
感谢分享
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-29 09:53:36 | 显示全部楼层
  1. Traceback (most recent call last):
  2.   File "C:\Users\duhao\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\common\service.py", line 76, in start
  3.     stdin=PIPE)
  4.   File "C:\Users\duhao\AppData\Local\Programs\Python\Python35-32\lib\subprocess.py", line 947, in __init__
  5.     restore_signals, start_new_session)
  6.   File "C:\Users\duhao\AppData\Local\Programs\Python\Python35-32\lib\subprocess.py", line 1224, in _execute_child
  7.     startupinfo)
  8. FileNotFoundError: [WinError 2] 系统找不到指定的文件。

  9. During handling of the above exception, another exception occurred:

  10. Traceback (most recent call last):
  11.   File "E:/workspace/Exercise/jiandan.py", line 32, in <module>
  12.     driver = webdriver.Chrome(chrome_options=chrome_options)
  13.   File "C:\Users\duhao\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 73, in __init__
  14.     self.service.start()
  15.   File "C:\Users\duhao\AppData\Local\Programs\Python\Python35-32\lib\site-packages\selenium\webdriver\common\service.py", line 83, in start
  16.     os.path.basename(self.path), self.start_error_message)
  17. selenium.common.exceptions.WebDriverException: Message: 'chromedriver' executable needs to be in PATH. Please see https://sites.google.com/a/chromium.org/chromedriver/home
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-10-29 11:07:57 | 显示全部楼层

先下载谷歌无头浏览器(前提是自己要有谷歌浏览器)
https://pan.baidu.com/s/18-tGwpgOCvS6HntVdVyqrg
米码:5x8j
将无头浏览器放置在自己的同级文件夹下面,
也。可以了解他的功能https://www.jianshu.com/p/11d519e2d0cb
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-29 15:40:58 | 显示全部楼层
666666666666666
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-29 22:44:20 From FishC Mobile | 显示全部楼层
吱吱
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-29 22:50:02 | 显示全部楼层
啊u的改革菲亚乌
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-10-29 23:10:13 | 显示全部楼层
强呀
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2018-10-29 23:40:30 | 显示全部楼层
呵呵
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-5-21 00:54

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表