设为首页收藏本站
切换到窄版

鱼C论坛

 找回密码
 立即注册
鱼C论坛»论坛 › 编程语言专区 › Python交流 › 关于小甲鱼老师python爬妹子图那节课
返回列表 发新帖
查看: 1347|回复: 5

关于小甲鱼老师python爬妹子图那节课

[复制链接]
sammyyan
发表于 2019-8-5 00:19:29 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能^_^

您需要 登录 才可以下载或查看，没有账号？立即注册

x
1.一开始对于url没加http：，报错ValueError: unknown url type: '//wx4.sinaimg.cn/mw600/006wX7B3gy1g5nzzt4mw1j30ku0hswg1.jpg' ，但后面这个网页明明可以打开
2.后面进行改动：img_addrs.append('http://'+html[a+9:b+4])，但还是报错

求教各位大神！！
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

ba21
发表于 2019-8-5 09:11:24 | 显示全部楼层
上代码吧。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

chxchxkkk
发表于 2019-8-5 11:14:16 | 显示全部楼层
html是什么内容，这涉及到字符串拼接
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

sammyyan
 楼主| 发表于 2019-8-5 15:02:54 | 显示全部楼层
  1. import urllib.request
  2. import os

  4. def uirl_open(url):
  5.     req = urllib.request.Request(url)
  6.     req.add_header('User-Agent',
  7.                    'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36')
  8.     respose = urllib.request.urlopen(req)
  9.     html=respose.read()
  10.     return html

  12. def getpage(url):
  13.     html=uirl_open(url).decode('utf-8')


  16.     a=html.find('current-comment-page')+23
  17.     b=html.find(']',a)

  19.     return html[a:b]

  21. def find_image(url):
  22.     html=uirl_open(url).decode('utf-8')
  23.     img_addrs=[]

  25.     a=html.find('img src=')
  26.     while a!=-1:
  27.         b=html.find('.jpg',a,a+255)

  29.         if b!=-1:
  30.             img_addrs.append('http://'+html[a+9:b+4])
  31.         else:
  32.             b=a+9

  34.         a=html.find('img src=',b)


  37.     print(img_addrs)
  38.     return img_addrs


  41. def save_image(folder,img_addrs):
  42.     for each in img_addrs:
  43.         filename=each.split('/')[-1]
  44.         with open(filename,'wb') as f:
  45.             img=uirl_open(each)
  46.             f.write(img)

  48. def download(folder='picture',pages=10):
  49.     os.mkdir(folder)
  50.     os.chdir(folder)

  52.     url='http://jandan.net/pic'

  54.     page_num=int(getpage(url))

  56.     for i in range(pages):
  57.         page_num-=1
  58.         page_url=url+'/'+'page-'+str(page_num)+'#comments'

  60.         img_addrs=find_image(page_url)
  61.         save_image(folder,img_addrs)

  63. if __name__=='__main__':
  64.     download()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

sammyyan
 楼主| 发表于 2019-8-5 15:36:01 | 显示全部楼层
  1. import urllib.request
  2. import os


  5. def uirl_open(url):
  6.     req = urllib.request.Request(url)
  7.     req.add_header('User-Agent',
  8.                    'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36')
  9.     respose = urllib.request.urlopen(req)
  10.     html=respose.read()
  11.     return html

  13. def getpage(url):
  14.     html=uirl_open(url).decode('utf-8')


  17.     a=html.find('current-comment-page')+23
  18.     b=html.find(']',a)

  20.     return html[a:b]

  22. def find_image(url):
  23.     html=uirl_open(url).decode('utf-8')
  24.     img_addrs=[]

  26.     a=html.find('img src=')
  27.     while a!=-1:
  28.         b=html.find('.jpg',a,a+255)

  30.         if b!=-1:

  32.             img_addrs.append('http://'+html[a+9:b+4])
  33.         else:
  34.             b=a+9

  36.         a=html.find('img src=',b)


  39.     print(img_addrs)
  40.     return img_addrs


  43. def save_image(folder,img_addrs):
  44.     for each in img_addrs:
  45.         filename=each.split('/')[-1]
  46.         with open(filename,'wb') as f:
  47.             img=uirl_open(each)
  48.             f.write(img)

  50. def download(folder='picture',pages=10):
  51.     os.mkdir(folder)
  52.     os.chdir(folder)

  54.     url='http://jandan.net/pic'

  56.     page_num=int(getpage(url))

  58.     for i in range(pages):
  59.         page_num-=1
  60.         page_url=url+'/'+'page-'+str(page_num)+'#comments'

  62.         img_addrs=find_image(page_url)
  63.         save_image(folder,img_addrs)

  65. if __name__=='__main__':
  66.     download()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

sammyyan
 楼主| 发表于 2019-8-5 15:36:45 | 显示全部楼层
ba21 发表于 2019-8-5 09:11
上代码吧。
  1. import urllib.request
  2. import os


  5. def uirl_open(url):
  6.     req = urllib.request.Request(url)
  7.     req.add_header('User-Agent',
  8.                    'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36')
  9.     respose = urllib.request.urlopen(req)
  10.     html=respose.read()
  11.     return html

  13. def getpage(url):
  14.     html=uirl_open(url).decode('utf-8')


  17.     a=html.find('current-comment-page')+23
  18.     b=html.find(']',a)

  20.     return html[a:b]

  22. def find_image(url):
  23.     html=uirl_open(url).decode('utf-8')
  24.     img_addrs=[]

  26.     a=html.find('img src=')
  27.     while a!=-1:
  28.         b=html.find('.jpg',a,a+255)

  30.         if b!=-1:

  32.             img_addrs.append('http://'+html[a+9:b+4])
  33.         else:
  34.             b=a+9

  36.         a=html.find('img src=',b)


  39.     print(img_addrs)
  40.     return img_addrs


  43. def save_image(folder,img_addrs):
  44.     for each in img_addrs:
  45.         filename=each.split('/')[-1]
  46.         with open(filename,'wb') as f:
  47.             img=uirl_open(each)
  48.             f.write(img)

  50. def download(folder='picture',pages=10):
  51.     os.mkdir(folder)
  52.     os.chdir(folder)

  54.     url='http://jandan.net/pic'

  56.     page_num=int(getpage(url))

  58.     for i in range(pages):
  59.         page_num-=1
  60.         page_url=url+'/'+'page-'+str(page_num)+'#comments'

  62.         img_addrs=find_image(page_url)
  63.         save_image(folder,img_addrs)

  65. if __name__=='__main__':
  66.     download()
复制代码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-1-17 11:52

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表