鱼C论坛

 找回密码
 立即注册
查看: 2767|回复: 1

请问这个爬虫的逻辑和正则表达式是否有问题

[复制链接]
发表于 2016-4-23 18:00:16 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 wangxin1190 于 2016-4-23 22:22 编辑

输入一个网址后,一直卡着不动。

#coding=utf-8
import re
import urllib
def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html
def getvideo(html):
    r=r"a href='(.*?\[.]mp4.*$)'"
    re_video=re.compile(r)
    videolist = re.findall(re_video, html)
    filename=1
    for videourl in videolist:
        urllib.urlretrieve(videourl,"%s.mp4" %filename)
        print  'file "%s.mp4" done' %filename
        filename+=1
url=input("please input the source url:")
html = getHtml(url)
getvideo(html)
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-4-23 22:21:50 | 显示全部楼层
不是格式的问题,一直下载不下来,应该是连接权限问题,加一个 getcode()就可以了 如果是200就可以下载。
应该继续优化下,加下if判断。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-20 19:25

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表