鱼C论坛

 找回密码
 立即注册
查看: 4020|回复: 0

有关爬虫的问题

[复制链接]
发表于 2017-1-4 21:26:34 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
  1. import urllib.request
  2. import re

  3. def open_url(url):
  4.     req=urllib.request.Request(url)
  5.     req.add_header('user-agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
  6.     page=urllib.request.urlopen(req)
  7.     html=page.read().decode('utf-8')
  8.     return html
  9. def get_img(html):
  10.     p=r'<img src="http://([^"]+\.jpg)'
  11.     imagelist=re.findall(p,html)#应用findall方法中,如果给出的re有子组,那么就会把子组的内容单个返回回来
  12.                                 #如果存在多个子组,将匹配的内容组合成元组 再返回

  13.     for each in imagelist:
  14.         print(each)
  15.         # filename=each.split("/")[-1]
  16.         # urllib.request.urlretrieve(each,filename,None)




  17. if __name__=='__main__':
  18.     url="http://tieba.baidu.com/p/2354064447#!/l/p1"
  19.     get_img(open_url(url))
复制代码


是这样的,我这样运行的时候程序是可以打印出字符串的
然而,当我调用urllib.request.urlretrieve(each,filename,None)方法后(也就是打印语句下面的两行)后,它就报错
错误信息:
C:\Users\qx\AppData\Local\Programs\Python\Python35-32\python.exe "F:/work place/pycharm/爬虫/get_img.py"
Traceback (most recent call last):
  File "F:/work place/pycharm/爬虫/get_img.py", line 25, in <module>
    get_img(open_url(url))
  File "F:/work place/pycharm/爬虫/get_img.py", line 18, in get_img
    urllib.request.urlretrieve(each,filename,None)
  File "C:\Users\qx\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py", line 188, in urlretrieve
    with contextlib.closing(urlopen(url, data)) as fp:
  File "C:\Users\qx\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py", line 163, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\qx\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py", line 451, in open
    req = Request(fullurl, data)
  File "C:\Users\qx\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py", line 269, in __init__
    self.full_url = url
  File "C:\Users\qx\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py", line 295, in full_url
    self._parse()
  File "C:\Users\qx\AppData\Local\Programs\Python\Python35-32\lib\urllib\request.py", line 324, in _parse
    raise ValueError("unknown url type: %r" % self.full_url)
ValueError: unknown url type: 'imgsrc.baidu.com/forum/pic/item/bede9735e5dde711c981db20a0efce1b9f1661d5.jpg'

Process finished with exit code 1
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-5-17 06:26

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表