[已解决]新人求问：Python链接爬虫时无法获取链接

blackyoghurt

本人要用链接爬虫爬取b站首页的所有视频链接，定义了get_links()函数获取网页所有链接，再使用正则表达匹配视频链接。
但是运行时，get_links()函数却没有返回值，请教这是哪里出了错误呢？附代码

1. # !/usr/bin/env python
   
2. # -*- coding:utf-8 -*-
   
3. 
   
4. import download_url
   
5. import re
   
6. from urllib import parse
   
7. 
   
8. def link_crawler(seed_url, link_regex):
   
9.     crawl_queue = [seed_url]
   
10.     while crawl_queue:
    
11.         url = crawl_queue.pop()
    
12.         html = download_url.download_url(url)
    
13.         for link in get_links(html):
    
14.             if re.match(link_regex, link):
    
15.                 link = parse.urljoin(seed_url, link)
    
16.                 crawl_queue.append(link)
    
17. 
    
18. def get_links(html):
    
19.     webpage_regex = re.compile('<a[^>]+href = ["\'](.*?)["\']', re.IGNORECASE)
    
20.     return webpage_regex.findall(html)
    
21. 
    
22. link_crawler('https://www.bilibili.com/', 'video/av/')

复制代码

最佳答案

月排行榜 / 总排行榜

ba21

2017-9-29 14:17:40

应该是正则不对，在检查下

跳转到最佳答案楼层

ba21

应该是正则不对，在检查下