[已解决]请大家帮我看一下为什么这个正则表达式搜不出结果

马钰乔布轩

import urllib.request
import re

def open_url(url):
    req = urllib.request.Request(url)
    req.add_header = ('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36')
    response = urllib.request.urlopen(req)
    html = response.read().decode('utf-8')
    return html

def get_image(html):
    p = r'<img class="BDE_Image" src="[^"]+\.jpg"'   #网页格式
    imglist = re.findall(p,html)

    for each in imglist:
        print(each)

if __name__ == '__main__':
    url = "https://tieba.baidu.com/p/4192700628"
    get_image(open_url(url))

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-19 12:41:45

这样试试看：

1. 
   
2. import urllib.request
   
3. import re
   
4. 
   
5. def open_url(url):
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header = ('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36')
   
8.     response = urllib.request.urlopen(req)
   
9.     html = response.read().decode('utf-8')
   
10.     return html
    
11. 
    
12. def get_image(html):
    
13.     p = r'<img class="BDE_Image".+ src="(.+?)"'
    
14.     imglist = re.findall(p,html)
    
15. 
    
16.     for each in imglist:
    
17.         print(each)
    
18. 
    
19. if __name__ == '__main__':
    
20.     url = "https://tieba.baidu.com/p/4192700628"
    
21.     get_image(open_url(url))

复制代码

跳转到最佳答案楼层

Twilight6

这样试试看：

1. 
   
2. import urllib.request
   
3. import re
   
4. 
   
5. def open_url(url):
   
6.     req = urllib.request.Request(url)
   
7.     req.add_header = ('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36')
   
8.     response = urllib.request.urlopen(req)
   
9.     html = response.read().decode('utf-8')
   
10.     return html
    
11. 
    
12. def get_image(html):
    
13.     p = r'<img class="BDE_Image".+ src="(.+?)"'
    
14.     imglist = re.findall(p,html)
    
15. 
    
16.     for each in imglist:
    
17.         print(each)
    
18. 
    
19. if __name__ == '__main__':
    
20.     url = "https://tieba.baidu.com/p/4192700628"
    
21.     get_image(open_url(url))

复制代码

马钰乔布轩

Twilight6 发表于 2020-7-19 12:41
这样试试看：

大佬，爬出了一个！但是我想知道同样的布局方式，为什么小甲鱼就能爬出来，但是我按照他的做就不行

Twilight6

我发现我上面的代码只爬到一个图片，然后去调试了下看下网站的源码，看了图片你就知道为什么我们爬不到图片，如图：




现在贴吧很坑，故意放几个 \ 斜杠，然后迷惑我们，我记得我之前爬取都是可以的，最近贴吧反爬又升级了？

Twilight6

Twilight6 发表于 2020-7-19 12:52
我发现我上面的代码只爬到一个图片，然后去调试了下看下网站的源码，看了图片你就知道为什么我们爬不 ...

像这种的匹配用 xpath 就方便很多了，把 src 的url全部提取出来，然后用字符串方法把 \ 换成 空字符串就好了

马钰乔布轩

Twilight6 发表于 2020-7-19 12:54
像这种的匹配用 xpath 就方便很多了，把 src 的url全部提取出来，然后用字符串方法把 \ 换成 空字符 ...

大老牛逼！我的也解决了，他的审核元素里加东西了，所以出不来！我现在出来啦！[img][/img]