[已解决]关于正则匹配

tiger吴

a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
我这样直接在html里面匹配为什么什么都没有匹配到

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-7-11 12:02:45

看了网页，它把图片信息放到js里了，你这样搜：

1. def get_list(html):
   
2.     link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
   
3.     print(link_list)
   
4.     return link_list

复制代码

我这能输出：

跳转到最佳答案楼层

tiger吴

1. import re
   
2. import requests
   
3. 
   
4. def get_html(url):
   
5.     header={
   
6.         'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE'
   
7.     }
   
8.     html=requests.get(url=url,headers=header)
   
9.     print(html.text)
   
10.     return html
    
11. 
    
12. def get_list(html):
    
13.     a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    
14.     link_list=re.findall(a,html.text)
    
15.     print(link_list)
    
16.     return link_list
    
17. 
    
18. def main():
    
19.     url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    
20.     html=get_html(url)
    
21. 
    
22. if __name__ == "__main__":
    
23.     main()
    

复制代码

Twilight6

有的时候审核元素会有一些字符不会显示，比如 \ ，你先打印下看看网页的源码，然后在对照着匹配试试看

tiger吴

Twilight6 发表于 2020-7-11 11:02
有的时候审核元素会有一些字符不会显示，比如 \ ，你先打印下看看网页的源码，然后在对照着匹配试试看
...

是查看网页源代码还是打印网页的html？

liuzhengyuan

tiger吴 发表于 2020-7-11 11:09
是查看网页源代码还是打印网页的html？

都可以
最好打印 html

tiger吴

tiger吴 发表于 2020-7-11 11:09
是查看网页源代码还是打印网页的html？

还有Referer在哪儿找呢

Twilight6

tiger吴 发表于 2020-7-11 11:09
是查看网页源代码还是打印网页的html？

帮你看完了，打印出来的网站源码标签和原本网站的不一致，可能是被反爬，或者是通过另外加载文件的

Twilight6

tiger吴 发表于 2020-7-11 11:11
还有Referer在哪儿找呢

也是在F12 请求头里找的

tiger吴

Twilight6 发表于 2020-7-11 11:02
有的时候审核元素会有一些字符不会显示，比如 \ ，你先打印下看看网页的源码，然后在对照着匹配试试看
...

如图，如果用BeautifulSoup匹配tag
是soup.findall('span',class_='img',style_='…')
style属性的值怎么写呢

suchocolate

看了网页，它把图片信息放到js里了，你这样搜：

1. def get_list(html):
   
2.     link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
   
3.     print(link_list)
   
4.     return link_list

复制代码

我这能输出：

Twilight6

tiger吴 发表于 2020-7-11 11:52
如图，如果用BeautifulSoup匹配tag
是soup.findall('span',class_='img',style_='…')
style属性的值怎 ...

你是想匹配 src 嘛? 这样应该可以匹配到，只不过网站是js加载的就匹配不到了吧

1. x = soup.findall('span',attrs={'style_':'width: 254px; height: 181px;'})
   
2. for i in x:
   
3.     print(i.img['src'])

复制代码

tiger吴

suchocolate 发表于 2020-7-11 12:02
看了网页，它把图片信息放到js里了，你这样搜：

我这能输出：

放图片信息的js怎么查看呢

suchocolate

tiger吴 发表于 2020-7-11 14:21
放图片信息的js怎么查看呢

把网页保存，以 <script type="text/data" 开头的那一行即是。

1.     url = 'https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
   
2.     headers = {'user-agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE'}
   
3.     r = requests.get(url, headers=headers)
   
4.     with open('r.txt', 'w') as f:
   
5.         f.write(r.text)

复制代码

tiger吴

suchocolate 发表于 2020-7-11 14:28
把网页保存，以

图片下载好后，点开图片
Image not loaded
Try to open it externalliy to fix format problem
这是怎么情况，格式不对？开始我给图片文件后缀写的.jpg,后面改为.png，结果都是这样

tiger吴

Twilight6 发表于 2020-7-11 12:45
你是想匹配 src 嘛? 这样应该可以匹配到，只不过网站是js加载的就匹配不到了吧

图片下载好后，点开图片
Image not loaded
Try to open it externalliy to fix format problem
这是怎么情况，格式不对？开始我给图片文件后缀写的.jpg,后面改为.png，结果都是这样

Twilight6

tiger吴 发表于 2020-7-11 19:18
图片下载好后，点开图片
Image not loaded
Try to open it externalliy to fix format problem

可能是你爬取写入的有问题

suchocolate

tiger吴 发表于 2020-7-11 18:53
图片下载好后，点开图片
Image not loaded
Try to open it externalliy to fix format problem

上码

tiger吴

suchocolate 发表于 2020-7-12 09:57
上码

1. import re
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def get_html(url):
   
6.     header={
   
7.         'User-Agent': 'Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 78.0.3904.108Safari / 537.36QIHU360EE',
   
8.         'Referer': 'https: // www.so.com / s?src = 360chrome_newtab_search & q = % E5 % B8 % 8C % E5 % B3 % B6 % E3 % 81 % 82 % E3 % 81 % 84 % E3 % 82 % 8ASec - Fetch - Mode: navigate'
   
9.     }
   
10.     html=requests.get(url=url,headers=header)
    
11.     #print(html.text)
    
12.     return html
    
13. 
    
14. # def get_list(html):
    
15. #     html=html.text
    
16. #     soup=BeautifulSoup(html,'html.parser')
    
17. #     img_re=re.compile('https://p\d[.]ssl[.]qhimgs1[.]com/sdr/400__/.*？[.]jpg')
    
18. #     img_list=soup.find_all(img_re,soup)
    
19.     # print(img_list)
    
20.     #a=re.compile(r'<img style=".*?src="(.*?[.]jpg)"',re.S)
    
21.     #link_list=re.findall(a,html.text)
    
22. 
    
23.     #return link_list
    
24. def get_list(html):
    
25.     link_list = re.findall(r'img":"(.*?\.jpg)', html.text)
    
26.     new_list=[]
    
27.     for each in link_list:
    
28.         each=re.sub(r'\\','',each)
    
29.         new_list.append(each)
    
30.     #print(new_list)
    
31.     return new_list
    
32. 
    
33. 
    
34. def main():
    
35.     url='https://image.so.com/i?src=360pic_normal&z=1&i=0&cmg=15484592.3836743514792807400.1594087443636.3574&q=%E5%B8%8C%E5%B2%9B%E3%81%82%E3%81%84%E3%82%8A'
    
36.     html=get_html(url)
    
37.     img_list=get_list(html)
    
38.     #print(img_list)
    
39. 
    
40.     for img_url in img_list:
    
41.         #print(img_url)
    
42.         img_name='美眉/'+img_url.split('/')[-1]
    
43.         #print(img_name)
    
44.         with open(img_name,'wb') as f:
    
45.             # print('开始爬取图片')
    
46.             html=get_html(img_list)
    
47.             # print(html.content)
    
48.             f.write(html.content)
    
49.             print('爬取成功')
    
50. 
    
51. 
    
52. 
    
53. if __name__ == "__main__":
    
54.     main()

复制代码