re,获取网址

53清

1. import requests
   
2. import parsel
   
3. import re
   
4. headers = {
   
5.     "User-Agent": "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.122  Safari / 537.40"
   
6. }#UA伪装
   
7. url = 'https://www.leshe.us/?ref=214'#乐摄网
   
8. response = requests.get(url=url,headers=headers)
   
9. selector = parsel.Selector(response.text)
   
10. lis = list(selector.css('.row.posts-wrapper div article'))
    
11. 
    
12. 
    
13. 
    
14. for li in lis:
    
15.     urls2 = li.css('a::attr(href)').get()
    
16.     response2 = requests.get(url=urls2,headers=headers)
    
17.     text = response2.text
    
18.     print(text)
    
19.     print('--------------------------')
    
20.     photo = re.findall('data-srcset="(.*?)" title',text)#这里有问题，photo获取不到想要的网址
    
21.     print(photo)
    

复制代码

53清

想要获取图片的地址，但是返回的并不是想要的内容

wp231957

53清 发表于 2021-8-20 21:34
想要获取图片的地址，但是返回的并不是想要的内容

做爬虫，首先一件事就是要确认你想提取的元素是否在源码中

53清

wp231957 发表于 2021-8-20 21:38
做爬虫，首先一件事就是要确认你想提取的元素是否在源码中

好的，谢谢。自己发现问题了，print（text）是用于调试的，re改到最后的结果是成功的，但是我没有意识到，输出一开始获取的结果是调试的内容，并不是想要的内容，但是我以为是re输出的结果

53清

53清 发表于 2021-8-20 21:34
想要获取图片的地址，但是返回的并不是想要的内容

我自己找到问题了，去掉print(text)就行了，re用法是正确的，谢谢大家的帮助