[已解决]请问该怎么找到相应的数据

python羊

想要提取网页中 “净度”对应的 “VS1”,可是一直找到的是空值。


代码：
————————————————————
from urllib.request import Request,urlopen
import re
number = '6352100549'
url = 'https://www.gia.edu/report-check?reportno='+ number
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1500.55 Safari/537.36'
}

request = Request(url,headers=headers)
response = urlopen(request).read()
response = response.decode('utf-8')

clarity = re.findall('<strong class="dynamic" id="CLARITY_GRADE">(.+)</strong>',response)

print(response)
print(clarity)

——————————————————————————————————————————

最佳答案

月排行榜 / 总排行榜

疾风怪盗

2020-9-15 23:41:41

用selenium这样才能获取到有VS1数据的网页代码，time.sleep(10)是为了有时间输入验证码，输入正确才能获取

1. 
   
2. import re,time,json
   
3. from selenium import webdriver
   
4. driver=webdriver.Chrome()
   
5. 
   
6. url = 'https://data.gia.edu/RDWB/Captcha.jsp?reportno=6352100549&cc=CN&APIno=1&'
   
7. driver.get(url)
   
8. time.sleep(10)
   
9. html_str=driver.page_source
   
10. print(html_str)
    
11. pattren="event.source.postMessage\(\'(.*?)\',event.origin"
    
12. data=re.findall(pattren,html_str)
    
13. print(data[0])
    
14. data=json.loads(data[0])
    
15. print(data['CLARITY_GRADE'])

复制代码

跳转到最佳答案楼层

疾风怪盗

用selenium这样才能获取到有VS1数据的网页代码，time.sleep(10)是为了有时间输入验证码，输入正确才能获取

1. 
   
2. import re,time,json
   
3. from selenium import webdriver
   
4. driver=webdriver.Chrome()
   
5. 
   
6. url = 'https://data.gia.edu/RDWB/Captcha.jsp?reportno=6352100549&cc=CN&APIno=1&'
   
7. driver.get(url)
   
8. time.sleep(10)
   
9. html_str=driver.page_source
   
10. print(html_str)
    
11. pattren="event.source.postMessage\(\'(.*?)\',event.origin"
    
12. data=re.findall(pattren,html_str)
    
13. print(data[0])
    
14. data=json.loads(data[0])
    
15. print(data['CLARITY_GRADE'])

复制代码

疾风怪盗

先打印一下response ，看看有没有爬到要的数据吧，好像是没有
全局搜了一下VS1，好像只有在https://data.gia.edu/RDWB/Captcha.jsp?reportno=6352100549&cc=CN&APIno=1&这个网址里有数据，但是爬了这个网址，也没反馈出

挥舞乾坤

你的这个网址我直接在浏览器里打开都是要输入验证码的，所以你拿到的response里也肯定没有你想要的数据的

python羊

疾风怪盗 发表于 2020-9-15 23:41
用selenium这样才能获取到有VS1数据的网页代码，time.sleep(10)是为了有时间输入验证码，输入正确才能获取
...

感谢。
我研究了几天，发现那个验证码，无法被越过。我再看看哈