python羊 发表于 2020-9-15 23:41:40

请问该怎么找到相应的数据

想要提取网页中 “净度”对应的 “VS1”,可是一直找到的是空值。


代码：
————————————————————
from urllib.request import Request,urlopen
import re
number = '6352100549'
url = 'https://www.gia.edu/report-check?reportno='+ number
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1500.55 Safari/537.36'
}

request = Request(url,headers=headers)
response = urlopen(request).read()
response = response.decode('utf-8')

clarity = re.findall('<strong class="dynamic" id="CLARITY_GRADE">(.+)</strong>',response)

print(response)
print(clarity)

——————————————————————————————————————————

疾风怪盗 发表于 2020-9-15 23:41:41

本帖最后由 疾风怪盗 于 2020-9-16 01:42 编辑

用selenium这样才能获取到有VS1数据的网页代码，time.sleep(10)是为了有时间输入验证码，输入正确才能获取

import re,time,json
from selenium import webdriver
driver=webdriver.Chrome()

url = 'https://data.gia.edu/RDWB/Captcha.jsp?reportno=6352100549&cc=CN&APIno=1&'
driver.get(url)
time.sleep(10)
html_str=driver.page_source
print(html_str)
pattren="event.source.postMessage\(\'(.*?)\',event.origin"
data=re.findall(pattren,html_str)
print(data)
data=json.loads(data)
print(data['CLARITY_GRADE'])

疾风怪盗 发表于 2020-9-16 00:27:14

先打印一下response ，看看有没有爬到要的数据吧，好像是没有
全局搜了一下VS1，好像只有在https://data.gia.edu/RDWB/Captcha.jsp?reportno=6352100549&cc=CN&APIno=1&这个网址里有数据，但是爬了这个网址，也没反馈出

挥舞乾坤 发表于 2020-9-16 09:08:38

你的这个网址我直接在浏览器里打开都是要输入验证码的，所以你拿到的response里也肯定没有你想要的数据的

python羊 发表于 2020-9-21 22:48:21

疾风怪盗 发表于 2020-9-15 23:41
用selenium这样才能获取到有VS1数据的网页代码，time.sleep(10)是为了有时间输入验证码，输入正确才能获取
...

感谢。
我研究了几天，发现那个验证码，无法被越过。我再看看哈
页: [1]
查看完整版本: 请问该怎么找到相应的数据