鱼C论坛

 找回密码
 立即注册
查看: 85|回复: 4

[已解决]请问该怎么找到相应的数据

[复制链接]
最佳答案
0 
发表于 2020-9-15 23:41:40 | 显示全部楼层 |阅读模式
10鱼币
想要提取网页中 “净度”对应的 “VS1”,可是一直找到的是空值。


代码:
————————————————————
from urllib.request import Request,urlopen
import re
number = '6352100549'
url = 'https://www.gia.edu/report-check?reportno='+ number
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1500.55 Safari/537.36'
}

request = Request(url,headers=headers)
response = urlopen(request).read()
response = response.decode('utf-8')

clarity = re.findall('<strong class="dynamic" id="CLARITY_GRADE">(.+)</strong>',response)

print(response)
print(clarity)

——————————————————————————————————————————
最佳答案
2020-9-15 23:41:41
本帖最后由 疾风怪盗 于 2020-9-16 01:42 编辑

用selenium这样才能获取到有VS1数据的网页代码,time.sleep(10)是为了有时间输入验证码,输入正确才能获取

  1. import re,time,json
  2. from selenium import webdriver
  3. driver=webdriver.Chrome()

  4. url = 'https://data.gia.edu/RDWB/Captcha.jsp?reportno=6352100549&cc=CN&APIno=1&'
  5. driver.get(url)
  6. time.sleep(10)
  7. html_str=driver.page_source
  8. print(html_str)
  9. pattren="event.source.postMessage\(\'(.*?)\',event.origin"
  10. data=re.findall(pattren,html_str)
  11. print(data[0])
  12. data=json.loads(data[0])
  13. print(data['CLARITY_GRADE'])
复制代码

Inkedgia图片_LI_Moment.jpg

最佳答案

查看完整内容

用selenium这样才能获取到有VS1数据的网页代码,time.sleep(10)是为了有时间输入验证码,输入正确才能获取
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
205 
发表于 2020-9-15 23:41:41 | 显示全部楼层    本楼为最佳答案   
本帖最后由 疾风怪盗 于 2020-9-16 01:42 编辑

用selenium这样才能获取到有VS1数据的网页代码,time.sleep(10)是为了有时间输入验证码,输入正确才能获取

  1. import re,time,json
  2. from selenium import webdriver
  3. driver=webdriver.Chrome()

  4. url = 'https://data.gia.edu/RDWB/Captcha.jsp?reportno=6352100549&cc=CN&APIno=1&'
  5. driver.get(url)
  6. time.sleep(10)
  7. html_str=driver.page_source
  8. print(html_str)
  9. pattren="event.source.postMessage\(\'(.*?)\',event.origin"
  10. data=re.findall(pattren,html_str)
  11. print(data[0])
  12. data=json.loads(data[0])
  13. print(data['CLARITY_GRADE'])
复制代码

屏幕截图 2020-09-16 011852.png
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
205 
发表于 2020-9-16 00:27:14 | 显示全部楼层
先打印一下response ,看看有没有爬到要的数据吧,好像是没有
全局搜了一下VS1,好像只有在https://data.gia.edu/RDWB/Captcha.jsp?reportno=6352100549&cc=CN&APIno=1&这个网址里有数据,但是爬了这个网址,也没反馈出
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
17 
发表于 2020-9-16 09:08:38 | 显示全部楼层
你的这个网址我直接在浏览器里打开都是要输入验证码的,所以你拿到的response里也肯定没有你想要的数据的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
最佳答案
0 
 楼主| 发表于 2020-9-21 22:48:21 | 显示全部楼层
疾风怪盗 发表于 2020-9-15 23:41
用selenium这样才能获取到有VS1数据的网页代码,time.sleep(10)是为了有时间输入验证码,输入正确才能获取
...

感谢。
我研究了几天,发现那个验证码,无法被越过。我再看看哈
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1

GMT+8, 2020-9-30 23:40

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表