鱼C论坛

 找回密码
 立即注册
查看: 3671|回复: 0

python+GBDT预测年龄

[复制链接]
发表于 2022-4-20 14:36:15 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
预测年龄
我们不妨假设同事的年龄分别为5岁、6岁、7岁,那么同事的平均年龄就是6岁。所以我们用6岁这个常量来预测同事的年龄,即[6, 6, 6]。每个同事年龄的残差 = 年龄 - 预测值 = [5, 6, 7] - [6, 6, 6],所以残差为[-1, 0, 1]

预测年龄的残差
为了让模型更加准确,其中一个思路是让残差变小。如何减少残差呢?我们不妨对残差建立一颗回归树,然后预测出准确的残差。假设这棵树预测的残差是[-0.9, 0, 0.9],将上一轮的预测值和这一轮的预测值求和,每个同事的年龄 = [6, 6, 6] + [-0.9, 0, 0.9] = [5.1, 6, 6.9],显然与真实值[5, 6, 7]更加接近了, 年龄的残差此时变为[-0.1, 0, 0.1],预测的准确性得到了提升。

GBDT
重新整理一下思路,假设我们的预测一共迭代3轮 年龄:[5, 6, 7]
第1轮预测:[6, 6, 6]
第2轮预测:[6, 6, 6] + [-0.9, 0, 0.9 ]= [5.1, 6, 6.9]
第2轮残差:[5, 6, 7] - [5.1, 6, 6.9] = [-0.1, 0, 0.1]
第3轮预测:[6, 6, 6] + [-0.9, 0, 0.9] + [-0.08, 0, 0.07 ]= [5.02, 6, 6.97]
第3轮残差:[5, 6, 7] - [5.02, 6, 6.97] = [-0.08, 0, 0.03]
看上去残差越来越小,而这种预测方式就是GBDT算法。

提问:[-0.08, 0, 0.07 ]这里是怎么推导得到的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-18 17:53

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表