其实目标是最难的,因为从结果来看我们都死了,涅槃寂静,优化的只能是过程。
我比较倾向于强化学习,找一些比你大几岁的人作为参照,最好是那种几年前水平和你差不多的,想想几年后如果你能达到他们的状态你会有多满意,然后想想几年后你想达到他们的状态需要做什么。
评论里提到这里有一个末法时代环境变化导致修炼越来越难的问题,所以不能用前人的成功概率直接带入,需要考虑当前环境下你自己重复的成功概率。
进一步可以想想他们过去有什么失误,如果不失误能到什么状态,优化一下regret。
最后如果你发现几年前和你差不多的人大多数现在还是和你差不多,说明你可能混到头了,该躺平了。。。
然而,除了优化算法还有初始化:有些人有预训练模型,一出生就在最优点附近,压根不需要动,直接 zero-shot 就比大多数人吭哧吭哧训半天效果还好;有些人出生在悬崖边上,一步走错就万劫不复。
然而,除了优化算法还有损失函数:有些人的损失函数是强凸的,优化的方向非常明确,或者是有很强的正则项,走错的时候可以把他往回拉;有些人的损失函数数值极其不稳定,动不动就爆 NaN/Inf。
就算是优化算法,也要看你能拿到什么信息:有些人是一阶优化,跟着梯度信息渐渐往前走;有些人是零阶优化,拿不到梯度信息,就只能自己摸黑瞎走走。
简单最好。当然有比随机梯度下降更复杂的算法。他们想每一步看想更远更准,想步子迈最大。但如果你的目标很复杂,简单的随机梯度下降反而效果最好。深度学习里大家都用它。关注当前,每次抬头瞄一眼世界,快速做个决定,然后迈一小步。小步快跑。只要你有目标,不要停,就能到达。
我对这段话感触最深。人生远比模型更复杂。模型的loss landscape是静态的,即设定好目标和场景后就不变了。人生的loss landscape是动态的,一个local minima完全有可能在你规划目标的时候,是minima,过时间后就被填平了,未来甚至可能从“谷”变为“峰”。一个例子就是,以前大家都觉得读博当个大学老师很香啊,清闲自在又有寒暑假,就以这个为目标前进,后来发现怎么每年毕业的博士越来越多,怎么岗位越来越少,教职标准水涨船高,狼多肉少卷得不行,在有些人看来这就不香了,local minima被填平了。当上大学老师之后,发现既不清闲自在,也没有寒暑假,因为学校非升即走,考核要求越来越高,只能寒暑假疯狂肝科研。这时候,已经不是不香了,而是苦逼,这个目标不再是“谷”而是“峰”。
越复杂的loss landscape,随机梯度下降就越好,好就好在是一阶优化器,好就好在它没有动量。很多人的人生优化器是ADAM,每走一步都挂着巨大的动量,简单的环境下动量是好的,可以避免你不走偏,但复杂的环境下,动量就会变成“沉没成本”。我见过太多人,学了天坑专业,知道前面根本不是“香”的人生mimima,但因为高考的时候那一步梯度更新错了,舍不得放弃“沉没成本”,使得人生无法及时改变,一错再错。
随机梯度下降,有点类似鸡汤文里的归零心态,就是不要用过去的各种“动量”干扰你的决策,快速响应世界的各种变化,更有可能把你带到“香”的人生mimima里。
本站所有内容均为互联网搜索引擎提供的公开搜索信息,本站不存储任何数据与内容,任何内容与数据均与本站无关,如有需要请联系相关搜索引擎包括但不限于百度,google,bing,sogou 等
© 2025 tinynews.org All Rights Reserved. 百科问答小站 版权所有