蒸馏自己的人生

周四，由于昨晚的早睡，眼睛好了很多。但还是没有恢复到原来状态，还是会偶尔看东西眩晕。唉，身体真是脆弱，只能慢慢保养了。
对于蒸馏，以前没有太多了解，只凭借感觉觉得是特征蒸馏。认知还是停留在这个上面，今天了解了下，还有其他更重要和高级的方式，比如修改概率函数等。知识又增加了一丢。
对于认知，最大的感受是：别人说的东西不要马上去反驳，最好做了研究再发表意见。而且，很多时候你做了研究都不见得是正确的。比如，昨天说蒸馏的时候，我的认知里只有特征蒸馏，认为蒸馏个小模型需要拿着特征数据重新做一次模型训练。而实际上并不是如此。
对于论文，今天看了Hinton 老爷子在google的论文《Distilling the Knowledge in a Neural Network》，2014年的论文，已经为现在的蒸馏指明了方向。最让人印象深刻的是论文不长，但寥寥数笔已经把问题的本质讲清楚了，没有任何花拳绣腿的招数。还有一点非常让人感触的是，论文的思想是来自于自然，是对自然的观察和总结，迁移类比到深度学习方面，给人带来哲学上的思考。比如论文开头就以动物界昆虫类的变态发育开始，引出一个观察：生物昆虫在不同的时间段有不同的形态，不同的形态是为了应对不同的环境，从环境获取能量来进行生命和物种的延续。然后，据此推出一个结论：深度学习的模型也应该在不同场景下具备不同的形态，比如训练阶段和应用阶段不同，应用阶段需要快速效果不差，然后引出了蒸馏的概念。
对于读论文，因为一些东西不懂，所以求助于Google Gemini 2.0。结果真是让我大受震撼，不仅一句一句帮你翻译论文，而且每一句里面的重点以及背景知识都帮你逐字解释。表现的真的比大学里大多数的教授都要好。在这个时代是何其的幸运，相当于你免费的雇佣了一个教授来做你的老师和私人顾问。
每次读论文，每次都会感觉到自己的无知。世界的知识真是丰富，世界上的聪明人真多。吾之生命有涯，知识却无涯，学不完啊学不完，好遗憾。
读书和运动，恢复正常。早晚骑车、听书。平凡的日子，向优秀的人看齐，蒸馏出一个个人生的智慧权重吧。

好了，事情就是这样。
晚安！