周四，由于昨晚的早睡，眼睛好了很多。但还是没有恢复到原来状态，还是会偶尔看东西眩晕。唉，身体真是脆弱，只能慢慢保养了。 对于蒸馏，以前没有太多了解，只凭借感觉觉得是特征蒸馏。认知还是停留在这个上面，今天了解了下，还有其他更重要和高级的方式，比如修改概率函数等。知识又增加了一丢。 对于认知，最大的感受是：别人说的东西不要马上去反驳，最好做了研究再发表意见。而且，很多时候你做了研究都不见得是正确的。比如，昨天说蒸馏的时候，我的认知里只有特征蒸馏，认为蒸馏个小模型需要拿着特征数据重新做一次模型训练。而实际上并不是如此。 …

周三，因为晚睡的缘故，还未痊愈的眼睛有些不舒服，感觉比前两天加重了一些。看来有些低估了这次受伤的严重性，身体是幸福第一要素，切记切记。 下午和团队小伙伴一起出去团建，大家一起去爬了个小山，一年来都没怎么放松过，借着这个阳光明媚的日子去散散心，放下工作，呼吸下新鲜空气。完了刚好消耗了能量，晚上吃个自助餐。回头一想，其实现代人也挺辛苦的，人类来自于自然，本应该多接触于自然、多回归自然，可是因为现代社会的原因，我们已经被这个社会束缚，不能动弹多少。人生短短几十年，就这么一直被困着、束缚着。可怜的人类啊。 关于吃自助餐，已…

周二，天气很好，去医院复查了一下眼睛。 上周三晚上部门篮球赛，表演阶段和同事撞了一下，导致左眼框骨折，卧床休息了好几天，眼睛重影，头疼难受。吓了一大跳，人生迄今没遇到这样的伤害，担心会对以后眼睛造成损伤。不过三四天之后有所恢复，但还是不利索，只能慢慢养着，慢慢恢复了。 对于运动，自己一直的原则，特别是最近两年，第一就是不受伤。没想到还是意外，引起了伤害。看来是原则没有执行到位，以后类似的活动，一定要慎之又慎，运动活动还是慢跑为主吧。骑车也要小心。 什么年纪做什么事情，不要逞能，尊重自然规律。 受伤的时间里，躺在床上…

ilya 周末的分享，我理解应该是再卷预训练和数据，ROI 没有算力和算法提升以及后训练的 ROI 高而已，而不代表着数据已经枯竭。结果大家又开始热议数据枯竭的事情。 但仅讨论数据枯竭这个事情，我个人认为是永远不会。 首先，从技术角度来看。 狭义方面，我们所说的“数据”指的是互联网上产生的信息（也如 ilya 所说），如文本、图像、视频等，数据枯竭的说法也难以成立。 首先，AI并非单纯的数据消耗者，它同时也带来了强大的内容和数据生成能力，而且是在极具的增长。以图像生成为例，AI去年一年创造的数量比人类历史的总和还要…

周二，晴。 以为现在还是11月份，突然发现已经12月了，时间真快，马上又是一年结束了。 今天要不是老婆提醒，都没注意到今天是结婚（领证）10周年。每天忙着工作、忙着照顾两个孩子，自己的事情一点都没记得。中年人的生活，就是为了一家老小，真是辛苦。 希望下一个十年能从从容容，实现财务自由，过上自由的生活，做自己想做的事情，不用为了生活而不得不工作。希望下一个十年，和喜欢的人最喜欢的事，想做多久做多久，不受别人左右。 人工智能方面，昨晚openai 放出了Sora，整体来说是没有达到大家的预期，虽然已经是业界领先的了。所…

上周从周四出去，连续好几天没有更新。感觉都快要忘记了一样。真是由俭入奢易，由奢入俭难。不过，还是需要自律，要有原则，有原则才不至于迷失方向，至少大的方向不会迷失。 就像赌博一样，在澳门的时候，人总会去赌一下，如果是因为好玩化几十几百块去体验下那也可，如果是想为了赢钱，那还是算了吧。对于我自己，哪怕是去化100块体验下我都不愿意，因为明知道会输光，那任何一个有点理性的人都不回去尝试。用钱去尝试，还不如把钱捐给山区小孩子。 另外，我们要时刻记住一个事情：当你玩一个游戏的时候，你一定要明白谁是庄，如果你不知道，那肯定不是…

2024-11-04 周三，工作从清早到公司就开始。中午还在开会，吃完饭继续上班，下午两小时会外加一堆事情。好久没有这么忙碌了。 晚上和明年的毕业生同学一起吃了个饭，然后陪着一起去深圳湾散了个步。虽然就业环境这么恶劣，但优秀的人，还是得想着法子来招引。这个世界就是这么残酷，好的稀缺的资源就是这么值钱。 现在这个时间段，感觉美股和币圈进入了一个幻觉时段，闭上眼随便买都能大概率赚。隐隐感觉离再蹦跶几下不远了。需要越来越恐惧了。 几多欢喜几多愁，中国股市天天跌，心情和死了一样。天天被按在地上摩擦，请问怎么会有信心？ 无能…

周二。 晚上突发韩国禁严，又是政治运动。唉，又菜又爱玩的国家，好像很多任总统都很难善终。 韩国公司股票一阵狂泻，看了一只股票，一直等着跌跌再买，结果反弹回去。 等反弹回去一直在等，实在忍不住下手买了一点点，结果刚买完就开始跌。这他妈的感觉就是完全踏着我的买点跌一样，非常非常之神奇。每次买的时候都买到较高的点，卖的时候又是最低点。真的是怀疑自己不适合炒股票了。好沮丧，真不知道问题出在哪里了！ 这个世界，感觉每天都是在争吵，在相互打架。今天美国人又是一揽子的限制中国对于高端芯片的获取，中国又限制了稀土稀有金属的出口。感…

周一，12月的第一记。 上周五下班的时候感觉有些不对劲，隐隐约约感觉要生病。果不其然，回到家就感觉头有些疼，周末在家躺了一天多，周日下午带娃出去爬了个小山，基本上恢复了。真是纯正的牛马体质，不耽误一天上班。 无论生多大的病，都会感觉到人的脆弱，在病菌面前真是不堪一击。也会让人更深刻地意识到身体才是幸福的第一要素。一个健康的身体是一切幸福的根源。所以，要多锻炼身体，保护自己的身体。留得青山在，不怕没柴烧。希望我们大家都能有健康的体魄，健康的心灵。 周末可能是因为生病，下嘴唇上了指甲盖大小的一片疱疹，涨破之后节了一片痂…

周五，终于到周末了。 没想到快到下班，突然感到头疼，有种感冒的感觉，有些不妙。有可能是中午和同事出去散了步，下午睡醒穿的少，有些着凉吧。 这周喝了两天酒，很不应该，酒应该不喝或者尽量少喝。喝了酒后状态真的很影响，切记。 这周做了100kg的深蹲，大腿肌肉现在还有些酸酸的，感觉效率要比骑车高。 有些不太舒服，早点睡了，希望明天睡醒能好。如果能早起恢复，再去跑个步，那就很完美了。 好了，事情就是这样。 晚安！