周二，西方的平安夜。 昨晚因为临时的紧急需求，本来想着稍微熬夜加班就能搞定，没想到和几个同事熬了一个通宵才基本搞定。 上一次的通宵工作还是10年前，和当时的leader 熬夜迁移数据库。记得是修改了cache 的缓存key机制，需要重建cache，但重建的时间就会导致请求全部压到DB上来，mysql 的性能撑不住，就会出现超时。选择凌晨变主要还是因为人少，请求量小，万一有问题影响也小。具体的方案忘记了，应该就是逐步灰度，慢慢开始建cache。中途好像出了个问题，分流的时候算法写的不完备，折腾了好一阵。这也算是工作后…

新的一周又开始了。 周一，阴。周末两天还是艳阳高照，美美的冬日暖阳，熏的人都要醉了，躺在阳光下晒着太阳简直是一种享受。结果今天突然天气大变，没了阳光的冬日，虽然温度和昨日一样，但明显感觉寒冷了不少。早上出本都比平时多加了一件衣服。 忙碌了一天，快到下班的时候又是一个非常紧急的需求，要连夜支持。不得不拉起一波人开始熬夜做事情，到现在还在进行，唉。在这样的行业中，真是每天都像在战斗一样。 今天在路上的时候，一直心心念的几个事情也没有搞完。 首先是有关蒸馏的那篇论文，我发现上周自己感觉是理解到了。但是给别人讲的时候，却讲…

周五，没想到竟然是最繁忙的一天。 处理完工作都晚上九点多了。骑车回家的路上有多了一丝寒冷，回到家儿子说了一句话就又睡着了，抱了抱女儿，她也去睡了。 眼睛还是不太利索，快速转动的时候会重影，骑车的时候也感觉有影响。真是日了狗了，横遭一番霉运。希望25年一切美好。 今天把公众号的名字改了，以后想多更新一下公众号。让Gemini起了一个名字，最后组合了一个“乾元万象”，但被人已经注册了，又让ai起了几个，都不太满意。突然随机冒出一个念头“AI走地鸡”，好有意思好奇特，所以就顺手修改了。以后多更新一些AI方面的内容吧。 美…

周四，由于昨晚的早睡，眼睛好了很多。但还是没有恢复到原来状态，还是会偶尔看东西眩晕。唉，身体真是脆弱，只能慢慢保养了。 对于蒸馏，以前没有太多了解，只凭借感觉觉得是特征蒸馏。认知还是停留在这个上面，今天了解了下，还有其他更重要和高级的方式，比如修改概率函数等。知识又增加了一丢。 对于认知，最大的感受是：别人说的东西不要马上去反驳，最好做了研究再发表意见。而且，很多时候你做了研究都不见得是正确的。比如，昨天说蒸馏的时候，我的认知里只有特征蒸馏，认为蒸馏个小模型需要拿着特征数据重新做一次模型训练。而实际上并不是如此。 …

周三，因为晚睡的缘故，还未痊愈的眼睛有些不舒服，感觉比前两天加重了一些。看来有些低估了这次受伤的严重性，身体是幸福第一要素，切记切记。 下午和团队小伙伴一起出去团建，大家一起去爬了个小山，一年来都没怎么放松过，借着这个阳光明媚的日子去散散心，放下工作，呼吸下新鲜空气。完了刚好消耗了能量，晚上吃个自助餐。回头一想，其实现代人也挺辛苦的，人类来自于自然，本应该多接触于自然、多回归自然，可是因为现代社会的原因，我们已经被这个社会束缚，不能动弹多少。人生短短几十年，就这么一直被困着、束缚着。可怜的人类啊。 关于吃自助餐，已…

周二，天气很好，去医院复查了一下眼睛。 上周三晚上部门篮球赛，表演阶段和同事撞了一下，导致左眼框骨折，卧床休息了好几天，眼睛重影，头疼难受。吓了一大跳，人生迄今没遇到这样的伤害，担心会对以后眼睛造成损伤。不过三四天之后有所恢复，但还是不利索，只能慢慢养着，慢慢恢复了。 对于运动，自己一直的原则，特别是最近两年，第一就是不受伤。没想到还是意外，引起了伤害。看来是原则没有执行到位，以后类似的活动，一定要慎之又慎，运动活动还是慢跑为主吧。骑车也要小心。 什么年纪做什么事情，不要逞能，尊重自然规律。 受伤的时间里，躺在床上…

ilya 周末的分享，我理解应该是再卷预训练和数据，ROI 没有算力和算法提升以及后训练的 ROI 高而已，而不代表着数据已经枯竭。结果大家又开始热议数据枯竭的事情。 但仅讨论数据枯竭这个事情，我个人认为是永远不会。 首先，从技术角度来看。 狭义方面，我们所说的“数据”指的是互联网上产生的信息（也如 ilya 所说），如文本、图像、视频等，数据枯竭的说法也难以成立。 首先，AI并非单纯的数据消耗者，它同时也带来了强大的内容和数据生成能力，而且是在极具的增长。以图像生成为例，AI去年一年创造的数量比人类历史的总和还要…

周二，晴。 以为现在还是11月份，突然发现已经12月了，时间真快，马上又是一年结束了。 今天要不是老婆提醒，都没注意到今天是结婚（领证）10周年。每天忙着工作、忙着照顾两个孩子，自己的事情一点都没记得。中年人的生活，就是为了一家老小，真是辛苦。 希望下一个十年能从从容容，实现财务自由，过上自由的生活，做自己想做的事情，不用为了生活而不得不工作。希望下一个十年，和喜欢的人最喜欢的事，想做多久做多久，不受别人左右。 人工智能方面，昨晚openai 放出了Sora，整体来说是没有达到大家的预期，虽然已经是业界领先的了。所…

上周从周四出去，连续好几天没有更新。感觉都快要忘记了一样。真是由俭入奢易，由奢入俭难。不过，还是需要自律，要有原则，有原则才不至于迷失方向，至少大的方向不会迷失。 就像赌博一样，在澳门的时候，人总会去赌一下，如果是因为好玩化几十几百块去体验下那也可，如果是想为了赢钱，那还是算了吧。对于我自己，哪怕是去化100块体验下我都不愿意，因为明知道会输光，那任何一个有点理性的人都不回去尝试。用钱去尝试，还不如把钱捐给山区小孩子。 另外，我们要时刻记住一个事情：当你玩一个游戏的时候，你一定要明白谁是庄，如果你不知道，那肯定不是…

2024-11-04 周三，工作从清早到公司就开始。中午还在开会，吃完饭继续上班，下午两小时会外加一堆事情。好久没有这么忙碌了。 晚上和明年的毕业生同学一起吃了个饭，然后陪着一起去深圳湾散了个步。虽然就业环境这么恶劣，但优秀的人，还是得想着法子来招引。这个世界就是这么残酷，好的稀缺的资源就是这么值钱。 现在这个时间段，感觉美股和币圈进入了一个幻觉时段，闭上眼随便买都能大概率赚。隐隐感觉离再蹦跶几下不远了。需要越来越恐惧了。 几多欢喜几多愁，中国股市天天跌，心情和死了一样。天天被按在地上摩擦，请问怎么会有信心？ 无能…