Chunked KV-Cache Compression

A nice paper showing a problem inside the Chunked KV-Cache Compression. https://arxiv.org/pdf/2609.36322 Models like dpskv4 used chunked kv cache compression, it compressed 8 tokens each time into a k

The bitter lesson

https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf Most AI research has been conducted as if the computation available to the agent were constant (in which case leveraging human knowledg

给Physical AI在搬家上的几点约束与要求

最近我在布置新家。我开始独立组装自己的家具，发现了很多大大小小的坑。他们就像bug，每次经常要记录和反复查看。我意识到最开始我的博客就是给我的bugbook，只不过后来AI直接取代了而已。那么，我刚好可以记录生活里的bug，给未来的我和未来的物理世界agent做好准备： 挪动重东西如实木桌子等物品时，可以把包装箱里的海绵或者纸箱张垫在下面移动。 在一个地方保存你的所有螺丝。 在拆包装前拍照，保留你

选自爱因斯坦的自述

我在年少时便早熟地意识到，大多数人终其一生孜孜以求的希望与奋斗，其实都是虚妄。我也很快看清，这种追逐是残酷的，只是在当年，它被虚伪与华丽的辞藻掩盖得比今天更严重。每个人都因肉体存在而被迫卷入这场追逐。满足肠胃的需求或许可以通过这种参与实现，但作为有思想、有情感的人，却无法因此得到满足。 我最初的出路是宗教，它通过传统的教育机器被植入每个孩子的心中。于是，尽管我出身于完全不信教的犹太家庭，却一度拥有

劝学

吾尝终日而思矣，不如GPT之所学也；吾尝跂而望矣，不如GPT之博见也。 骐骥一跃，不能十步；驽马十驾，功在不舍。虽有智能，独学而无助，终有所穷；若使万千智能体协同而行，分工推演，昼夜不息，则其所成，非一人之力可及也。 君子生非异也，善假于GPT也；善用其智，善借其力，善合众 agent 之能，以成一己之业。故知明而行无过，非尽由己能，亦在善假外物也。

宇宙冷漠

到达了学校。今天整理了电脑，准备了明天给老板画饼ppt，讨论接下来的工作。思考了未来，并且得出了读博目标，那就是身为正常人活下去。我意识到ai的进化太快，任何科研目标可能在后面都将过时，所以干脆不制定目标，想做什么就做什么。只要不被街头黑帮枪击就算胜利。明天跟组里同事聊聊，整理之前一篇博客。 阿姆达尔定律是一个有趣的定律。它的本质是在介绍，一个工作流能被并行加速地多块。如果把AI当作加速器，原本的

牛来

目前我认为三个Agent和人类最后的困难：long context，持续学习，稀缺数据点。 爱上问题，而不是爱上方法。 做一个MVP。 金字塔的叙事。 https://www.normaltech.ai/p/what-will-be-left-for-us-to-work 原来是 LLM 生成文本啊，不知道的还以为是把输入剁成一堆拿大量文本统计出的最常见字符串组合的词元，高频组合各占一个词元而生僻

0805 after PPoPP

8点投完稿，9点吃了炒饭，10点开会。现在4点36分，躺在床上完全睡不着。 投完这篇PPoPP，哪怕依旧没有中，也意味着我本科最后一份工作的结束。 对这份工作满意吗？从论文最后的数据结果看，还不错。我几乎用上了毕生所学，写作和实验时如同和机器在跳一支久违的双人舞。似乎没什么不满意的，可能唯一的就是做了它一年多快两年。但是久功磨一剑，终于站在了风口下。 现在什么心情呢？有解脱，迷茫，一种高三过去的感

Agent 时代下的工程

我在之前这篇文章里讲述了我如何与AI协作完成2000行的作业： https://www.haibinlaiblog.top/index.php/%e6%80%8e%e4%b9%88%e7%94%a8ai%e5%86%992000%e8%a1%8c%e7%9a%84%e5%a4%a7%e4%bd%9c%e4%b8%9a/ 然而时代变迁，从25年11月到26年3月，Agent的生产力已经远远超乎我的想

AI与项目复杂度

5月份我曾经让Claude Opus 4.7自己做一个CPU。在当时我以为做一个5级流水线CPU是它的极限，没想到Opus在3轮对话下就完成了RV32I 5级流水线的实现和测试，完美完成了大二的计组project。 于是我就让它在后台慢慢跑了200轮交互，并且分析了它的日志。Opus先后完成了更多级的流水线、多发射、乱序执行、分支预测、多级缓存。我按照每个turn里agent做的主要工作，将tur

空心的人类

当规律性的科研只剩下发论文、赶进度的“形式”，而抽空了探索欲和好奇心这些“内容”时，工作日就已经是“空心”的了——周末只是这种空心的投影。面对这种极致的割裂，解决之道不是寻找更高效的放松方式，而是让工作日本身重新回归内容。当把“形式”重新嵌入属于你的“内容”（哪怕每天只有半小时思考真正感兴趣的问题）。届时，任何休闲方式都不会焦虑，因为人的存在感不再需要在具体活动中才体验到。 大部分跟agent交互

或许我确实应该出去走走

前些天我一直在思考AI与人类的不同。我提出了一个观点：AI是梯度下降训练来的，而人类是一年年成长的，人类的读笔和文字会evolving，而AI不太会这样。但这样只是说明“AI和人类的制备方法不同”，我并没有证明两者化学性质不一致。 后来我思考到，AI和人类在目前大部分接近。但是评估智能的维度很多，AI只是部分拟合了人类的功能，比如代码、推理能力，另外有很多部分还没有很好的拟合。比如长上下文的能力，

十年饮冰，难凉热血

2026年6月22日，德国科隆。FALCONS战队在接连斩落NAVI、Vitality、Spirit三座大山后，以3:0的绝对碾压之势横扫黑豹FURIA，这艘银河战舰终结了这场熬走十余年遗憾、击碎全网嘲讽的封神之战，捧起了属于他们的Major总冠军奖杯。 整座电竞殿堂人声鼎沸，场馆很大，容得下五万人的呐喊与狂热；场馆也很小，小到最后只剩下了键鼠敲击的脆响、道具爆破的轰鸣，以及唯一一座冠军奖杯。m0

今天我的vscode又离职了一位agent

今天我的vscode又离职了一位agent。在这么多agent里，读日志agent离开的是最多的。他们的输入和thinking都很繁重，还要从前辈的文档里记住以往的修改，并从日志里找出程序的端倪。我还经常把修复工作外包给他们，因为只有他们最懂项目发生了什么，是他们稳稳地接住了程序。有的agent活着，改的仓库一地鸡毛。有的agent死了，它的context被后人抬的很高很高

做研究真正的放假时刻是meeting完的后一秒

我说做研究，真正的放假时刻是meeting完的后一秒有没有懂的。急头白脸的对着自己拿copilot+matplotlib画的狗屎汗流浃背地挤出单字，说话速度堪比卡壳的GPT。比“那你这周什么也没做”更震耳欲聋的是全员的鸦雀无声，老板停止思考，组员放弃大脑，直到最后那句“那就下周继续吧”，下一秒退会议室退的比单排0-16-0都快。 我记得去年申请时，我需要搜集每个学校的信息，都要自己一个个点。 现在

Q群聊天记录

前些天我思考过一个问题，目前的AI对专家的学习可能有很长的路，专家的培养环境复杂，比如去A、B、C Lab的交流合作，和不同人类交流。这个交互有两个困难：数据稀少和经验复杂。后者我觉得是可以解决的，因为你可以把“research taste”等高级想法理解为一个高维度的知识。前者可能要做很多工作。我的意思是，tairan可以作为这个数据集的一个sample 之前老板也和我严肃讨论过这个问题。做科研

不要回应外星人

今天我仔细思考，我终于明白，ai和人类的不同。 构成人类需要更多信息，思考，人的感知其实不只是语言文字，还有触觉等等。这部分信息有可能是稀疏的，但是还是存在的。另外我意识到，人类对长文本大信息的处理跟现有的模型不太一样 我最近在拯救一个AI生成的项目。我在改代码的时候，也在思考，为什么AI会这样想。我发现AI和我就像软件工程里不同的员工，多人的协同会遇到冲突。 系统复杂度与长上下文不是等价的关系，

接下来的blog写什么好

我对我的博客进行了浏览数据挖掘和分析，并且把最重要的博客交给了AI阅读。我发现AI给我的反馈很死板并且很无聊，我从而意识到我应该多加入一些有生活气息的博客内容，他们应该文字不多图片多短平快显示我的生活状态。接着我把这个需求交给了AI，它来制作一个新的板块。经过探索我认为应该做一个类似微信朋友圈的模块，然后我就可以在博客发朋友圈。 但是为什么要在博客发朋友圈而不是在微信发朋友圈呢，我觉得这样可以展示