Chunked KV-Cache Compression

A nice paper showing a problem inside the Chunked KV-Cache Compression. https://arxiv.org/pdf/2609.36322 Models like dpskv4 used chunked kv cache compression, it compressed 8 tokens each time into a k

The bitter lesson

https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf Most AI research has been conducted as if the computation available to the agent were constant (in which case leveraging human knowledg

Large Scale Machine Learning

机器学习优化公式学习笔记 主题：Lipschitz 连续性、Lipschitz smoothness、quadratic upper bound（descent lemma）、strong convexity、PL inequality，以及梯度下降的一步下降、contraction、linear/geometric convergence 和 condition number。 记号约定：目标函

听Tianyin Xu老师的播客

我第一次知道Tianyin老师，是我在翻各个学校导师主页时看到了他的主页。Tianyin的主页非常有意思，让我发现原来兴趣和学术可以这么硬核地展现。刚好我妈在旁边，笑着说感觉这个老师的风格和我很相似。可能是因为都看起来喜欢技术？后来25年我在芝加哥的时候去了两次UIUC，但是老师刚好都不在，后来才知道Tianyin那时在MSRA。结果26年我来了MSRA，然后老师又走了哈哈哈。 我刷到月球大叔的播

阿里云百炼 Qwen 请求 Trace 分析

数据来自阿里云百炼上的 Qwen 推理集群，Apache 2.0 开源。 文中统计均由全量扫描四条 JSONL 得到（每条数据约 2 小时）。 这份开源请求数据集的仓库存有2小时 C 端聊天、B 端 API、长思维链、代码助手四类流量。 这是什么数据？ Qwen-Bailian Anonymous Dataset 每条记录有到达时间、输入/输出长度、会话父子关系、请求类型，以及按 16 token

劝学

吾尝终日而思矣，不如GPT之所学也；吾尝跂而望矣，不如GPT之博见也。 骐骥一跃，不能十步；驽马十驾，功在不舍。虽有智能，独学而无助，终有所穷；若使万千智能体协同而行，分工推演，昼夜不息，则其所成，非一人之力可及也。 君子生非异也，善假于GPT也；善用其智，善借其力，善合众 agent 之能，以成一己之业。故知明而行无过，非尽由己能，亦在善假外物也。

Caseboard：像侦探一样做科研

我一开始想写的是一篇博客，记录我在AI coding和research里对软件工程新的想法。比如我们曾经经历了“如何让新agent接手学习老agent的代码”，“让人类拯救被agent毁坏的代码工程”这些故事。但是我发现，我的这些观察都非常的零散，当我开始用一个结构化的语言去讲述他们的时候，我总是不知道怎么衔接和叙述 后来有一天我开始用意识流或者魔幻现实的视角去描述，发现效果非常有趣。大概故事的内

宇宙冷漠

到达了学校。今天整理了电脑，准备了明天给老板画饼ppt，讨论接下来的工作。思考了未来，并且得出了读博目标，那就是身为正常人活下去。我意识到ai的进化太快，任何科研目标可能在后面都将过时，所以干脆不制定目标，想做什么就做什么。只要不被街头黑帮枪击就算胜利。明天跟组里同事聊聊，整理之前一篇博客。 阿姆达尔定律是一个有趣的定律。它的本质是在介绍，一个工作流能被并行加速地多块。如果把AI当作加速器，原本的

牛来

目前我认为三个Agent和人类最后的困难：long context，持续学习，稀缺数据点。 爱上问题，而不是爱上方法。 做一个MVP。 金字塔的叙事。 https://www.normaltech.ai/p/what-will-be-left-for-us-to-work 原来是 LLM 生成文本啊，不知道的还以为是把输入剁成一堆拿大量文本统计出的最常见字符串组合的词元，高频组合各占一个词元而生僻