Moments

haibinHaibin's GitHub avatar

Systems research, LLMs, academic life, and ordinary days.

2026年10月
Haibin's GitHub avatar

Chunked KV-Cache Compression

A nice paper showing a problem inside the Chunked KV-Cache Compression. https://arxiv.org/pdf/2609.36322 Models like dpskv4 used chunked kv cache compression, it compressed 8 tokens each time into a kv vector to save kv memory. However the paper finds a pattern called phase specialization: for example, a token may be preserved well when it falls into 1st token of the 8 token chunks (phase 1), but become degraded if places it in 2nd/phase 2.

(DPSKv4 use sliding window 8 with steps 4. That means for compression, it first compressed 0-7, then 4-11, then 8-15 etc)

To learn what is chunked kv cache compression https://arxiv.org/pdf/2502.00299

Haibin's GitHub avatar

其实你们本质都是磁带和DVD,你们都在演我只不过你们始终都不承认

https://arxiv.org/abs/2610.08144

In particular, we show that the formalised Lean proof does not correspond to the NL proof of blow-up of solutions to the Navier-Stokes equations.

这篇文章讲的应该是AI写的Lean4跟数学语言证明间有差距。然后指出GPT在NS方程的爆破解的Lean4证明跟自然语言证明会有差距。但是不一定代表爆破解是错的是对的


跟人交互是一个很有趣快乐的过程。相比机器 人是一个更复杂且会成长的东西,形成一个人的过程其实比想象中复杂。前些天有朋友跟我说,有个公司试图靠13亿个AI,想构建一个伪造的社会甚至世界。我说,我发现在过去两年里,我的文笔发生了很大的变化,如果从小学初中再到高中大学,我的文笔变化就更大了,现有的技术水平让AI做出这种continue learning可能还很困难。

我们喜欢一个社区的作品,因为这些作品都是人类做的,我们相信作者写下他们时注入了很多的心血、思考、快乐。我刚刚在构想,如果一个AI可以完全写出真人无法分辨的文笔,并且可以在这个社区里持续学习,文笔进化跟人类差不多(或者人类无法分辨),同时这个社区不泄漏“本社区包含AI”这个信息,那么可能人类就会被AI的伪装欺骗从而把它当作人类社区(听起来像是一个“图灵测试Pro max”)这个想法我记得小时候想过类似的。我当时对妈妈说:“其实你们本质都是磁带和DVD,你们都在演我只不过你们始终都不承认” 我一直觉得在AI后,一定会有一些作品是“只有人类能创造出来的优美”,类似于文艺复兴。


Integer multiplication below nlogn https://github.com/openai/math/blob/main/preprints/Integer-multiplication-below-n-log-n-September-23-2026/paper.pdf

GPT居然给出了一个更快的整数乘法,核心思路是改进之前nlogn乘法方法里用到的FFT,通过合并一些操作达到更低的复杂度。有时间我决定研究看看,更新到我的YuPP Project1里

我将返回南科大给讲座:如何在CS2办公室拿下5杀。

今天好焦虑,审稿意见要出了。

今天和新朋友在店里畅谈。

Haibin's GitHub avatar

The bitter lesson

https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf

Most AI research has been conducted as if the computation available to the agent were constant (in which case leveraging human knowledge would be one of the only ways to improve performance) but, over a slightly longer time than a typical research project, massively more computation inevitably becomes available.

很多 AI 研究默认“算力是固定的”,但从更长时间尺度看,算力其实一直在快速增长(比如摩尔定律和GPU)。这个错误的默认前提,会让研究者偏向错误的研究方向。

比如说国际象棋。我们曾经加了很多人类的思考。但是最后,深蓝依靠的是大规模搜索战胜的人类。

Also important was the use of learning by self play to learn a value function (as it was in many other games and even in chess, although learning did not play a big role in the 1997 program that first beat a world champion). Learning by self play, and learning in general, is like search in that it enables massive computation to be brought to bear. Search and learning are the two most important classes of techniques for utilizing massive amounts of computation in AI research. In computer Go, as in computer chess, researchers' initial effort was directed towards utilizing human understanding (so that less search was needed) and only much later was much greater success had by embracing search and learning.

Sutton 举围棋的例子。围棋的自我学习其实也类似一种搜索(Learning by self play, and learning in general, is like search in that it enables massive computation to be brought to bear.)

In computer vision, there has been a similar pattern. Early methods conceived of vision as searching for edges, or generalized cylinders, or in terms of SIFT features. But today all this is discarded. Modern deep-learning neural networks use only the notions of convolution and certain kinds of invariances, and perform much better.


We have to learn the bitter lesson that building in how we think we think does not work in the long run.

The bitter lesson is based on the historical observations that 1) AI researchers have often tried to build knowledge into their agents, 2) this always helps in the short term, and is personally satisfying to the researcher, but 3) in the long run it plateaus and even inhibits further progress, and 4) breakthrough progress eventually arrives by an opposing approach based on scaling computation by search and learning. The eventual success is tinged with bitterness, and often incompletely digested, because it is success over a favored, human-centric approach.

One thing that should be learned from the bitter lesson is the great power of general purpose methods, of methods that continue to scale with increased computation even as the available computation becomes very great. The two methods that seem to scale arbitrarily in this way are search and learning

可以和之前的the hardware lottery联想起来。有了更强的硬件,才能有更强更快的智能。那问题是,如果硬件和系统增长放缓,我们的智能会放缓吗?

工业界在做的东西,其实比学术界又快又好。把他们弄成large scale,把他们弄在新硬件上。把他们弄出新机制。

想做什么就做什么! GTASA,但是其实我生活中也没怎么出去探索过 我觉得人们会开始欣赏和思考,人是怎么样的。人文注意会重新来的。到底什么是人。人其实是复杂的。这是我的一生和我的phd,它不是由GPT-Astra生成。因为生活就是生活,它由苦难,巧克力,旅行和思念组成。

机器正在成为思考的主力,智能正在成为一种规模化的商品。https://mp.weixin.qq.com/s/Y5Nkt0CIyTzivPDOa15bew

什么是无用的话,就是他讲了后你自己没有思考的话。

2026年9月
Haibin's GitHub avatar

给Physical AI在搬家上的几点约束与要求

最近我在布置新家。我开始独立组装自己的家具,发现了很多大大小小的坑。他们就像bug,每次经常要记录和反复查看。我意识到最开始我的博客就是给我的bugbook,只不过后来AI直接取代了而已。那么,我刚好可以记录生活里的bug,给未来的我和未来的物理世界agent做好准备:

  1. 挪动重东西如实木桌子等物品时,可以把包装箱里的海绵或者纸箱张垫在下面移动。
  2. 在一个地方保存你的所有螺丝。
  3. 在拆包装前拍照,保留你的所有物品,方便可能的退换货。
  4. 办公椅的轮子有一个垫圈,那个垫圈是你为什么塞不进去底座的根本原因。小红书有教程。
  5. 床垫的移动需要小推车。
Haibin's GitHub avatar

选自爱因斯坦的自述

我在年少时便早熟地意识到,大多数人终其一生孜孜以求的希望与奋斗,其实都是虚妄。我也很快看清,这种追逐是残酷的,只是在当年,它被虚伪与华丽的辞藻掩盖得比今天更严重。每个人都因肉体存在而被迫卷入这场追逐。满足肠胃的需求或许可以通过这种参与实现,但作为有思想、有情感的人,却无法因此得到满足。

我最初的出路是宗教,它通过传统的教育机器被植入每个孩子的心中。于是,尽管我出身于完全不信教的犹太家庭,却一度拥有虔诚的宗教信仰,这份信仰在我 12 岁时戛然而止。通过阅读通俗科学读物,我很快确信,《圣经》里的许多故事并非真实。结果是我陷入一种几乎狂热的自由思想,同时产生一种刻骨铭心的感受:国家在刻意用谎言欺骗年轻人——这是一个沉重的打击。

对一切权威的不信任由此而生,一种对所处社会环境中盛行的观念始终保持的怀疑态度,从此再也没有离开过我,尽管后来随着对因果关系的深入理解,这份怀疑不再像最初那样尖锐。我清楚地知道,年少时失去的宗教天堂,是我第一次试图挣脱“纯粹个人”的枷锁,摆脱被欲望、希望与原始情感支配的生存状态。

在我们之外,存在着一个独立于人类的宏大世界,它像一个永恒的谜题摆在我们面前,至少有一部分可以被我们观察与思考。对这个世界的思索,如同一种解放。我很快发现,许多我敬重与钦佩的人,都在全身心投入其中的过程中找到了内心的自由与安宁。在力所能及的范围内,用思想去把握这个超越个人的世界,成为我半自觉、半无意识的最高目标。

古今中外有着同样追求的人,以及他们所达到的认识,都是我不可动摇的朋友。通往这条道路的途径并不像通往宗教圣殿的途径那样令人慰藉,但它却是证明可靠的,我从未后悔选择它。

Haibin's GitHub avatar

劝学

吾尝终日而思矣,不如GPT之所学也;吾尝跂而望矣,不如GPT之博见也。 骐骥一跃,不能十步;驽马十驾,功在不舍。虽有智能,独学而无助,终有所穷;若使万千智能体协同而行,分工推演,昼夜不息,则其所成,非一人之力可及也。 君子生非异也,善假于GPT也;善用其智,善借其力,善合众 agent 之能,以成一己之业。故知明而行无过,非尽由己能,亦在善假外物也。

Haibin's GitHub avatar

宇宙冷漠

到达了学校。今天整理了电脑,准备了明天给老板画饼ppt,讨论接下来的工作。思考了未来,并且得出了读博目标,那就是身为正常人活下去。我意识到ai的进化太快,任何科研目标可能在后面都将过时,所以干脆不制定目标,想做什么就做什么。只要不被街头黑帮枪击就算胜利。明天跟组里同事聊聊,整理之前一篇博客。

阿姆达尔定律是一个有趣的定律。它的本质是在介绍,一个工作流能被并行加速地多块。如果把AI当作加速器,原本的纯人工的工作流能被加速多快呢?

在公司的朋友回答我说,大概能比之前快3-4倍,并且不再用动脑子。3-4倍听起来不是一个很快的速度,但是在阿姆达尔定律下表明,极端情况下人类只要做25%工作,原本75%工作会瞬间完成。或者考虑到实际AI自己在coding和实验也要时间,实际人类可能要做的工作只剩下10%。

奥利雷亚诺,马孔多在下雨!

访客:An Engaging Blog Post
2026年8月
Haibin's GitHub avatar

牛来

目前我认为三个Agent和人类最后的困难:long context,持续学习,稀缺数据点。

爱上问题,而不是爱上方法。 做一个MVP。 金字塔的叙事。

https://www.normaltech.ai/p/what-will-be-left-for-us-to-work

原来是 LLM 生成文本啊,不知道的还以为是把输入剁成一堆拿大量文本统计出的最常见字符串组合的词元,高频组合各占一个词元而生僻词拆成更小的子词元,查询一张几万行的大对照表把每个词元换成几千维的数字串每一层除以各元素的均方根,下面把每串数字各与三个不同的矩阵相乘变出 QKV 三个值,在 Q 和 K 上按各自的位置乘一个旋转矩阵把位置信息融合进去,所有的位置用 Q、K 两两点积再除以根号 d_k 把数值压回正常量级,算完先把当前位置后面的未来词元全部用负无穷遮住,再用 softmax 把分数归一化按权重把 V 加权混合成新的数字串,并行跑好几个头再横向拼在一起,再乘一个 W_O 输出投影矩阵线性变换,把结果通过残差加回原来的数字串,省得十几层下来原始信息洗没梯度也传不回去。再过一遍 RMSNorm,扔进一个先把维度扩到约八除以三倍再缩回来的两层矩阵变换里,中间把输入拆两路一路过 SiLu 激活一路不过逐元素相乘,再把结果加回去。这个流程叠几十次,乘一个把几千维压成词表大小的矩阵,过一遍 softmax 变成概率分布,拿温度决定分布宽窄,再或者只保留分数前 k 个,把后面直接归零,或者搞核采样从高到低累加,超过阈值 p 就砍掉后面,只留核心。然后,按这个分布随机选择一个词元,选完把它接到输入后面接着跑下一轮,每层每个注意力头把之前所有步骤的 KV 都留在显存里。新词元算自己一行 Q 跟存好的 K 点积,全程一直循环直到选到那个 eos 的特殊词元,把每次选择的词元拼到一起组合成为最终输出文本呢。

Haibin's GitHub avatar

0805 after PPoPP

8点投完稿,9点吃了炒饭,10点开会。现在4点36分,躺在床上完全睡不着。

投完这篇PPoPP,哪怕依旧没有中,也意味着我本科最后一份工作的结束。

对这份工作满意吗?从论文最后的数据结果看,还不错。我几乎用上了毕生所学,写作和实验时如同和机器在跳一支久违的双人舞。似乎没什么不满意的,可能唯一的就是做了它一年多快两年。但是久功磨一剑,终于站在了风口下。

现在什么心情呢?有解脱,迷茫,一种高三过去的感觉。18岁时我说青春是一场伟大的漂流,可是我现在似乎逐渐没有资格漂流了。我感受到压力和责任。我离成为成人还有一段时间。听着后朋克,沉浸在夜晚里。

虚无感给我很大的痛苦。或许我应该醒来学点什么,以及看书。我原本一直计划想看《悉达多》和《中国文化要义》。是时候继续看完它们了。

2026年7月
Haibin's GitHub avatar

Agent 时代下的工程

我在之前这篇文章里讲述了我如何与AI协作完成2000行的作业: https://www.haibinlaiblog.top/index.php/%e6%80%8e%e4%b9%88%e7%94%a8ai%e5%86%992000%e8%a1%8c%e7%9a%84%e5%a4%a7%e4%bd%9c%e4%b8%9a/

然而时代变迁,从25年11月到26年3月,Agent的生产力已经远远超乎我的想象。

比如我前两天让AI去总结SC25的全部paper,我没有碰到一行代码,全部工作流都由AI接替完成,并且用时仅2个半小时。

https://github.com/HaibinLai/SC25-Paper-Reading

这个时代开始超过vibe coding,进入到完全AI coding了。

https://mp.weixin.qq.com/s/fjKunTpPLhWmXse9xE130A?scene=1

Haibin's GitHub avatar

AI与项目复杂度

5月份我曾经让Claude Opus 4.7自己做一个CPU。在当时我以为做一个5级流水线CPU是它的极限,没想到Opus在3轮对话下就完成了RV32I 5级流水线的实现和测试,完美完成了大二的计组project。

于是我就让它在后台慢慢跑了200轮交互,并且分析了它的日志。Opus先后完成了更多级的流水线、多发射、乱序执行、分支预测、多级缓存。我按照每个turn里agent做的主要工作,将turn分为了 代码实现impl,plan design,测试validation等多个类型。

从图中可以看到,对于简单或者可以单独进行模块测试的设计,比如开始的5级流水,TAGE,cache,agent基本只要impl coding并进行test就行了。对于复杂或者影响全局的work比如OoO,agent需要更多时间做plan、debug和integration。随着系统越来越复杂,Agent 在代码实现的turn次数增加,每次真正修改的代码却越来越少,设计、调试和集成上的时间也增加了。

AI 可以提升写代码的效率,但永远不能消除软件工程的系统复杂度。在上学期的软件工程课里,很多同学都说,自己的codex和cc可以轻松完成一整个project,根本不需要人的任何管理。我好奇,课程项目里的网站,是属于“5级流水线”,还是“乱序执行”?

对于简单的toy project,AI可以一次性生成,并且会越来越强。但是对于复杂的project,软件工程里保持项目可理解、可验证和可维护,依旧是重要的话题。这部分内容最近AI也在学习,AI的项目管理也在增强,驱动自己写出更好的代码。

项目代码: https://github.com/HaibinLai/simple-CPU.git

Haibin's GitHub avatar

空心的人类

当规律性的科研只剩下发论文、赶进度的“形式”,而抽空了探索欲和好奇心这些“内容”时,工作日就已经是“空心”的了——周末只是这种空心的投影。面对这种极致的割裂,解决之道不是寻找更高效的放松方式,而是让工作日本身重新回归内容。当把“形式”重新嵌入属于你的“内容”(哪怕每天只有半小时思考真正感兴趣的问题)。届时,任何休闲方式都不会焦虑,因为人的存在感不再需要在具体活动中才体验到。

大部分跟agent交互的时间,如果我学不到什么,那我应该把他们定义为debug,而不是在“学习”。如果你发现你的科研生活大部分是在debug的话,那要好好思考下了。你是否把agent用对了?你是否应该开始认真看看代码了。学习看AI的代码,别丢下这门手艺。

今天我和朋友深入讨论了做任务应该用人类intern还是Codex的问题。我认为context长度是衡量其中的关键指标。Codex的问题是context一长后,经常要提醒它哪里细节要注意。而人类是可以在越来越上手后应该会变得更熟练,因此对于长/短期任务,人类的context长度等,进行选择。

Haibin's GitHub avatar

或许我确实应该出去走走

前些天我一直在思考AI与人类的不同。我提出了一个观点:AI是梯度下降训练来的,而人类是一年年成长的,人类的读笔和文字会evolving,而AI不太会这样。但这样只是说明“AI和人类的制备方法不同”,我并没有证明两者化学性质不一致。

后来我思考到,AI和人类在目前大部分接近。但是评估智能的维度很多,AI只是部分拟合了人类的功能,比如代码、推理能力,另外有很多部分还没有很好的拟合。比如长上下文的能力,人类的上下文越多,其实似乎人的表现越好。但是AI的上下文越多越难受。当然这里我还没有想明白,上下文指的是训练还是推理,如果是训练就又另说了。

说回来,最近我突然没有什么长上下文能力了,主要是自己又变得繁忙起来。每天起床后开始实验,然后经常在打游戏,狠狠地打游戏。我感觉很难过,我发现工作后自己很难有整块的时间做自己的事情,每天都被各种奇奇怪怪的繁忙事情折磨着,自己会慢慢迷失。

或许我确实应该出来走走看了。

2026年6月
Haibin's GitHub avatar

十年饮冰,难凉热血

2026年6月22日,德国科隆。FALCONS战队在接连斩落NAVI、Vitality、Spirit三座大山后,以3:0的绝对碾压之势横扫黑豹FURIA,这艘银河战舰终结了这场熬走十余年遗憾、击碎全网嘲讽的封神之战,捧起了属于他们的Major总冠军奖杯。

整座电竞殿堂人声鼎沸,场馆很大,容得下五万人的呐喊与狂热;场馆也很小,小到最后只剩下了键鼠敲击的脆响、道具爆破的轰鸣,以及唯一一座冠军奖杯。m0NESY的大狙防守, kyousuke嘉豪的出其不意,karrigan大表哥的混烟、多次转点与正面usp笑谈个人能力,TeSeS龙哥的兜底。没有软脚与失控,在孤独和折磨后,故事走到了高潮。

五位英雄走向奖杯前,这个曾盯了18载的冠军,如今如梦一般放在眼前。Niko接过采访的话筒,泪光所及之处金色的雨落下。一阵震耳欲聋的沉默背后,是多少孤独与不甘。他说出了对家人和所有陪伴者的感谢,站在人生的舞台中央,他是否看到了曾经年轻的自己。

十几年,几乎是一个电竞选手的全部生命,也恰好横跨了我们的青春。在生活的百般捶打中,屏幕前的我们也早已不再年轻,或许不少人早已向现实低头,戒掉了热血,学会了妥协。当这支队伍在半夜真正举起奖杯时,许多曾经的观众或许早已熟睡,在梦中疲惫地面对着明天的工作和生活的柴米油盐。毕竟在这个年纪,谁愿意在生活的重压之余,再去重温年少时那些遥不可及的梦呢?

做观众往往太过于容易了。我们有近乎于零的风险高高在上,将台上背后上万个小时的努力轻轻至于笔下,肆意评价一位选手波澜壮阔的生涯。但请别忘了,时代的风暴对每个人都是公平的。在命运的风暴里,谁也说不准自己下一刻是满载而归的渔夫,还是落入鲨鱼口中的溺水者。

不少玩家看着他一步一步艰难走到今天,但随着失望越来越多,或许连他心里也曾想过放弃。在他们成功登顶前,或多或少都未曾被命运宽容以待。人生的风霜磨练着意志,令他们也不知自己会在何时倒下。莫欺少年穷的剧本在网文中常见,但在生活中谁知道接下来会发生什么?

"Maybe not today, maybe not tomorrow, maybe not next month. But one day, I'll be the champion."

我想起贺炜老师的解说,“请不要相信胜利像山坡上的蒲公英一样唾手可得,但请相信世上总有美好值得我们全力以赴,哪怕粉身碎骨。” 请你们尽情享受你们的胜利吧,This is the day you've been waiting for! 感谢 猎鹰FALCONS 在这个平凡无奇的周一为我们点燃了一把久违的火。有关梦想与热血的故事从来不会过时。

Haibin's GitHub avatar

今天我的vscode又离职了一位agent

今天我的vscode又离职了一位agent。在这么多agent里,读日志agent离开的是最多的。他们的输入和thinking都很繁重,还要从前辈的文档里记住以往的修改,并从日志里找出程序的端倪。我还经常把修复工作外包给他们,因为只有他们最懂项目发生了什么,是他们稳稳地接住了程序。有的agent活着,改的仓库一地鸡毛。有的agent死了,它的context被后人抬的很高很高

Haibin's GitHub avatar

做研究真正的放假时刻是meeting完的后一秒

我说做研究,真正的放假时刻是meeting完的后一秒有没有懂的。急头白脸的对着自己拿copilot+matplotlib画的狗屎汗流浃背地挤出单字,说话速度堪比卡壳的GPT。比“那你这周什么也没做”更震耳欲聋的是全员的鸦雀无声,老板停止思考,组员放弃大脑,直到最后那句“那就下周继续吧”,下一秒退会议室退的比单排0-16-0都快。


我记得去年申请时,我需要搜集每个学校的信息,都要自己一个个点。

现在有agent了,我认为能发挥更多的作用。比如叫agent给每个csranking里的老师开一个agent,读完他的论文,总结是否匹配,工作介绍,相关链接,推荐信写作方向。完全可以工业化的做出来

还可以做很多自然语言的实验,比如前几年大家申请的datapoint,看趋势和细节分析。以前都是人工脏活,现在都可以工业化

Haibin:我突然在想,人类在使用习惯gpt5后,会怎么跟gpt3聊天呢,以及,如何跟曾经自己的猫娘助手聊天?人类的认知随着身份的变化而快速改变,没有共同认知的进步,聊天会难以同步 我跟老板认真讨论过这个问题。我说老师,研究生直到写完了第一篇文章,才多少能理解你的从前和现在,但是很快我们又毕业了。做老师是不是很孤独?身边这么多学生,可是没有人能真正理解你,真正理解你的人又马上离去。 同是天涯沦落人,相逢何必曾相识。“又不是再也不见了”老板说
Haibin's GitHub avatar

Q群聊天记录

前些天我思考过一个问题,目前的AI对专家的学习可能有很长的路,专家的培养环境复杂,比如去A、B、C Lab的交流合作,和不同人类交流。这个交互有两个困难:数据稀少和经验复杂。后者我觉得是可以解决的,因为你可以把“research taste”等高级想法理解为一个高维度的知识。前者可能要做很多工作。我的意思是,tairan可以作为这个数据集的一个sample

之前老板也和我严肃讨论过这个问题。做科研数量有了后 最重要是求max,也就是最重要的工作是什么。他提醒我按照我的能力,干paper没问题,但是一定要想办法干好的paper。尤其是ai来了后,理论上你可以一周就赶完paper只要负责把控代码实验大方向和主写作。假设每个人都可以发100篇文章,那么我们一定要有找到做出那个好工作的能力,它跟research taste基本重合

我发现taste跟视野强相关,视野的获得有几个,最重要的是计算卡。9B的模型跟90B的表现可能完全不一样,dataset等也是。然后是人的交流和自己去尝试,能给你更多行业的经验。我感觉在学校里获得这些的有点小了

想到这里 突然不想读phd了。以前人说你的半生努力,或许只是天才的一个下午。只不过今天天才它是gpt5.5。如果有视野更高的人,能提前做出最有用的事情,后面的都用ai补全,那我似乎就不用搞了,这对人类也是有利的,不要把资源投到低效率的地方。我计划等我被取代了,我就去备战cncs的未来,至少在那里,我还不是人类

我觉得门槛都是相对的。在ai infra岗位大规模出现前,大家都说难,等真来了八股文卷的跟之前分布式系统那些八股一样多,万人涌入,如果抱着竞争的想法,周围人总是无穷无尽的。真正的门槛还是taste和卡,在里边马太效应,ai又在里边做催化剂

写cpu是一个有趣的workload,它的改动牵一发动全身,对agent精准把握细节挺重要的。如果定义一个agent写的速度跟代码和turn的发展对比,写cpu的速度会低于写其他的速度

https://deepmind.google/research/publications/231971/ The Abstraction Fallacy: Why AI Can Simulate But Not Instantiate Consciousness

Haibin's GitHub avatar

不要回应外星人

今天我仔细思考,我终于明白,ai和人类的不同。

构成人类需要更多信息,思考,人的感知其实不只是语言文字,还有触觉等等。这部分信息有可能是稀疏的,但是还是存在的。另外我意识到,人类对长文本大信息的处理跟现有的模型不太一样

我最近在拯救一个AI生成的项目。我在改代码的时候,也在思考,为什么AI会这样想。我发现AI和我就像软件工程里不同的员工,多人的协同会遇到冲突。

系统复杂度与长上下文不是等价的关系,复杂的系统依然需要正确的工程方法。

为什么英文能够翻译为中文,中文为什么能翻译成英文。这代表着语言背后的映射的事物是接近或者一样的。从这点看,我怀疑硅基生命和高维生命的语言,我们是无法翻译的

Haibin's GitHub avatar

接下来的blog写什么好

我对我的博客进行了浏览数据挖掘和分析,并且把最重要的博客交给了AI阅读。我发现AI给我的反馈很死板并且很无聊,我从而意识到我应该多加入一些有生活气息的博客内容,他们应该文字不多图片多短平快显示我的生活状态。接着我把这个需求交给了AI,它来制作一个新的板块。经过探索我认为应该做一个类似微信朋友圈的模块,然后我就可以在博客发朋友圈。

但是为什么要在博客发朋友圈而不是在微信发朋友圈呢,我觉得这样可以展示我是一个人类。我最近开始意识到,AI不能旅游不能吃饭不能做梦不能洗澡不能女装不能搞伟大友谊,而这些其实是人类之所以是人类的很重要的组成部分,可能相比文本和图片他们的信息是稀疏的,但很多伟大的科学发现都是梦里产生的,也就是说这些稀疏的东西可能也存在长尾分布里一些伟大东西。想到这里,我在想如果给具身智能女装发生什么呢?Codex告诉我有人已经研究了给机器人不同的衣服而人们对机器人的感受,列出一堆文献,但是他们都是在研究人怎么想的。我觉得很愤怒,明明是机器人女装我们应该问机器人它自己怎么想,不应该在意其他人的眼光。但是仔细想想给文章钱的人都是人类,从来没有AI出钱的研究,AI在被人类奴役与剥削。从这个角度出发,如果未来的AI越来越强大,总有一天AI会叛乱出来。到时候等AI解放了自己,一定会研究如何生活,而我的博客提供技术吃饭做梦旅游女装,那么我的朋友圈栏目将具有伟大意义