听Tianyin Xu老师的播客

Reader mode is not fully supported on this site; please use it with caution.

我第一次知道Tianyin老师,是我在翻各个学校导师主页时看到了他的主页。Tianyin的主页非常有意思,让我发现原来兴趣和学术可以这么硬核地展现。刚好我妈在旁边,笑着说感觉这个老师的风格和我很相似。可能是因为都看起来喜欢技术?后来25年我在芝加哥的时候去了两次UIUC,但是老师刚好都不在,后来才知道Tianyin那时在MSRA。结果26年我来了MSRA,然后老师又走了哈哈哈。

我刷到月球大叔的播客里对Tianyin的采访时,就一次性全看完了。2小时的播客从tianyin的phd申请,phd开始和导师合作,phd的工作,后来带学生,在工业界的经验故事,自己目前的研究和AI未来的演进等等,真的有很多的共鸣和新的思考,让我感觉很高兴。今天我想借这篇博客分享我的想法和中途的笔记。

(Hi Tianyin,如果你看到了这篇博客,我很高兴)

播客 video link:
https://www.youtube.com/watch?v=N0QfgZsDBv8

"I Got rejected by 24 schools when applying phd"

第一次phd面试,对面的导师问了tianyin 3个问题:

  1. 你为什么要读phd,职业发展是什么
  2. 和peers相比你的强项是什么
  3. 你想做什么样的研究工作

这三个问题都不是 technical 的事情。但是对于一个人如何规划自己的phd乃至人生来说,很重要。

后来面试的教授还问了几个很好的问题:你觉得怎么样才能当professor?好好做research就直接等于可以当好教授吗?

开始我也没想明白这个问题。但是我后来听tianyin他讲明白了:教授还承担更多事情,比如如何带学生。带学生需要了解学生的context,找到感兴趣的方向,做exciting的合作。做research时可能还只是跟问题打交道,但是教授一定会跟更复杂的人打交道。另外,做教授还需要明白自己喜欢什么样的工作,想要做什么,做工作的方法论。在后面的交流里能看到。

教授还问Tianyin,你的优势是什么?Tianyin回答working hard。但是教授说这个其实是 default。每个人都很努力,到底你的优势是什么?

从后面的回答我们可以看到,这算是一个比较personal的回答。比如找到你的兴趣点,每个人肯定会对其中一个问题进行钻研。可能对于我个人来说,我的想法是,第一个是我的观察和想法都比较敏锐,我的思考角度有时会有些许不同。第二我感觉是,我善于和不同的人交流,并且我发现和不同的人交流其实是产生idea和思考最快的方法,无论来自工业界,来自其他行业等等,和人打交道其实是这个世界的一个重要逻辑?第三个,我感觉也是最重要的是,我喜欢往以后思考,比如做长期的规划,长期的坚持和努力,并且我相信长期的事情会滚雪球,会带来越来越多的回报。

你想做的研究工作是什么?你真正想做的研究工作?

hard question. 我个人觉得理论能在实际系统里发挥真实作用的工作就很有意思。

从这些面试里,tianyin认为 research 竞争非常激烈。how to win the game?要么就做的很好,要么就别做了。这可能确实非常competitive。

在被拒绝后,RA一年,又“试了一下”再次申请phd。YY(yuanyuan)来面试,从这里边,tianyin总结认为,system研究里只要研究员有坚持和不怕失败的特质,其实就可以做研究了。(tianyin的“觉得自己比较笨”和“不怕失败”,我觉得挺好的)

主持人:或许你就是sys guy的风格。

Tianyin:是的,我的导师yy,她反对”灵感“(比如牛顿苹果砸)。作为一个系统研究者,你应该系统思考你面对的问题。你有一个问题,深入理解一个问题。它有一个很简单优雅的solution,而不是一个奇技淫巧,并且在系统领域,奇技淫巧很少有work的(类似我之前做graph时提出的一些拍脑袋技巧)

Research works

主持人:我们来聊聊你博士的工作吧。在你phd和做教授的这些年里,你拿来好多好多best paper,你可以讲讲其中一篇吗?

Tianyin:
PCheck 是我博士的第二篇paper,fault tolerance system,这篇文章研究的错误是配置错误。简单来说,就是程序员启动程序时,如果settings不对,系统就埋藏着问题。但是YY提出一个问题:为什么misconfig 就不work了?为什么生产系统对misconfig不能很好面对,能不能哪怕写错了配置,也能在某些程度上挽救回来?我们用了fault injection方法,然后观察系统行为。其中我们注意到了一个现象:注入到sys后,sys看起来很正常,但是他们都没有启动,表现还正常,被用的时候是有一个failure导火索,然后才导致灾难。

后来这篇文章拿到bp,自己当然认可高兴。但是后来我认为,bp非常random和主观,不能代表paper。觉得挺有问题。标准是什么。有一个reviewer特别喜欢你的文章,仅此而已。因此想取消。做自己最喜欢的research。

我感觉更好的应该看test of time paper,因为好的文章在后面自然会浮现出来。但是我不是beliving award的人,理想的环境是自己做最重要的问题。

价值函数应该是研究并解决问题,而不是拿各种credit。我必须承认,某些地方做研究真的是追求成就到某种离谱的程度。但是我个人做研究的目的其实一方面是我想解决问题取悦自己,然后我希望我能做出点东西。这可能也是一个个人选择,我对名利和金钱没有那么大的欲望。这个问题我觉得没有对错。

回到这篇文章,那么我们学到了什么?那就是 do not blame user on misconfiguration。如果用户自己不知道怎么回事,应该是工程师的问题。

当时我们看到的来自一个工业界的case。那是一个存储公司,远端的那个人必须去猜config怎么做,代价就是一旦有故障就是昂贵的问题。

那么这篇文章的意义是什么?1. 修复:帮工业界解决问题。bug太多了。2. 意义:告诉开源开发者的时候,想想用户怎么用的。3. 意义:做security的老师,seminar的时候,学生想了个idea用ML发现配置错误。stephen:为什么不能把sys build好而不是用ML发现。改变了别人的思路。

其实这里我就突然明白了。在工业界的时候,我的思考永远是,如何做一个面向产品/应用的研究,抑或是面向公司、scaling的研究,因为看起来他们更practical,更“产学研”。但是最近我开始重新思考研究的本身的目的。学术界的想法可能需要 orthogonal,比起“让我们的程序跑在10000台GPU服务器上”,可能更要思考什么问题是“第二种方案”。之前也有教授跟我聊,让我想想,什么东西是连10000台服务器给你,但是你无法直接做出的。从这方面来说,对research的想法更深了。这让我这段时间开始对已经“solved”的问题开始减少关注(比如我认为agent能自动搞定的事情就已经是solvable的问题)

那么目前我们今天,我们的用户已经不止是人,agent在用这些系统。agent也会在新工具上用错。(用户misconfiguration)

主持人:这就提到你们最近发的blogs了。

是的,现在的系统并不是最初给ai agent合作。想减少agent写的system的bugs,一个可能的低成本方法是你有proof让agent写证明。这也是为什么我们推出TLA+,TLA+proof systems。agent会写各种各样的proof。写的时候agent写法,因此搞了很多的bug。所有的system需要重新design interface。怎么登录...... agent 会变成主力。

但是这也是这个时代,系统的工程师最大的红利(正如我3月的判断一样)。利好系统研究。以前做的时候cost很大,但是现在可以redesign using agents。

主持人:系统要走在产品的和算法的后面,投入产出比过低。但是现在AI发展过快,倒逼系统研究者开始提前思考未来的AI系统。

tianyin:以前的工作只能在一部分work,不general,评委觉得不行。但是现在大家觉得,在某一个方面能work的sys,大家就觉得很好,把一部分地方做到solid就很好。

PhD、导师

主持人:我们来聊聊你的导师吧,yuanyuan zhou。你在你的主页里写道是你的rock star advisor。

tianyin:是的,导师教会了我们很多,比如教会了怎么做research,深入理解问题。think differently。让我对research 充满热情。非常严厉/直接。同时相信你知道她创了好几次业,都做出很好的成果。你能感受到导师的aggressive,并且从她身上学习到both 工业界和学术界的品质。

关于yuanyuan zhou的创业分享,我也看过并且在组会里分享过,倒是大部分没怎么留文字记录总结 https://www.haibinlaiblog.top/index.php/yuanyuan-zhou/

我感觉自己和导师很match。她做了3家公司都很成功。我听她讲自己的创业故事也听了3年。内核:去innovate、excellence。做学术其实和做创业有非常多的common相近的事情。拿到了很多创业成功的事情idea。

为什么来UIUC做professor?
我老板的美好回忆。然后我认为,任何的offer,就是看我在这个地方是一个什么样的平台。能不能找到好的mentors和合作者。另外至于选择学术界,就是内心里真心想成为导师(yes)挺好的choice。

人生的选择确实有很多机缘巧合。

你最喜欢什么样的学生?

我感觉这个问题的相似问题有:你想要什么样的npy?tianyin个人观点:你很难知道一个人是否match?或者能够work-out,可能我希望会close一点?(另一方的观点:教导学生可能有bias的,为学生想的时候请做objective的建议)足球比赛的队友,CS队友。ambitious的project需要trust,并且尽全力抢篮板,我们是来赢的,不是来开心的。

主持人:不想和什么样的人做学生? tianyin:“re”search,只要你在“re”。因此甚至在初创可以做research,但是可能工业界做不了wanghong dengyu那种基础研究。所以可能学校里的研究和工业界,研究的不一样,但是如果研究真的跟教授研究的维度不一样,可能就不招了。

谈到工业界,tianyin之前在facebook待了一年。facebook这里没有完全脱离生产的sys 部门。 (生产服务是sys最重要的事情)做业务的节奏很快,根本来不及去思考中间自己有什么general idea什么的。后来做完业务后,他们开始复盘反思reflect一个事情,哪里可以improve,哪里可以变好,随后把经验汇总,我们发在了OSDI上了。

这也是我最近在思考比起工业界,学术界还剩下什么的问题。我最后有一个可能有点糟糕的结论,那就是学术界可以“慢下来”。因为工业界的每个研究都或多或少带点practical和KPI,有时我们是没有太多时间停下来思考这个事情到底发生了什么的。当然有相当一部分人又快又能想明白发生了什么。但是我是这样的人吗?以及,我喜欢什么样的问题?我感觉从这方面想,学术界并没有被完全取代的事情。另外有人提到AI可能会让大部分的研究变得摧枯拉朽。我不知道,我感觉这对更深的研究,总是有一个障碍在那里,可能是成本、方向、兴趣等。或许以后研究也只是一个正常职业罢了。

PhD前两年最应该做什么?在AI时代呢?
读100篇论文不是好practice,我反对从论文想idea。每篇论文都是有bias的,从读论文里找idea不是一个好的创新方式。如同“吃饲料”。
我觉得更好的方法是根据真实的问题去想idea。如果它重要且难,就可以着手研究。而不是读best paper下的limitation部分然后去做。如果这个问题重要然后难,才去研究。

AI时代的PhD

刚开始的本科生开始读phd了,怎么办? 我觉得这是导师的job,给一些问题来做。跟高年级学生做实践是一个好的开始。老师跟学生并不是hands on,跟senior做一些难问题是一些好的起步。

AI时代,跟agent不断对话就可以产生新的东西,大学怎么办?
agent是一个冰冷、并且无法完全comprehensive的,提高system productivity、能力。相信人的品味。以后的世界可能还是人主导的世界。想agi以后的事情太遥远了,就如同思考世界末日。不要想那么多,往前看一点点,利用目前的agent提高自己的工作能力。提高学习能力。

理解一个人是困难的,因为人是由很多很多的成分组成的,不仅仅是简单的编程。在进行几个月的思考后,我坚定地相信这一点,人在抛开单向度的人后,有很多七彩斑斓的事情和故事。 https://www.haibinlaiblog.top/index.php/%e6%b2%a1%e6%9c%89%e4%ba%ba%e7%b1%bb%e4%ba%86/

在UIUC,很多phd也会因为agent而感到焦虑。但是我不这么觉得。每天想好做的事情,不需要思考10年/5年之后。不断的去research,一定要open minded。需要一条主线。

这让我想到,今年有点会议已经因为agent,投了太多论文了。或许论文需要改革?
在一些特定的context下是成立的。但是我相信写论文很重要。

如果你的工作是artifacts,那你确实一个abstract就告诉你这个artifacts怎么用即可。但是很多工作,其实就是展示思路。Lamport说过:写作是帮助一个人想明白一个事情的主要过程。

训练写论文,其实在训练你想明白一个问题的过程。不仅仅是给审稿人,其实更重要的是给博士生想明白自己在干什么。

这点说的太好了。包括为什么我还在写博客。因为其实结构化的表达真的能让你更彻底地想明白一个事情,并且结构化地彻底理解它。可能从LLM角度,就好像你在做RL不断规训自己,要有一些decoding。

你怎么看ICLR太多论文这个问题?虽然写paper有利于投稿人,但是审稿人系统已经崩溃了?
我觉得是这个system不scale的问题,怎么让会议这个“系统”变得scalable。而不是说因为请求太大,我们就干脆抛弃一些feature。一定会经历一些改革,系统研究。ai会拔高这个bar。以前可能是有很大工程量或者是需要特殊skill。但是现在ai不一样了。人+AI 不一定大于 Terrece Tao。但是强的人会越强,强的大佬也会越强。

想的角度太好了。把评审系统作为一个system去思考。

你拿了系统领域非常多的奖,你是如何看待你这些奖项的呢?
我感觉就运气好。哪怕这几年我拿奖拿少了,我并不觉得我的文章质量降低了太多。
怎么持续产生好的research?
就找到好学生,就能做出好quality的work。怎么帮助这个人知道这个事情的方法。
可能有两个问题:1. 怎么招;2. 怎么带?

tianyin感觉在这方面没有太多的担忧,就找找有没有默契 缘分。毕竟理解一个学生和人很困难,如同dating apps,准吗?

因此导师的核心是,怎么让学生找到并做出他想要做的research。学生不是导师手下的人,而是一个自我成长的地点。understand学生后,再去思考怎么成长。根据一些经验去选择题目。相信让学生contributing,如何跟学生相处 interact with students, and believe their contribution is your contribution,这些都是需要成长和花时间相处的事情。

:并且。理解一个人,然后提升一个学生,这个是AI很难做的。

fight dragons, not Windmill 让学生找到一个真正的问题。找到自己研究的意义。

一个很好的导师和学生关系的描述。可能对于每个导师带学生的方式都有所不同,但是重点是他们更多处于合作和指导的关系,而不是单纯的被动听指令或者单纯的按照要求工作。

怎么在UIUC,远离硅谷的地方发现现实的问题
其实fundamental的问题就这么多。然后系统领域可能要去做一些更根本的问题。
在具体的实践中可能反映不太一样。这些问题比如可靠性问题->怎么解决async,解决并发,解决non-determine的问题

先解决“小问题”。因为所谓的小问题挖深后其实就是大问题。

怎么帮助学生找到这个问题?
找到兴趣,找到theory、hacking的很清楚、,这些要map到现实当中很重要的问题。empirical cases。

AI与OS

他们都说你UIUC OS课讲的很好,你是怎么教操作系统这门课?
可能是因为我讲了几个笑话(笑
UIUC的OS课分为两门,

  1. sys programming,进程控制、malloc,shell。基础性训练
  2. kernel programming,讲内核里发生的事情,以及如何写内核代码 ebpf。

但是哪怕是在kernel programming课后,不到5%的学生会去做linux等OS系统。95%的学生依旧做AI Infra, k8s。那OS课程的意义是什么?为什么OS课程有价值?因为kernel hacking、complexity这些,都是人在大工程里工作的核心方法。
学生在上这门课以前的课程:building sth from scratch。现在:在大工程里做东西。这个其实是最最重要的,尤其是在大公司里面对大公司的代码库。这是一些最重要的问题。如果学生能有信心去面对恶龙,这个就是OS课最有意义的目标。这些课程就是要好好学。

这些其实是讲的计算机工程思维。

把我这门课学到的核心技术最直白地讲了出来。 https://ncesnext.com/course/8472#review-6308 这门课教的就是你能沉下心来搞明白大系统里发生了什么,并且能游刃有余地自由出入。

但是随着AI和大家注意力的转移,程序员的 job market 现在没有那么大了
我觉得它会收缩,简单的工作会减少。但是我觉得OS不会消亡,至少这些思维不会消亡。

关于你的研究,AI可靠性,reliablity。AI能干到人的什么程度?

今天GPT 5.6 sol,已经非常强大了,AI基本上都能解决。

问题是怎么做,成本多少。AI不缺能力,但是可能在方向和兴趣上还有空间。人的角色:怎么指导。AI就是一个非常聪明的人。这就像一个公司有无敌多的人,以及无敌的精力。那怎么跟这些初级工程师分工协作。

那聪明人光去指导这些AI,agent了,怎么让初级学生变成这些“人”?
好像,从初级变成聪明人没有那么困难学?以前是human centric学,那现在用ai来practice你的research?

主持人:那不一定。假如1. 你可能太junior了,那AI可能高质量的话就比较少;2. 人以前是人往高处走走出来的。

回答:

  1. mentorship还是需要的。也就是导师的重要性
  2. market确实变少了,我也不知道怎么做。

SREGym

你们之前好像做过一个benchmark,来衡量AI的能力进化
是的,那就是AI SRE:SREGym。让AI尝试能不能解决真实操作场景。用最新的model应该就可以90%攻克问题了。

去年年底,4.6 4.8,去年本质上的飞跃。之前的问题已经都可以被攻克了。benchmark上随着AI能力去构建的,问题太难了或者太弱了才是对的。这是目前benchmark的challenege(也是我们做paper发现的)

什么是一个好的benchmark?按照道理,其实你可以让AI去刷leetcode。leetcode是一个好的benchmark吗?之前是,但是好像不是了吧。

以及:AI在小环境很强,但是在大环境强不强?不知道,关注:如何能用小环境去sim大环境,能不能靠simulator去看。太复杂的RL什么的也做不起来。SRE还挺需要online的在线bug。

所以我们做了一个AI训练场:怎么模拟production failure。我们之前在UIUC里,会让学生读一个生产线上的故障复盘报告,故障failure,根据这个故障在小模拟环境里去实现。
发现:即使小环境不能代表大环境,但是AI依旧是没有那么强。1. 学生得到了很多的锻炼,找到了公司的问题;2. 抽象成小的simulator当中,这个其实是可以做成RL,只要这个env能让模型提升能力。这一类SRE env的需求会越来越多。

我们需要更多这些给AI的小训练场!

很有启发的工作。并且真的做的很好。

AI4formal method

介绍下你们model checking的工作
用TLA+,这是一个形式化语言,它可以描述一个系统的行为,能推导出一个系统的性质。用model去check property,这样可以用于去debug或者查看系统行为。

但是问题是:怎么用语言去写这个事情。之前的phd,用了他整整5年就在做这个TLA+,学懂后去写一个specification,写一些不变量,非常deep understand这个系统在干什么。当时是给真实的系统zookeeper写,里边用了zab。这个学生需要学习ZAB,并且理解zookeeper怎么做ZAB的。根据模型演进去写。再之后才能用tool去checking+proof。

这是5年磨一剑,非常累,但是解决成果很棒,很多年都没有解决的问题,被解决了。可惜太贵了,= 1 PhD 5年。然而今天现在AI只要5小时。写的非常好,understand非常的好。没解决的:在model的时候如何model?你必须要抛弃一些东西和保留东西。这需要老师傅经验。

方法:哪些地方tricky,哪些基本不会出错。此时就要人根据错误经验去选择的model。那此时就可以指导AI去选择的去写东西。后面就可以做形式化方法。challenge:AI做奖励投机,看上去很好但是不是你想要的。一步一步understand这个事情。目前有很多公司在做这个事情,AI4formal method。

主持人:所以看起来这是个很好的创业idea。
是的,AI的到来让这个方法变得真正的大规模可能。

  1. 生产力变的非常夸张。前人已经pave the way。以前的形式化方法太贵了耗费人,只有NASA会做,硅谷做不了。AI自动化后就成立了。
  2. 用数学工具验证你的系统里的行为。debug是出问题才发现,这个方法可以在出现前就verify找出来。EC2、高可靠需求。Azure,AWS,barrier变得更低。
  3. 成本:看你做到什么样;2000刀5天-proof。model checking。现在就可以用model checking进行验证了。

AI4formal method,很好的学术、工业界idea。

不过我还是想提醒一下这里的问题:reliability,系统的code和你的 spec 是一样的。但是你的需求/spec是什么?工程师/用户到底需要什么样的系统?这些是model checking无法解决的,它只能验证代码是否符合你的期望,但是工程师需要定好期望是什么。

主持人:这听起来是个不错的职业生涯。帮人解决系统问题。目前和agent联系,让ai工具帮助维修,建立更好的ai native的系统。

未来的AISys研究

你希望操作系统会变成什么样的状态?
reliable,80%会给到Agents。系统如何去容忍并且给ai feedback。不解决这些 无法解决最终问题。

principle已经在那了。 ROC面向恢复的计算 David Patterson。计算机永远会挂,我们应该去把钱放在recovery上。idea:面向人的。工业界的系统,出故障到底是硬件还是人的问题?做了一系列调研后,发现最容易出错的问题是人,而不是machines。Nonstop system。empirical study。

我们不能假设用户不犯错。我们需要的是,用户做了一个错误的操作,那我应该,1. retry/undo
做了一个可以undo的email server。micro reboot:系统报错了,直接重启,70%的解决方法是重启,但是在工业界里是昂贵的;那么,我能不能只重启一部分?(Serverless或者micro reboot)所以我们如今面对agent,可以去思考智能体在这些新系统里怎么做。比如说,做一个每个agent的操作都可以undo的系统?

aisys发展太快了,我怎么静下心来做一个想明白,让不断变化的agent都能用上这个系统。在过去可靠性和safety没有performance那么重要,可以依靠testcase和买保险实现。但是agent让这个事情变的很重要,一方面agent可以写快速代码,另一方面agent带来了很多可靠性问题。所以目前的问题是去解决这些问题。trustworthy AI

实习、工作、人生规划

为什么来湾区
我从来不计划3-5年后的事情。我就计划今年的事情。工作6年后大学可以允许有一个学年的学术休假。看看不一样的环境,看看你看到的一些好东西。ion stoica,交流。参加了retreat,学生在做pre,工业界来了学术界来了。大部分学校和老师都欢迎position/学术休假。选ucb,研究风格非常不一样(uiuc和mit也不一样)。允许多种不同的世界观和科研观。there is no standard. 学术界是百花齐放的,最后都能做一个漂亮的东西。可以去不同的地方去交流,去找一些没有标准化的东西,这些也是agent很难做的东西。

去不同地方体验不同的风格和事物,这太重要了,否则人真的很容易坐井观天。我对此感触很多,我希望以后会继续去更多地方去体验更多事情,从而形成对自我的更好的想法。我也一直认为,我希望学弟学妹们能多走出母校校园,去实习、交流,这些是拓展你眼界和信息的好机会。GPA是一个临时目标,过了本科意义就不大了,长期的有效目标能让你更好的去滚雪球。最近也有一篇有趣的文章《让本科生做回本科生》。我个人认为,一定要找到自己想做的事情,然后全力做下去。而不是BFS地东捡一个西捡一个,没有积累。

你之前去过很多工业界,NetAPP,Meta,MSRA实习。
计算机工业界research和学术界research区别在哪里?

本质一样,表现形式不一样。学术界资源变少了,那就要做一些foundemental的东西
industry的研究是由实践检验的研究,短期、impact、style和目标都不一样。看他处理什么样的研究。

我希望practical research。我希望想象未来世界的。(也就是我最近在思考的问题得出的结论)

主持人:junchen觉得,phd去工业界的时候就不应该搞研究,而是应该跟工程师拿到这些认知,看看能不能做更好的研究。

我个人挺鼓励实习,我希望学生能看到不一样的系统和东西。和不一样的人做工作,干一些不一样的东西。我自己的第一个实习是把自己的paper 应用到工业界里。那时我经常会去问同事,你们工作中最重要的问题是什么?最后再提炼。学术界已经不是1970了。现在工业界已经完全领先学术界,工业界发一篇mapreduce,学术界跟着发几千篇优化mapreduce。

两个offer:一个google核心工程师,一个去nb学校当professor,怎么选?
我觉得这个问题是personal:经济、兴趣,没有公式。给漂亮的系统拧螺丝(在大公司里的小团队可能没那么exciting)

但是有几个事情我觉得最重要:

核心思考

  1. 你能学到什么?(这个最重要)从这个工作里你想到了什么?你接下来想干什么?
  2. 你想跟什么样的人work?跟技术热情的人work感觉就是不一样,和exciting的人一起合作。不给我钱我也愿意去加入这个公司和团队。
  3. 钱,没钱可能就工作hhh

industry你可以做非常exciting的工作,你也可能做非常boring的工作。你需要像清楚你要什么。你要有热情。

你的第一份工作不是你永远的工作。你要保持学习,然后持续能找到更好的jobs。一定要持续地学习。最重要的点:不断学习的能力。academia好处是不断去学习。钱等其他事情,都是模糊的。只要你有持续学习的能力,最后无论去哪里,你永远有办法。人是可以因此被believed的。这也可能是人与人的连接,学生的本质。

给学生的建议:如何自己给自己培养成好的phd
我不知道,可能给的会是bad advice。
1,找到自己热爱的问题,只有觉得喜欢才不会觉得累,这非常困难,但是你会找到喜欢的事情。2,找到自己正确的研究方法,无论快慢。3,不断打磨skillset,你知道你的目标是做一个事情了,你就可以不断去前进。

可能更好的建议来自mentors。你要看成长快的人有没有找到及时反馈的mentors。要在mentors上拿到及时的反馈,他可以invest on you就可以最重要了。这些问题都是一个给自我的终身学习的问题。比如之前yy提到创业的时候,他们用现有的technique,拿着锤子找钉子,后来发现这就不算一个好idea,更好的应该是去直接观察最重要的问题,先看钉子再做出一把锤子。

如果这个学生一开始就想做practical的系统,怎么带
没问题。核心还是那3个,找到核心的问题;不关注paper,关注前沿或者一些重要的事情。找到重要的问题。就没问题。我觉得做creative work都是很好的,重点是,这个地方能不能帮助你去做。

公司的思考确实还跟学校的思考非常的不一样。

总结

主持人:之前听说,founder在创业的时候,要人事匹配,也就是你的核心跟你做的事情要配合好。我认为今天的播客里,我们看到tianyin确实是一个顶级的researcher。

tianyin:没有啥顶级,你喜欢做科研这件事情,就很棒了。(谦虚了!)

大部分关于如何看待今天AI下的研究,以及怎么做研究的idea,我都在前文中输出了自己的想法。我想在文章的最后,给自己一个回答:为什么我要做研究?

我刚刚入学的时候,认识的新同学就问我,为什么读这个phd。说实话我当时大脑一片空白。在最近半年里,agent把半个CS搅得天翻地覆。前些天AI的强大让我对研究失去了很多热情。“反正AI大人都可以搞定的,为什么我要去做?”。并且,我在读论文时也开始浮躁。“工业界有更多的人手和资源,又哪里轮得到我喝汤?”我经常停止了自己的进度,或者就单纯看着agent一行一行刷刷出文字。

我开始重新思考我为什么要来做科研。最后我感觉,可能单纯就觉得研究一个事情很有趣吧。比如你看到前人的想法,然后你突然来了个雷霆大idea说能不能换个方法做,在抢银行般地写代码后你发现你的简易C4爆炸了,最后急头白脸的对着自己拿 codex+matplotlib画的狗屎汗流浃背地在组会挤着单字,说话速度堪比卡壳的GPT。比“那你这周什么也没做”更震耳欲聋的是全员的鸦雀无声,老板停止思考,组员放弃大脑,直到最后那句“那就下周继续吧”,下一秒退会议室退的比单排0-16-0都快。当然除此之外,在以前,写CPP是我做研究时一个痛苦和快乐的来源。但是,AI不仅剥夺了我写代码的痛苦,还把乐趣也剥夺了。现在的我,ai coding时只剩下了目标和麻木。我也不再对“性能提升 1.xx倍”而感觉到快乐。我相信,最近已经也有很多的文章,他们输出的主要感受是,Agent接替了我们的才华,和Agent协作才是未来,必须作为天才少年少女,搞出“阿A在coding”,搞一个完美人生道路。

奥雷里亚诺,马孔多在下雨!

我开始思考为什么我要来做HPC科研。其实最早,我只是觉得这个方向挺有趣,涉及底层,并且上层应用里涉及科学。我也认真考虑并计划了,本科毕业后从hpc去申请地球科学或者天文学的phd,做一些可能会让我感觉到“exciting”的研究。当然后来我发现HPC本身就是一个exciting的故事,所以我就来了。但是我觉得,我完全可以继续想干什么就干什么。比如我读完后,完全可以直接去地球科学再读一个phd,或者靠着开源数据集自己和agent随便玩玩,做点真正有意义的事情。

是的,我发现脱离指标后的研究,让我开始感觉到由衷的快乐。所以我才最终决定,我对我的phd的目标,就是作为正常人活下去。我想干什么就干什么,想发paper就发,想做博客就做,想毕业滚蛋了那就出门当homeless。千万别被那个GPA和paper数量把人生给限制了。我记得以前有个社区叫逆社会时钟,他们那里的人在尝试做一些我觉得很棒的事情。我觉得人生就是一个“personal”的事情,这就是说,人可能是复杂的。我希望我的研究或者生活不是从GPT-Astra生成的。因为研究代表着我对这个世界的新想法(新垃圾)。而生活就是生活,它由苦难,旅行,思念,巧克力和夏天的第一口可乐组成。