Can Tensor Cores Benefit Memory-Bound Kernels? (NO!)

本文学习自 Can Tensor Cores Benefit Memory-Bound Kernels? (NO!) https://dl.acm.org/doi/pdf/10.1145/3725798.3725803 这篇文章提出了一个有点惊人的观点：Tensorcore在面对 memory bound 的kernel/算子时效果并不是很好！文章用优秀的理论公式分析+实验验证了这点。读懂这篇文章

GridFTP: SC25 Test of Time Award

How to move massive data from server to client? How to serve multiple users around the world to use the compute machine? This technology was not invented in cloud computing, but grid computing. And th

ICPP25 Conference story: Day 2

Anne Elster, "Parallel Computing and Geophysical Forecasting" Professor Anne C. Elster Norwegian Univ. of Science and Technology Center for Geophysical Forecasting University of Texas at Aus

ParslFest 25 会议记录

ParslFest 会议的目标是找到新的idea和设计，以及展示一些用户案例。 Parsl: Parallel Scripting in Python Join our dedicated #parslfest2025 channel on Slackto connect with fellow attendees, ask questions, etc. Not on Parsl Slack y

NSDI23 Transparent GPU Sharing in Container Clouds for Deep Learning Workloads

这篇文章介绍了一种名为 TGS (Transparent GPU Sharing) 的系统，旨在在容器云环境中在OS层为深度学习（DL）训练工作负载提供透明的GPU共享，以提高GPU利用率并减少作业完成时间。 links: https://www.usenix.org/conference/nsdi23/presentation/wu 1. 背景与动机 容器云与DL训练：容器（如Docker）在数

ATC24 Power-aware Deep Learning Model Serving with u-Serve

Power-aware Deep Learning Model Serving with u-Serve 这篇文章是发表于2024年 USENIX ATC\'24 的论文，标题为《Power-aware Deep Learning Model Serving with μ-Serve》，作者来自伊利诺伊大学厄巴纳-香槟分校和IBM Research。论文聚焦于深度学习（DL）模型服务（即推理）中的功

南科大学生系统研讨会 SUSTech Student Sys Seminar

本文大概记录我们第一次南科大系统研讨会的过程和反思。 故事背景 有一天，我想办一个南科大学生的system研究seminar。大概内容是想请几个阶段和领域的学长学姐分享自己的研究，可以是自己的工作，研究的学习历程，研究体会或者单纯的开会经历、做lab的经历。 研讨会的内容可以是不同主题的分享，比如如果有同学能分享"如何阅读CSAPP这本书”“我们的计算机安全课程project"

复盘:科研里的反向传播

写在做科研的一年 如果一个End2End神经网络的产出是一篇paper，那么复盘是这个网络的反向传播。人们通过复盘，可以调节 “在探索阶段应该跑更多baseline”，“时刻注意我们要做的主题” 等决策想法，从而做到更有效的科研探索。因此，时不时在输出后进行复盘非常重要。 这篇文章在写什么？ 出于兴趣，我开始了计算机系统的研究。在简单看了一些书和talk后，我就找了我的好老板，一起 “创业” 找i

huawei 384 节点推理系统赏析

我最好奇的是，这种extreme parallelism是怎么做的。 技术报告 *Serving Large Language Models on Huawei CloudMatrix384 用1机384节点来执行Deepseek R1 671B的推理，采用了3个优化 优化1 一个p2p的架构，将LLM推理拆解为prefill, decode, caching 优化2 large-scale ex

AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving

模型并行性通常被视为一种将单个大型深度学习模型扩展到单个设备内存限制之外的方法。在本文中，我们证明了在为多个模型提供服务时，模型并行还可以用于多个设备的统计多路复用，即使单个模型可以适应单个设备。我们的工作揭示了模型并行性引入的开销与利用统计多路复用来减少突发工作负载下服务延迟的机会之间的基本权衡。我们探索了新的权衡空间，并提出了一种新的服务系统 AlpaServe，它确定了在分布式集群中放置和并

HPDC19: Parsl: Pervasive Parallel Programming in Python

《Parsl: Pervasive Parallel Programming in Python》，发表在HPDC \'19会议上，作者来自芝加哥大学、阿贡国家实验室等机构。以下是对文章内容的简要介绍： 核心内容 文章介绍了一个名为 Parsl 的Python并行脚本库，旨在通过简单、可扩展和灵活的方式增强Python的并行编程能力。Parsl通过在Python中引入特定的构造（constructs

书籍阅读《分布式系统》

第一章 特征 分布式系统特征 并发 缺乏全局时钟 故障独立性 例子：Web、大型多人在线游戏MMOG、金融交易 趋势 泛在联网技术：设备可在任何时间地点连接 Ubiquitous Computing 什么是UbiComp普适计算（泛在计算）？它与IoT物联网有哪些联系与区别？-云社区-华为云 无处不在计算：任何设备都可以计算 分布式多媒体系统：音频、视频、电话支持；编解码支持、QoS、资源调度 公

MPI: old learning

Tutorials · MPI Tutorial 其实这个问题背后很有意思。mpi属于hpc领域，和现在的hadoop生态本来就不属于一块。 个人觉得一个技术能否流行起来，主要取决于三点:自身性能，易用性，环境。 性能上，mpi适用于计算密集型，在对计算要求比较高的地方，确实比hadoop/spark用的广，比如机器学习，生物计算。但是属于io密集型就不会有优势，很多大数据任务属于这种情况。 易用

CXL技术：历史、技术与展望

Research on the CXL Memory CXL (Compute Express Link) 技术是一种基于PCIe IO的缓存一致性互联标准, 其旨在提供主机处理器与加速器、内存缓冲器和智能 I/O 设备之间的高带宽、低延迟连接。 CXL在延迟和带宽方面比传统的远程直接内存访问（RDMA）技术有所改进，基于 CXL 内存的存算分离架构的趋势会继续，更多标准化和生态开发会出来。但在处

Scalability! But at what COST 文章介绍

Scalability! But at what COST 文章介绍 hotos15-paper-mcsherry.pdf 这篇文章讲了一个很重要的问题：在图计算这一领域中，我们要去思考，Scalable是否真的带来Effective？ 即使算法的逻辑（如PageRank的迭代公式）看起来相同，分布式系统的实现方式（通信、同步、数据分区、语言开销）引入了大量额外工作，导致性能低于单线程。 多线程或

计算机体系结构未来发展预测

tldr: 专用的硬件将成为计算主流 多节点情况下，CPU的核数将稳定保持在16-48核内。多节点的目标不再是更多CPU，而是能控制更多GPU等特殊硬件 特殊内存、特殊网络通信等组件将更加主流 云服务主导，个人与仓储计算差异化 软件-硬件协同设计 可持续计算，能耗成为一个关键因素 计算机CPU性能增长缓慢 下文来自David Pattersen的《计算机体系结构：量化研究方法》： 提高能效-性能-

LLM on CPU 推理流程python源码解析

其他框架解析： vllm 框架解析：LLM 高速推理框架 vLLM 源代码分析 / vLLM Source Code Analysis - 知乎 vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention | vLLM Blog llama.cpp llama.cpp源码解读--推理流程总览 - 知乎 纯新手教程：用llama.cpp本地

HGEMM

赖海斌 ROI on HGEMM 矩阵参数 不同size的标准矩阵: 32 256 2048 8192 16384 32768 ...... 矩阵形式： 正常矩阵（256 X 256） 特殊形状矩阵（有边界条件） 257 2049 // ? 稀疏矩阵（不同处理方式）// ? 复杂矩阵（行列相差极大，如 M=2048, N=8, K=2048） API GEMM API void hgemm(con