PipeThreader: Software-Defined Pipelining for Efficient DNN Execution AlpaServe 简单总结 背景问题 现在的深度学习模型越来越大，单块 GPU 内存不够用。 多模型在线服务要保证低延迟、高吞吐量，但请求量有时会突然激增，传统方法效率低。 核心想法 模型并行：把一个模型拆成几部分放到多块 GPU 上。 统计多路复用：当一个

scheduling for XPUs 在XPU上实现抢占式调度 CPU的抢占式调度 抢占式调度（Preemptive Scheduling）是一种操作系统调度策略，核心思想是： 当有更高优先级或更紧急的任务需要运行时，操作系统可以立即中断当前正在运行的任务，把 CPU 资源“抢”过来给那个更高优先级的任务。 XPU XPU: FPGA, NPU, GPU 目前在XPU上做了很多的任务 但是好像没

一篇有趣的文章，做的是新的多生产者多消费者的队列。 我猜这篇是他们做量化的同学搞的哈哈哈哈哈。 PowerPoint Presentation OSDI 2023 论文评述 Day3-Session11: Verify Your Bits - 知乎 stdexec/include/exec/detail/bwos_lifo_queue.hpp at main · NVIDIA/stdexec BW

这是一篇受保护的文章，输入密码后才能查看哈