xFastTransformer 架构解读

省流:这东西2年前做的,最麻烦的是文档很少,基本都要从零开始研究代码,考虑时间成本我没有花很多精力。 如果大家想在单机上用CPU推理,也可以试试intel pytorch extension或者llama.cpp。(不过xFt相比他们俩的好处是,它的代码结构也相对比较简单易懂,大家都可以自由选择) 但是目前这个东西没有用计算图优化,它每次计算都要重开openmp并行域,感觉这会出点问题。 Exam

std::unordered_map

是的,std::unordered_map 的本质是 哈希表,而 std::map 是基于 红黑树 的有序容器。 让我们来详细了解一下 哈希表 是如何实现的,特别是在 unordered_map 中是如何工作的。 1. 哈希表的基本原理 哈希表是基于哈希函数的概念,哈希函数将 键(key) 转换为一个固定大小的数组索引。哈希表的核心结构通常是一个数组,数组中的每个位置叫做 桶。元素通过哈希函数计算

LLM on CPU 推理流程python源码解析

其他框架解析: vllm 框架解析:LLM 高速推理框架 vLLM 源代码分析 / vLLM Source Code Analysis - 知乎 vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention | vLLM Blog llama.cpp llama.cpp源码解读--推理流程总览 - 知乎 纯新手教程:用llama.cpp本地

SUSTech-CS205-CPP-Programing

SUSTech-CS205-CPP-Programing Haibin Lai 12211612 Semester: 2024 Spring; Lecturer: Prof. Shiqi Yu Project Name Description Important Point Classification Score 1 A Simple Calculator "简单"的计算器

CPP Project5: The beginning of Accelerated Computing

CS205·C/C++ Programming Project5 Report:  The beginning of Accelerated Computing PDF 版本:Project 5 Github: https://github.com/HaibinLai/CS205-CPP-Programing-Project 摘要 “这是一个令人惊叹的时代,因为我们正处于一场新的工业革命的开始,过

CPP Project4: A 2D GPU Mat

CS205·C/C++ Programming Project4 Report:  A 2D GPU Mat PDF 版本:Project 4 Github: https://github.com/HaibinLai/CS205-CPP-Programing-Project 网页文档:Doxygen 摘要 本次项目的重点在于开发了一个功能强大的GPU矩阵类,该类实现了多数据输入、运算符重载、感兴趣

CPP Project3 SGEMM Optimization

CS205·C/C++ Programming Project3 Report:  SGEMM Optimization PDF 版本:Project 3 Github: https://github.com/HaibinLai/CS205-CPP-Programing-Project 摘要 在本次Project里我们要优化SGEMM。我们先进行了一些理论探索,然后进行了基准测试。我们对OpenB

CPP Project2 Matrix Multiplication

CS205·C/C++ Programming Project2 Report:  Matrix Multiplication PDF 版本:Project2赖海斌 Github: https://github.com/HaibinLai/CS205-CPP-Programing-Project 摘要 同样是矩阵乘法,Java和C谁更快?在做Project之前,我会凭着经验和对于老师的信任大声告诉

CPP Project1 A “Simple” Calculator

CS205 · C/C++ Programming Project1 Report: A "Simple" Calculator PDF 版本:Project1赖海斌 Github: https://github.com/HaibinLai/CS205-CPP-Programing-Project 摘要 在本次 Project 中,我初步用C 实现了一个简单的计算器,可以简单地