大模型加速优化:从一张全景图到一套方法论
本书依据「大模型加速优化技术全景图」逐主题展开。全景图把 LLM 的加速优化技术划成八大板块——训练加速、模型压缩、推理加速、架构优化、长上下文加速、系统与硬件、框架与工具、效果评估。本书就按这八个板块,把每一条技术从"是什么、为什么、怎么做、有什么坑"讲清楚。先建立全景认知,再逐个深入。
# llmNOTES & PRACTICE
这一时期留下的技术阅读与实践笔记。
篇笔记 持续积累
本书依据「大模型加速优化技术全景图」逐主题展开。全景图把 LLM 的加速优化技术划成八大板块——训练加速、模型压缩、推理加速、架构优化、长上下文加速、系统与硬件、框架与工具、效果评估。本书就按这八个板块,把每一条技术从"是什么、为什么、怎么做、有什么坑"讲清楚。先建立全景认知,再逐个深入。
# llmTileLang 把 tile 提为一等公民:数据流显式写、调度交编译器。ICLR 2026 Oral,对照 DeepInfer 真实算子讲透。
# llm基于 GGML 的 C/C++ 扩散模型推理框架,类比 llama.cpp:多模型、多后端、内存优化与二次开发方向。
# llmnvidia-smi 显示 97% 利用率,功耗却只有 170W/600W。SGLang 长 context 单流 decode 的假满负载、被 /metrics 404 刷屏淹掉的真实 batch 行、TTFT/TPOT 观测口径、32 并发到底扛多少用户,以及 HiCache 单机版与跨机分布式四件套的差别。
# llm同一模型换 harness 比换模型掉分还狠。FineEnvs 用 capture proxy 把 Claude Code/Codex/OpenCode 变成黑盒 RL 环境,2xH100 上 GRPO 的完整配方与结果。
# llm阅读 MIG 硬件切卡与动态 TP 两条路线,解释为什么 RTX PRO 6000 这类工作站卡都不能运行时重组张量并行。
# llm梳理强化学习与扩散模型的结合:从语言、图像和视频,到机器人与科学建模。
# llm阅读 LeapQuant 的递归态量化方法,梳理按窗口量化、补偿 Token 与残差平滑三项免训练技巧。
# llm围绕 Qwen 3.8 27B 的微调性能,整理算子分析、融合内核与一维打包批次的实践。
# llm没有找到匹配的笔记
试试其他关键词,或查看全部文章。以上是全部 9 篇笔记。继续学习,继续记录。