Flora Ma

Recent posts

• CUDA 编程模型与内存层次：一份学习笔记

  Aug 4, 2026cudagpunvidiasmcuda-programming-modelwarptensor-corememory-hierarchy

  本文先介绍了 GPU 的硬件模型，详细介绍了 SM，然后介绍了 CUDA 的编程模型（thread、warp、block、cluster、grid）以及编程模型是如何在硬件模型上运行的，接着介绍了 GPU 的内存层次，以及编程模型是如何使用这些内存的，最后探讨了下 warp 和 tensor core 的一些问题。

• 一个 prompt 的一生：nano-vllm 从起服务到吐出 token

  Jul 30, 2026llminferencevllmnano-vllmmodel-runner

  顺着 LLM(...) 和 engine.step() 两条线，把 nano-vllm 起服务时的进程拓扑、权重加载、显存规划、CUDA graph，以及一次推理里调度、张量准备、前向、采样、状态回写的全流程串成一张图。

• 同一个 Qwen3，两种写法：从 transformers 到 nano-vllm 的推理改造

  Jul 29, 2026llminferenceqwen3transformersnano-vllm

  以 Qwen3-8B 为例，先把模型结构和每一处维度画清楚，再逐项对照 transformers 与 nano-vllm 的实现差异：权重融合、扁平批次、分页 KV cache、注意力后端、RoPE、残差融合与张量并行。

• 对照 Nano-vLLM 实现：读懂 vLLM 调度

  Jul 26, 2026llminferencevllmpaged-attentionschedule

  先用轮次快照把 nano-vllm 的调度看透，再对照 vLLM V1 的 schedule()，讲清混批、chunked prefill、token 预算与抢占这几处关键分歧。

• Docker Tutorial

  Dec 31, 2023dockermlops

  Docker concepts, everyday CLI commands, and its architecture — plus why reproducible containers matter for ML/DL work.