🛠️ Projects

Swap GPT for any LLM by changing a single line of code; unified production-ready inference API

最近关注的 ToolSpec 项目

Domino 论文官方实现：解耦 causal modeling 与 autoregressive drafting 的 speculative decoding

面向动态 GPU 共享的虚拟化弹性 KV Cache 系统

Speculative decoding 算法训练与评估的全栈代码库

面向 SGLang、vLLM、llama.cpp、RAG 和 agentic AI 的长上下文推理优化

Recursive 自动化 AI 科研系统的研究产物与实验材料

面向机器学习系统的现代 GPU 编程教程

AI Infra 知识与代码练习，覆盖 PyTorch、vLLM/SGLang、slime/vime 和性能优化

High Performance LLM Inference Operator Library