oLLM 这个轻量化推理库，专为消费级 GPU 优化，用 8GB 显存就能跑 80B 参数的大模型。

通过巧妙的内存管理策略，将模型权重和 KV 缓存分层加载到 GPU 和硬盘，再配合 FlashAttention 优化，在不使用任何量化的情况下实现了惊人的内存效率。
GitHub：http://github.com/Mega4alik/ollm
主要特性：
– 支持在 8GB 显存上运行 80B 参数模型，处理 5 万字长上下文；
– 无需量化技术，保持 fp16/bf16 原始精度；
– 智能权重和缓存管理，按需从 SSD 加载到 GPU；
– 支持多模态模型，可处理图像和文本混合输入；
– 兼容主流模型如 Llama、Qwen、GPT 等；
– 优化的 FlashAttention 实现，大幅减少显存占用。
提供了详细的上手指南，需要在本地部署大模型的同学，不妨看一下这个工具是否有帮助。