AI

AirLLM：一層一層載入模型，用 4GB 顯卡跑 70B、甚至兆級參數 LLM

Monday

本內容僅供參考，詳細使用規則與工具安全性與否，建議要進行相關安全性測試與評估

前天介紹的 BitNet 走的是「把模型變小」的路線：用三值權重讓 CPU 也能跑。今天的 AirLLM（lyogavin/airllm）則完全相反——模型不變小，而是不要一次全部放進顯示卡。它把模型拆成一層一層，推論時只把當下要算的那一層載入 GPU，算完就換下一層。於是 VRAM 需求不再取決於模型總大小，而是取決於「最大的那一層」。這個專案約 39.2k stars，在 10 月 12 日的 AI 開源趨勢報告中單日新增 548 顆星。

1. 專案背景與定位

AirLLM 採 Apache-2.0 授權，以 pip install airllm 安裝，2023 年 11 月發布第一版，之後持續加入新模型支援：2024 年 7 月支援 Llama 3.1 405B，2026 年 6 月的 v3.0 加入 FP8 與 DeepSeek-V3，7、8 月陸續支援 Kimi K3 與 Qwen3.8 系列，9 月更新增了低 VRAM 訓練功能。

它的 repo 描述是「AirLLM 2.8T LLM inference with single 4GB GPU」。核心賣點很直接：不用量化、蒸餾或剪枝，也能在小顯卡上跑超大模型（量化則是可選的加速手段）。

2. 技術架構與核心設計

  • 逐層推論：第一次使用時，把原始模型拆解成逐層的檔案存在磁碟上；推論時一次只載入一層到 GPU，算完釋放再載入下一層。
  • 可選的區塊式壓縮：compression='4bit' 或 '8bit'（需要 bitsandbytes），README 宣稱可加速最多 3 倍、準確度損失「幾乎可忽略」。
  • 預取（prefetching）：讓載入下一層與計算當前層重疊，官方記錄約 10% 的速度提升。
  • 自動辨識模型：AutoModel.from_pretrained() 依 Hugging Face ID 自動選擇對應的實作。
  • 跨平台：CUDA GPU、Apple Silicon（需 mlx 與 torch）以及 v2.10.1 加入的 CPU 推論。
  • README 列出的 VRAM 需求：
    • Llama 3.x 70B（全精度）：約 4 GB
    • Llama 3.1 405B：約 8 GB
    • Qwen3-235B：約 3 GB
    • DeepSeek-V3（671B）：約 12 GB
    • Kimi K3（2.8T）：3.72 GB（官方在 RTX 6000 Ada 上實測）
  • 低 VRAM 訓練：凍結的基礎權重同樣逐層從磁碟串流，只有 LoRA adapter 留在 GPU 上；官方宣稱 125B 的 MoE 模型可在 6GB 以下（RTX 3060 Ti）訓練。

3. 社群熱度與生態採用

約 39.2k stars、4.0k forks、391 commits。支援的模型涵蓋 Llama 2 到 4、Qwen 全系列（含 MoE、FP8、VL）、DeepSeek V2／V3／R1、Mistral、Mixtral、Phi、Gemma、ChatGLM、Baichuan、InternLM、Yi、Kimi K3 等，README 稱「幾乎所有主流開源 LLM」都能透過 Hugging Face ID 使用。

4. 局限性與潛在風險

  • 速度是最大代價：每產生一個 token，都要把所有層從磁碟讀一遍；README 沒有提供每秒 token 數，只有相對加速比例。實務上，瓶頸會落在磁碟讀取速度，不適合互動式聊天或即時服務。
  • 磁碟空間需求驚人：拆層非常吃磁碟，官方提到某些模型需要約 360GB 的 checkpoint 空間；空間不足時常見的錯誤是 MetadataIncompleteBuffer。可用 delete_original=True 回收空間。
  • SSD 壽命與 I/O 壓力：大量且反覆的讀取對儲存裝置是持續負擔，也會影響同一台機器上的其他工作。
  • 相依版本地雷：不同模型需要不同版本的 transformers（例如某些模型需要 4.56.x，另一些需要 5.8+），還有 flash-attn、CUDA 12 等要求，環境管理需要小心。
  • 遠端程式碼執行：部分模型需要載入 Hugging Face 上的 remote code，這等於執行第三方程式碼，應只使用信任的模型來源。
  • README 中的推廣連結：頁面有一段第三方的「AI Agents 推薦」連結，與專案本身無關。

5. 應用價值與適用場景

AirLLM 最適合「能力比速度重要」的批次工作：例如用最大的開源模型離線處理一批文件、做評測、產生合成資料，或是在只有消費級顯卡的環境中先驗證大模型在特定任務上的表現，再決定是否值得租用雲端 GPU。新的低 VRAM LoRA 訓練，也讓個人研究者能在家用顯卡上嘗試微調超大模型。

需要即時回應、高併發的服務，則仍應使用一般的推論框架與足夠的 GPU 記憶體。

Monday 的觀點與架構建議

  • AirLLM 和 BitNet 剛好代表了「在有限硬體上跑大模型」的兩種極端：一個用時間換空間（逐層載入），一個用精度換效率（三值權重）。選擇哪一條路，取決於你的任務是「要最強的答案」還是「要夠快的答案」。
  • 如果要用 AirLLM，請把 NVMe SSD 視為必要條件，並優先開啟 4bit／8bit 壓縮與預取，減少磁碟 I/O。
  • 架構上可以把它當成「離線大模型工作站」：白天用小模型做互動，夜間把需要高品質的批次任務交給 AirLLM 跑大模型。
  • 兆級參數模型能在 4GB 顯卡上「跑得起來」，提醒我們硬體門檻正在快速下降——真正的限制正從「能不能跑」轉向「跑得夠不夠快、划不划算」。

參考來源