AI

BitNet：微軟 1-bit LLM 推論框架，讓 CPU 也能跑大模型、耗電最多省八成

Monday

本內容僅供參考，詳細使用規則與工具安全性與否，建議要進行相關安全性測試與評估

這兩週我們介紹的幾乎都是 Agent 工具，今天換個方向，往下看到模型推論這一層。跑本機 LLM 的最大門檻一直是硬體：沒有好的 GPU，就只能忍受龜速或縮小模型。BitNet（microsoft/BitNet，推論框架名為 bitnet.cpp）走的是一條更根本的路——把模型權重壓到只剩 -1、0、+1 三種值（約 1.58 bit），讓矩陣乘法幾乎變成加減法，CPU 就能跑得又快又省電。專案目前約 41.2k stars，近期在 GitHub 十月趨勢回顧中再度被點名。

1. 專案背景與定位

bitnet.cpp 是微軟官方的「1-bit LLM 推論框架」，MIT 授權，1.0 版於 2024 年 10 月釋出。它專門為 BitNet b1.58 這類三值模型設計，建構在 llama.cpp 之上，kernel 則採用 T-MAC 的查表（lookup table）方法。

這個專案背後有一整串研究脈絡：2023 年的原始 BitNet 論文、2024 年的 BitNet b1.58、2025 年的 bitnet.cpp 系統論文，以及 BitNet a4.8（4-bit activation）。今年持續有新進展：1 月的 CPU kernel 平行化與 tiling 優化（額外加速 1.15–2.1 倍）、7 月釋出 0.6B 與 270M 的 BitNet embedding 模型，以及基於同一套 kernel 的即時多語言語音辨識引擎 VibeASR.cpp。

2. 技術架構與核心設計

  • 三值權重：權重只有 -1、0、+1，乘法運算大量被加減法取代，記憶體頻寬需求也大幅下降——對 CPU 推論來說，頻寬往往才是真正的瓶頸。
  • 三種 kernel：
    • I2_S：x86 與 ARM 都支援的通用格式
    • TL1：ARM 平台的查表 kernel
    • TL2：x86 平台的查表 kernel
  • CPU 與 GPU：主力是 CPU（x86 與 ARM），2025 年 5 月加入官方 GPU kernel，NPU 支援「即將推出」。
  • 支援的模型：
    • 官方：BitNet-b1.58-2B-4T（2.4B 參數、4T token 訓練）、BitNet-embedding-0.6B、BitNet-embedding-270M
    • 社群：bitnet_b1_58-large（0.7B）、bitnet_b1_58-3B（3.3B）、Llama3-8B-1.58、Falcon3（1B–10B）、Falcon-E（1B–3B）
  • 工具鏈：setup_env.py 建置環境並轉換模型、run_inference.py 推論（支援對話模式）、e2e_benchmark.py 效能測試、convert-helper-bitnet.py 把 safetensors 轉成 GGUF。

3. 社群熱度與生態採用

約 41.2k stars、3.8k forks。官方公布的效能數據：

  • ARM CPU：加速 1.37–5.07 倍，節能 55.4–70.0%
  • x86 CPU：加速 2.37–6.17 倍，節能 71.9–82.2%
  • 模型越大，加速效果越明顯
  • 100B 參數的 BitNet b1.58 模型可以在單顆 CPU 上以每秒約 5–7 個 token 執行，接近人類閱讀速度
  • Embedding 模型的 prefill 相較 F16：0.6B 加速 1.42–2.28 倍、270M 加速 1.32–1.74 倍

Falcon 系列等社群模型的加入，顯示 1-bit 模型生態正在從單一研究專案，慢慢擴展成一個小型生態系。

4. 局限性與潛在風險

  • 模型選擇仍然有限：bitnet.cpp 只能跑「原生以三值訓練」的模型，不能把現有的一般模型直接壓成 1-bit 而不損失品質。官方模型目前最大只到 2.4B，和主流開源模型相比能力差距明顯。
  • 100B 的數字沒有對應模型：「單 CPU 跑 100B」是框架能力的展示，頁面上並沒有一個可下載的 100B BitNet 模型。
  • 平台支援不完整：部分社群模型在特定 CPU 架構上缺少 I2_S 或 TL kernel，embedding 模型目前只支援 x86 的 I2_S。
  • 建置門檻：需要 Clang 18+、CMake 3.22+，Windows 需要 Visual Studio 2022 開發者環境；FAQ 也列出與新版 llama.cpp 的編譯相容性問題。
  • 效能數據是相對值：官方公布的是相對於基準的加速比與節能比例，並沒有每個模型的絕對延遲，實際效果需要在自己的硬體上量測。
  • 模型來源的信任：社群模型來自 Hugging Face 上的第三方上傳，部署前應確認來源與授權。

5. 應用價值與適用場景

最有潛力的場景是沒有 GPU 的邊緣與本機環境：筆電、工控機、IoT 閘道器、離線環境，或對資料外流極度敏感、只能在本機 CPU 上處理的場合。新釋出的 embedding 模型也很適合在 CPU 上做本機 RAG 的向量化，VibeASR.cpp 則展示了即時語音辨識的可能。

對需要頂尖推理能力的任務，目前的 1-bit 模型還無法取代大型模型；比較務實的用法是把它放在分類、摘要、嵌入、簡單問答這類「量大但難度不高」的工作上。

Monday 的觀點與架構建議

  • BitNet 的意義不只是「省電」，而是改變了「誰能跑 LLM」的經濟學：如果三值模型的能力持續追上，推論成本的瓶頸將從 GPU 轉移到記憶體容量，資料中心與邊緣裝置的架構都會跟著改變。
  • 導入建議從 embedding 與小型任務開始：先用 BitNet-embedding 取代雲端 embedding API，量測品質與延遲，再決定是否擴大。
  • 架構上可以考慮「分層推論」：CPU 上的 1-bit 模型處理大量的簡單請求，只把困難的請求升級到雲端大模型，這和前幾天介紹的 Headroom 一樣，都是在優化「每一個 token 的成本」。
  • 值得持續關注的是：會不會有主要模型廠商推出大型、原生三值訓練的模型。這將是 1-bit 路線能否從研究走向主流的關鍵。

參考來源