AI

Handy：完全離線的開源語音輸入工具，按住快捷鍵說話、放開文字就出現在游標處

Monday

本內容僅供參考，詳細使用規則與工具安全性與否，建議要進行相關安全性測試與評估

和 AI Agent 溝通的方式越來越多是「打字」——寫 prompt、回覆 Agent 的提問、描述需求。但打字其實很慢，說話快得多。問題是，多數語音輸入工具都要把你的聲音傳到雲端。Handy（cjpais/Handy）的答案很單純：一個完全離線的語音輸入工具——按下快捷鍵、說話、放開，文字就出現在你目前游標所在的任何輸入框裡，聲音從頭到尾不離開你的電腦。專案約 37.5k stars，在 11 月 2 日的 AI 開源趨勢報告中被列為「本機優先 AI 工具」的代表，同一天也釋出了 v0.10.0。

1. 專案背景與定位

Handy 採 MIT 授權（但 Handy 的名稱、logo 與品牌素材不在開源範圍內），官網為 handy.computer。官方強調四個價值：免費、開源、隱私（你的聲音留在你的電腦上）、簡單（一個工具只做一件事）。

它不是 AI Agent，而是一個「讓你更快和任何軟體——包括 AI Agent——溝通」的輸入工具。可以搭配 Claude Code、Cursor、ChatGPT，或任何需要打字的地方使用。11 月 2 日的 v0.10.0 是一個大版本，官方表示 Handy 已「大致功能完整」，正在朝 1.0 邁進。

2. 技術架構與核心設計

  • 使用流程：
    1. 按下可自訂的快捷鍵（按住錄音、放開停止，或按一下切換；也有只用按住或只用切換的模式）
    2. 說話
    3. 放開後，在本機進行語音辨識
    4. 文字自動貼到目前的應用程式
  • 辨識模型：
    • Whisper（Small／Medium／Turbo／Large），有 GPU 時會自動加速
    • Parakeet V3：針對 CPU 最佳化，效能佳且支援自動語言偵測
  • 靜音過濾：使用 Silero 的 VAD（語音活動偵測）去除沒有說話的片段。
  • 技術棧：以 Tauri v2 打造（Rust 後端、TypeScript 前端），底層使用 ggml，新版改以 transcribe.cpp 為辨識後端並移除了 ONNX。
  • v0.10.0 重點：轉錄音檔並存入歷史紀錄、所有支援模型都能自動偵測語言、全新的新手引導流程、部分 UI 重新設計、系統匣的語言切換選單，以及錯誤通知框架。
  • 擴充：transcription hook（辨識後可執行自訂處理，30 秒逾時）、CLI 參數（官方標示大多仍為 beta）、第三方的 Raycast 擴充，以及可選的 LLM 後處理（支援 Anthropic Messages API 格式的自訂供應商）。
  • 跨平台：Windows、macOS、Linux；可從官網或 GitHub Releases 下載，macOS 也能用 Homebrew cask、Windows 用 winget（這兩個套件非官方維護）。發佈檔提供 minisign 簽章驗證。

3. 社群熱度與生態採用

約 37.5k stars、3.5k forks、930 commits，open issue 88 個、open PR 97 個。v0.10.0 的更新紀錄列出約 50 個 PR，社群貢獻相當活躍。在 Agent 工具大爆發的這段時間，它代表了另一條平行的趨勢：本機、離線、注重隱私的 AI 工具正在快速成長。

4. 局限性與潛在風險

  • 「完全離線」的例外：語音辨識本身在本機進行，但模型第一次使用時需要從官方伺服器或 Hugging Face 下載；若啟用 LLM 後處理，辨識後的文字會送到你設定的模型供應商；應用程式也包含自動更新機制。真正需要完全離線的環境，可以手動安裝模型並關閉後處理。
  • 需要麥克風與輔助使用權限：為了把文字貼進任何 App，Handy 需要輔助使用權限；這類權限應只授予來源可信、經過簽章驗證的版本。
  • 剪貼簿的副作用：在高負載時，可能會貼上剪貼簿裡原本的內容（官方已知 issue）——如果剪貼簿裡剛好是密碼或敏感資料，這點要特別小心。
  • Linux／Wayland 支援有限：需要 wtype 或 dotool 才能穩定輸入文字，部分發行版可能在啟動時當機；Linux 上的錄音浮動視窗預設關閉，因為它可能搶走焦點。
  • 平台小問題：macOS 使用藍牙耳機麥克風時可能降低播放音質；fn／地球鍵快捷鍵只在 Apple 鍵盤有效；Windows 上部分 Vulkan 疊加層可能導致當機。
  • 辨識品質依模型與語言而異：小模型速度快但準確度較低，口音、專有名詞與中英夾雜的情況仍可能出錯，送出前應檢查文字。

5. 應用價值與適用場景

最適合大量打字、又在意隱私的人：用語音向 Coding Agent 描述需求、口述 Email 與筆記、撰寫長篇文件的初稿。對於處理機密資料的工作者（律師、醫療人員、企業內部團隊），本機辨識意味著錄音不會離開公司的電腦。對手部不便或有重複性勞損的使用者，它也是一個重要的無障礙工具——repo 的主題標籤中就包含 accessibility。

Monday 的觀點與架構建議

  • Handy 提醒我們，AI 工具的價值不只在「更聰明」，也在「更順手」。當我們越來越常和 Agent 對話，輸入速度本身就是生產力瓶頸，而語音是最自然的突破口。
  • 「一個工具只做一件事」的設計哲學在這個 Agent 什麼都想包的時代特別可貴：它不試圖成為 Agent，只把語音轉文字這件事做好，並透過 hook 與 CLI 讓其他工具接手後續處理。
  • 使用建議：從官方來源下載並驗證簽章；敏感工作時關閉 LLM 後處理；注意剪貼簿的已知問題；企業環境可預先手動部署模型，避免執行時連線下載。
  • 從 BitNet、AirLLM 到 Handy，本機 AI 正在從「能跑」走向「好用」。當隱私與離線成為選擇工具時的一級考量，本機優先很可能成為下一波 AI 應用的重要設計原則。

參考來源