AI

e2e：用自然語言寫端對端測試，AI 跑一次、之後免模型重播的新世代測試框架

Monday

本內容僅供參考，詳細使用規則與工具安全性與否，建議要進行相關安全性測試與評估

寫過 E2E 測試的人都知道它的痛：選擇器一改版就壞、等待時間調不好就 flaky、維護成本常常比寫功能還高。過去一年很多「AI 測試」工具試圖用 LLM 直接操作畫面，但又帶來新問題——每次跑測試都要呼叫模型，又慢、又貴、結果還不穩定。e2e（tester-army/e2e）的解法很務實：讓 AI 第一次幫你找出怎麼操作，之後就錄下來重播。這個專案在 10 月初登上 GitHub 每日趨勢榜第一名，目前約 10.1k stars。

1. 專案背景與定位

e2e 由 TesterArmy 開發，Apache-2.0 授權，自稱「新世代的 Web 與行動 App 端對端測試框架」。使用者可以用自然語言描述目標（例如「把方案升級到 Pro」），由 Agent 實際操作 App 達成；同時也能混用傳統的 locator 與 assertion，兩種寫法可以出現在同一個測試裡。

專案目前仍在 1.0 之前的積極開發階段，README 明說 API 與設定在 minor 版本間可能變動。

2. 技術架構與核心設計

  • 混合式測試語法：agent.act() 執行自然語言動作、agent.assert() 做語意斷言，並可與 Playwright 風格的 expect 檢查並用。
  • 錄製與重播：被後續斷言驗證過的 Agent 步驟會被記錄下來，之後的執行直接重播、不呼叫模型，直到 App 改變才重新讓 Agent 介入。完全沒有 Agent 步驟的測試則根本不需要模型。
  • 多引擎：@e2e-dev/web 透過 Playwright 支援 Chromium、Firefox、WebKit；@e2e-dev/mobile 透過模擬器支援 iOS 與 Android。
  • 雲端執行後端：支援 Kernel、Limrun、EAS Simulators 與 smol machines；其中 smol 後端預設每次嘗試都從一台預熱好的 Chromium microVM 分支出來，隔離性很好。
  • 有邊界的語意決策：@e2e-dev/decision 負責「有範圍限制」的語意動作與斷言，避免 Agent 在測試中自由發揮。
  • CI 整合：@e2e-dev/github 會把測試結果以 PR 留言呈現。
  • 為 Coding Agent 準備：repo 內含 AGENTS.md、.mcp.json 與 Claude skills，方便讓 Coding Agent 直接幫你寫測試。
  • 快速開始：npx e2e init 選擇引擎與模型供應商後，自動產生設定與範例測試；官方提供 Vite、Next.js、Astro、Expo、SwiftUI、Jetpack Compose、Kotlin Multiplatform、Flutter 等範例。

3. 社群熱度與生態採用

約 10.1k stars、488 forks、769 commits，在 10 月 5 日的趨勢排行中名列第一。模型方面採「自帶訂閱、API key 或本機模型」的策略，不綁定特定供應商。背後的 TesterArmy 另有託管平台，可以在 PR 或排程上執行自然語言測試，開源框架與商業平台的分工相當清楚。

4. 局限性與潛在風險

  • 重播測試的「假綠燈」：重播的是錄下來的動作，如果 App 的行為改變但操作路徑碰巧仍然可行，測試可能照樣通過。斷言的品質決定了這套機制的可靠度——沒有好的 agent.assert 或 expect，重播就只是在「點過一遍」。
  • 語意斷言的不確定性：agent.assert 由模型判斷，本質上是機率性的；關鍵的商業邏輯（金額、權限）仍應使用確定性的斷言。
  • 測試資料送往模型供應商：畫面內容、DOM 或截圖可能被送往模型，README 沒有說明具體送出哪些資料。測試環境若含真實個資或機密，應改用本機模型或去識別化資料。
  • 測試帳號與憑證：Agent 會實際登入並操作 App（例如升級付費方案），務必使用專用的測試帳號與 sandbox 金流，絕不要指向正式環境。
  • Telemetry 預設開啟：CLI 會送出匿名使用資料（README 表示不含測試內容、App 內容或憑證），可用 npx e2e telemetry disable 或 E2E_TELEMETRY_DISABLED=1 關閉。
  • 1.0 前的 API 變動：大規模導入前要有心理準備，升級可能需要調整測試。

5. 應用價值與適用場景

最適合 UI 變動頻繁、E2E 測試維護成本高的產品團隊：用自然語言描述「使用者要完成什麼」，比追著選擇器改測試輕鬆得多；錄製重播機制又讓 CI 成本維持在可接受範圍。同時支援 Web 與 iOS／Android，對有多端產品的團隊特別有吸引力。

如果你的 E2E 測試已經很穩定，或是對確定性要求極高（例如金融交易流程），可以只在探索性測試與新功能驗證上使用 Agent 步驟。

Monday 的觀點與架構建議

  • 「AI 探索一次、之後確定性重播」是把 LLM 放進工程流程最聰明的方式之一：用模型解決「怎麼做」的問題，再把答案固化成可重現的步驟。這個模式同樣適用於資料處理、部署腳本等其他領域。
  • 導入時建議為每個 Agent 步驟搭配至少一個確定性斷言，避免重播機制產生「假綠燈」。
  • 測試環境的隔離要比平常更嚴格：專用帳號、sandbox 金流、去識別化資料，並優先使用 microVM 這類一次性環境。
  • 從這週介紹的 OpenCodeReview 到今天的 e2e，可以看到 AI 開發工具正在從「讓 Agent 自由發揮」走向「讓 Agent 在確定性框架中工作」——這可能是 2026 年下半年最重要的工程趨勢。

參考來源