亞馬遜表示沒有人工撰寫或審核其新的雲端測試工具代碼

亞馬遜於11月11日發布了AWS模擬器，這是一個本地工具，模擬AWS服務，讓開發者可以在自己的機器上測試雲端應用程式。該公司表示，自主AI代理撰寫並審核了其實施方案。

在亞馬遜的工程帳戶中，工程師馬修·戈德堡表示他的團隊既沒有撰寫也沒有審核模擬器代碼。他還描述了將實驗轉變為產品所需的重大工程工作，包括確定哪些變更可以發佈的防護措施和檢查。

亞馬遜描述了三個代理團隊：一個負責保真測試，另一個找出模擬器與真實AWS之間的差異，第三個則修復個別問題。根據該公司的說法，變更在合併之前需要經過編譯、編碼標準、安全性和回歸的檢查。

測試代理根據公共AWS API模型工作，並將其場景與真實雲端進行驗證。公共評估套件表示，每個保真測試都至少在兩個沙盒AWS帳戶中進行了檢查。

通過測試所建立的內容

AWS將與其雲端服務的一致性程度稱為「保真度」。當模擬器在該工作流程中的每次調用中與AWS匹配時，測試即通過，包括狀態碼、結果資源、副作用和錯誤，根據其保真度文檔。當AWS返回錯誤時返回成功則會使該測試失敗。

邊界是覆蓋範圍。評估庫明確表示，未經保真測試的行為是未經驗證的。通過一個場景建立該場景的匹配；它並不建立應用程式使用AWS的每種方式都能正常運作。

模擬器測試通過的限制

AWS在測試的工作流程中定義通過。未經測試的行為和應用程式安全性超出了該結論。
AWS模擬器測試通過所建立的內容
預期的AWS行為和模擬器行為必須在測試的工作流程中匹配。未經測試的行為和應用程式安全性仍然超出該結論。
一個測試場景
真實AWS參考
預期行為
模擬器重播
觀察到的行為
如果每次調用都匹配
狀態碼 · 資源 · 副作用 · 錯誤
該場景通過
超出此測試的結論
未經測試的行為
仍然未經驗證
應用程式安全性
在真實AWS上測試
AWS模擬器測試通過所建立的內容
兩個分支比較預期和觀察到的行為。通過的工作流程使未經測試的行為和應用程式安全性未經驗證。
一個測試場景
真實AWS參考
預期行為
模擬器重播
觀察到的行為
如果每次調用都匹配
狀態碼 · 資源 · 副作用 · 錯誤
該場景通過
超出此測試的結論
未經測試的行為
仍然未經驗證
應用程式安全性
在真實AWS上測試

通過的工作流程是該場景的證據。它並不驗證所有AWS行為或應用程式安全性。

圖表顯示AWS的通過規則，而不是特定的測試結果或測量的覆蓋範圍。應用程式安全性仍然需要在真實AWS上進行測試，才能投入生產。
來源和證據

來源

1. AWS保真度定義
2. AWS評估套件
3. AWS安全限制
4. AWS模擬器的預期用途

支持事實

• AWS將保真測試通過定義為在場景中的每次調用中與AWS匹配，包括狀態碼、資源、副作用和錯誤，並發布模擬器尚未通過的測試。[1]
• 公共評估套件表示，未經保真測試的行為未經驗證；因此，通過的場景並不建立所有AWS行為之間的等價性。[2][1]
• AWS警告不要使用模擬器來驗證應用程式安全性：它不檢查AWS KMS密鑰政策或亞馬遜S3桶政策，並且AWS拒絕的請求可能在模擬器中成功。[3]
• AWS指示用戶在生產之前在真實AWS上測試整個應用程式和安全設置；模擬器旨在用於構建和測試，而不是生產工作負載。[3][4]

方法

AWS發布的保真定義和測試限制的定性圖表。分支比較真實AWS參考與模擬器重播；它們不代表同時的現場測試、數量或覆蓋比例。

範圍

圖表顯示AWS的通過規則，而不是特定的測試結果或測量的覆蓋範圍。應用程式安全性仍然需要在真實AWS上進行測試，才能投入生產。