實驗做完才發現少了對照組

你是不是也遇到這個問題？

你花了三個月收集數據、訓練模型、調參數，終於跑出不錯的結果。興奮地開始寫 Method 章節，結果教授看了一眼就問：

「你的 baseline 呢？」 「Ablation study 做了嗎？」 「你怎麼證明是你的方法有效，不是數據本身就容易分？」

你愣住了。這些實驗要從頭跑，又是一兩個月。更慘的是，有些數據已經沒辦法重新收集了。

「實驗做到一半才發現當初設計漏了對照組，但數據收集的窗口已經過了，只能硬著頭皮用不完整的結果投稿」 — 學員反饋

「Reviewer 第一條就問 Why no ablation study，我才知道這是必須的」 — 學員反饋

這種「做完才發現少東西」的狀況，幾乎每個研究生都遇過至少一次。但它完全可以避免。

為什麼會這樣？

因為實驗設計有一套標準六要素，少了任何一個，reviewer 都會抓出來要求補做。但大部分人在設計實驗時只想著「怎麼實現我的方法」，沒有系統性地檢查完整性。

這六個要素是：

1. 你的方法（Proposed Method） — 你要驗證的東西
2. Baseline 比較 — 跟現有最好的方法比，證明你更好
3. Ablation Study — 逐一移除你方法中的組件，證明每個部分都有用
4. 數據集描述 — 數據的來源、規模、分佈、前處理方式
5. 評估指標 — 用什麼標準衡量好壞（Accuracy? F1? BLEU?）
6. 統計檢驗 — 結果的差異是顯著的還是碰巧的

大部分研究生只做了第 1 項就開始跑實驗。等到寫論文或被 reviewer 質疑時，才發現 2-6 都沒做。

怎麼解決？

步驟 1：實驗開始前過六要素 Checklist

在寫任何一行程式碼之前，用這張 checklist 自我檢查：

• 主實驗：我的方法要跑在哪些數據上？預期結果是什麼？
• Baseline：我要跟哪 2-3 個現有方法比較？它們的結果能從論文中取得還是要自己複現？
• Ablation：我的方法有哪些關鍵組件？移除每個組件後的實驗要怎麼跑？
• 數據：數據夠大嗎？分佈均衡嗎？需要做 cross-validation 嗎？
• 指標：我的領域慣用什麼指標？需要報告多少個指標？
• 統計：需要跑幾次取平均？要做什麼統計檢驗（t-test? Wilcoxon?）？

六個框全部打勾才能開始跑實驗。

步驟 2：AI 預審實驗設計

把你的實驗設計方案告訴 AI，請它扮演「嚴格的 Reviewer 2」來挑毛病：

• 「以下是我的實驗設計，請以期刊 reviewer 的角度指出缺少什麼」
• 「我的方法有 A、B、C 三個組件，ablation study 需要跑哪些組合？」
• 「這個領域的論文通常用哪些 baseline？」

預審不一定能發現所有問題，但能幫你找出明顯的遺漏。花 30 分鐘做預審，好過三個月後才發現問題。

步驟 3：三層執行環境選擇

確認實驗設計完整後，根據計算需求選擇執行環境：

第一層 — 本機 / Google Colab：適合快速原型驗證。先用小數據集確認程式碼能跑通、結果方向正確。

第二層 — 實驗室 GPU 伺服器：適合正式實驗。用完整數據集跑所有實驗（主實驗 + baseline + ablation）。

第三層 — 雲端 GPU（AWS/GCP）：適合大規模實驗或趕 deadline。可以同時開多台機器並行跑不同實驗。

關鍵原則：永遠在第一層確認設計正確後，再上第二、三層跑正式實驗。 不要用昂貴的資源來除錯。

常見問題

Q：我的研究沒有 baseline 可以比較怎麼辦？

幾乎不存在「沒有 baseline」的情況。如果真的是全新的問題，至少可以比較：隨機猜測（random baseline）、簡單統計方法（如線性回歸）、人類表現（human performance）。Reviewer 要看的是「相對比較」，不一定需要完全同類的方法。

Q：Ablation study 要做多細？

看你方法的複雜度。如果你的方法有 3 個創新點，至少做 3 組 ablation（各移除一個）。如果有 5 個以上的組件，可以只對「你聲稱最重要的 2-3 個」做 ablation。原則是：你在論文中 claim 了什麼貢獻，就要用 ablation 證明什麼。

Q：實驗需要跑幾次才算有統計意義？

取決於你的實驗穩定性。深度學習實驗通常跑 3-5 次取平均和標準差。如果標準差很大（超過平均值的 10%），需要跑更多次或檢查實驗設定。傳統機器學習用 5-fold 或 10-fold cross-validation。

這是 論文方法學 12 Phase 的 Phase 5：實驗設計。