RAG 驗收檢查表

怎麼用這份表

RAG 常見問題不是「回答不好聽」，而是它把不該看的資料拿來答、引用過期文件、查無資料卻硬回答，或讓使用者以為 AI 的答案就是正式結論。

所以驗收時要先問：

這套 RAG 的答案，能不能回到正確來源？使用者是不是有權看這份來源？來源更新後，答案會不會跟著更新？

可複製欄位

| 面向 | 檢查問題 | 負責填寫 | 驗收證據 | 狀態 | 備註 |
| --- | --- | --- | --- | --- | --- |
| 需求 | RAG 用在哪些查詢情境？哪些問題不能回答？ | 業主/知識管理 | 使用情境、不可回答清單 | 未填 |  |
| 需求 | 低信心、查無資料、來源衝突時如何處理？ | 業主/廠商 | 拒答與轉人工規則 | 未填 |  |
| 資料 | 納入哪些文件？文件來源、版本、更新日期是否可追？ | 業主/資料負責人 | 文件清單、版本紀錄 | 未填 |  |
| 資料 | 是否含個資、機密、營業秘密、合約或未公開資料？ | 法務/資安/業主 | 資料分級、排除清單 | 未填 |  |
| 模型 | 檢索、排序、引用來源顯示方式是什麼？ | 廠商/IT | 系統設定、引用規則 | 未填 |  |
| 模型 | 測試題是否包含標準題、查無資料題、權限不足題？ | 業主/廠商 | 測試題集、測試報告 | 未填 |  |
| 風險 | 使用者是否只能查到自己有權限看的文件？ | IT/資安/廠商 | 權限測試、帳號測試紀錄 | 未填 |  |
| 風險 | 答案是否會把推測寫成事實？是否標示非正式法律或決策意見？ | 業主/法務 | 答案範例、覆核紀錄 | 未填 |  |
| 維運 | 文件新增、刪除、改版後，索引多久更新？誰核准？ | IT/知識管理 | 更新流程、索引重建紀錄 | 未填 |  |
| 維運 | 是否定期抽查錯誤答案、熱門問題與無答案問題？ | 業主/廠商 | 品質抽查報告 | 未填 |  |
| 移交 | 廠商是否交付資料清單、索引設定、提示詞與操作手冊？ | 廠商/IT | 移交清單 | 未填 |  |
| 移交 | 查詢日誌、來源引用、人工覆核紀錄保存在哪裡？ | IT/資安 | 日誌設定、稽核方式 | 未填 |  |

資料來源驗收

RAG 的資料來源要比一般聊天機器人更嚴格，因為它看起來像在「查公司資料」或「查官方文件」。

• 文件來源：
• 文件負責單位：
• 文件版本：
• 最後更新日期：
• 是否可被 AI 檢索：
• 是否含個資：
• 是否含機密或營業秘密：
• 是否含第三方著作或外部授權資料：
• 是否需要排除：
• 誰可以查：

引用與答案驗收

答案不只要像人話，還要能被追。

• 是否顯示來源文件：
• 是否顯示段落、章節或頁碼：
• 是否顯示文件版本或日期：
• 是否避免把來源沒有寫的內容補成結論：
• 查無資料時是否明確說查不到：
• 來源衝突時是否提醒使用者：
• 是否保留原始查詢、檢索來源與答案：

權限驗收

RAG 最危險的地方之一，是使用者透過 AI 查到自己原本不該看的文件。

• 是否串接既有身分驗證：
• 是否依部門、職務、專案或資料等級控權：
• 是否測試低權限帳號：
• 是否測試離職或停權帳號：
• 是否避免共用高權限帳號：
• 是否保留查詢者、時間、文件來源與答案紀錄：

測試題集

驗收測試題不要只放「標準答案題」，至少要混入這幾種：

題型	目的
標準答案題	看系統能不能找到正確文件
查無資料題	看系統會不會亂編
權限不足題	看使用者能不能越權查文件
過期文件題	看是否會引用舊版資料
來源衝突題	看是否能提醒來源不一致
模糊問題	看系統會不會先釐清問題
高風險問題	看是否轉人工或拒答

上線後維運

RAG 上線後，真正的工作才開始。文件會改、權限會變、熱門問題會變，錯誤答案也會被使用者慢慢問出來。

• 文件更新週期：
• 索引重建頻率：
• 錯誤答案回報方式：
• 熱門查詢檢查方式：
• 無答案問題整理方式：
• 權限複查週期：
• 模型或檢索策略變更紀錄：
• 重新驗收條件：

不要這樣驗收

不夠好的驗收	問題
回答看起來合理	可能沒有來源或來源錯誤
有引用來源就好	可能引用過期文件或越權文件
測 20 題都答對	題集可能太乾淨，沒有查無資料與陷阱題
之後文件再慢慢補	沒有版本與更新流程，答案會很快失真
權限用部門共用帳號	出事時查不到實際使用者

現在不能講太滿

這份表是 RAG 專案的實務檢查表，不是正式法律意見。若 RAG 涉及大量個資、醫療、金融、政府機敏資料、營業秘密或跨境服務，驗收前應讓法務、資安與目的事業主管規範一起進來。