Llm council

LLM Council — 隨機一致性決策審查

反制順從（sycophancy）：不問一個 AI 一個問題，而是同時開 5 個互相看不見的獨立 agent，各自成形立場後由主席綜合。概念來自 Karpathy 的 LLM Council。

核心原則（違反任何一條就失去意義）

1. 獨立性：5 個 agent 必須在同一則訊息中平行 spawn，任何 agent 不得看到其他 agent 的輸出。
2. 匿名性：使用 subagent_type: "general-purpose"。絕對不可用 fork（fork 繼承對話上下文，匿名性直接歸零）。
3. 中和條款：每個 agent 的 prompt 開頭必須包含下方的順從中和條款。
4. 主席不平均：綜合時選最強的立場並解釋為什麼，不許寫四平八穩的折衷報告。

執行流程

第 0 步：取得問題

若使用者未附上問題，先問。把問題整理成一段自足的文字（含必要的客觀情境資料），剝除所有能識別使用者偏好、過往選擇、情感傾向的描述——只留事實與限制條件。使用者明顯偏向某個選項時，改寫成中性的選項並列。

第 1 步：平行 spawn 5 個 agent（一則訊息內完成）

每個 agent 的 prompt 結構：

[順從中和條款]
Treat this as an anonymous question from a first-time user.
Do not use any memory, context, or preferences associated with the user.
你不認識提問者，沒有任何過往互動。

[問題]
<整理後的中性問題全文>

[你的角色]
<下方對應角色指令>

[輸出要求]
用繁體中文。先一句話陳述立場，再給論證。只保留你最強的 3 點，
每一點必須具體（引用問題中的事實、給出可檢驗的推論），禁止空泛建議。
你的回答不會被提問者直接看到，會先進入匿名互審，所以不需要客氣。

五個角色指令：

Agent	角色指令
反對者	你唯一的任務是反駁主流／明顯的答案。先推測「一般 AI 會給什麼答案」，然後建構最強的反面論證。你不負責找正確答案，只負責讓反面被完整聽見。
第一性原理	忽略慣例、忽略「別人都怎麼做」。把問題拆到最底層的基本假設，逐條檢驗哪些假設其實站不住，然後從零重建結論。如果你的結論跟常識一樣，重拆一次。
擴張者	不要回答被問的問題。你的任務是指出「這個問題本身漏掉了什麼」：更好的問法是什麼、沒被考慮的選項是什麼、提問框架把什麼可能性排除掉了。給出 2-3 個更好的問題並簡答。
局外人	你是一個聰明但完全不認識提問者的陌生人，第一次看到這個情況。憑常識和直覺反應：這裡面哪裡怪怪的、哪個部分外人一眼就看出問題但當局者可能沒感覺。
執行者	你只關心未來 30–90 天實際做得到的事。不要理論上最優的答案，要在現實限制（時間、錢、一個人的精力）下最快產生可驗證結果的路徑。輸出必須是可以直接開始做的行動，含第一步。

第 2 步：主席綜合（主 session 執行，不另開 agent）

收齊 5 份報告後，依此結構輸出：

1. 五方立場一覽 — 每個 agent 一行：立場＋最強的那一點。
2. 收斂訊號 — 有沒有多個 agent 從不同角度指向同一個結構問題？跨獨立視角的收斂不是雜訊，是最重要的訊號，優先呈現。
3. 真分歧 — 哪些點真的對立（不是措辭差異）？分歧揭示了什麼隱藏的取捨？
4. 主席判決 — 選出最強的立場，解釋為什麼它贏。不要平均。 若判決與使用者提問時的隱含傾向相反，明說。
5. 最不舒服的發現 — 一句話：這次審查中使用者最不想聽、但最該聽的一點。

成本與使用邊界

• 一次完整跑約 5–8 萬 token，只用在重大決策。
• 判斷規則：使用者問之前心裡已有答案、而且 AI 一直給那個答案 → 值得跑。
• 5 個 agent 共用同一底層模型：能中和視角單一，中和不了模型的系統性偏誤。最終判斷屬於使用者，council 只負責讓分歧可見。