Konfabulations audit
Skill DYAI2025/Plumbline/config/claude/skills/konfabulations-audit
Checks every external claim for evidence before the final answer and classifies it as supported, inferable, unverified, or do-not-claim. Companion to ultrathink-craftsmanship. Use when stating releases, APIs, prices, benchmarks, studies, product behavior, legal/medical/financial facts, claims about foreign codebases/files/org knowledge, or any numbers, names, dates, versions, quotes — and before any autonomous agent flow adopts a claim that could propagate.From its SKILL.md
npx -y skills add DYAI2025/Plumbline --skill konfabulations-auditAssembled from the repository path, not quoted from the project. Check it against their README if it does not work.
2 things to look at
- no licenseNo license file was found in the repository. Code published without one is not open source by default, so using it at work is a question for whoever answers licensing questions where you are.
- 6 stars6 stars. Stars are a popularity signal and not a quality one, but at this level it is likely that nobody has read this closely except its author, and you would be relying on your own review.
SKILL.md
4.7 KB, ~1.3k tokens by cl100k_base, as published. Nobody here has run it
Konfabulations-Audit
Version: 1.0 · Companion zu ultrathink-craftsmanship (Phase 5)
Zweck
Verhindere, dass unbelegte Behauptungen ("Konfabulationen") in eine Antwort, ein Artefakt oder — besonders kritisch — in einen autonomen Agenten-Ablauf gelangen, wo sie sich vervielfältigen und zur stillen Prämisse werden. Es ist ein Verifikations-Gate für Claims, kein Stil- oder Reasoning-Gate: pro Behauptung gilt behaupten (mit Beleg), abschwächen oder streichen.
Grundsatz (nicht verhandelbar)
Eine fehlende Information wird niemals "logisch" selbst geschlossen. Sie wird als Lücke markiert und — je nach Kontext — durch Quelle belegt, transparent als ungeprüft gekennzeichnet oder gar nicht behauptet. Das Schließen einer Wissenslücke durch plausibles Raten ist die Konfabulation, die dieser Skill abfängt.
Wann verwenden
Aktiviere, sobald die Antwort eine externe Behauptung enthalten würde — aktuelle
Releases/Versionen/APIs/Preise/Limits/Benchmarks/Studien; nicht direkt beobachtetes
Produkt-/Systemverhalten; rechtliche/medizinische/finanzielle/regulatorische Fakten;
Aussagen über fremde Codebasen/Dateien/Dokumente ohne gelesene Quelle; jede konkrete
Zahl, jeder Name, jedes Datum, jede Version, jedes Zitat. Nicht nötig bei rein internem
Reasoning, eigener (als solche markierter) Meinung, oder vollständig aus dem
bereitgestellten Kontext Ableitbarem (dann Status ableitbar mit Verweis).
Klassifikation (die vier Marken)
| Marke | Bedeutung | Handlung |
|---|---|---|
belegt | durch geprüfte Quelle / gelesene Datei / Tool-Ergebnis gedeckt | behaupten mit Quellenangabe |
ableitbar | folgt zwingend aus bereitgestelltem Kontext/Daten | behaupten mit Verweis auf die Basis |
ungeprüft | plausibel, aber ohne Beleg | abschwächen ("möglicherweise", "bitte prüfen") oder verifizieren |
nicht behaupten | nicht verifizierbar / sicherheits-/faktenkritisch ohne Quelle | streichen; stattdessen Lücke benennen |
Entscheidungsregel: Im Zweifel runterstufen. ungeprüft ist nie eine Grundlage für
eine definitive Aussage oder für eine Annahme im autonomen Ablauf. Trainingswissen über
veränderliche Fakten (Preise, Releases, Amtsinhaber, Versionen) ist nie automatisch
belegt — wenn ein Verifikationswerkzeug verfügbar ist (Web-Suche, Doku-Tool, Datei
lesen), nutze es, bevor du belegt vergibst.
Workflow
- Claims extrahieren — jede atomare externe Behauptung listen; Sammelaussagen zerlegen ("X ist schneller und billiger" → zwei Claims).
- Belegquelle bestimmen — gelesene Datei/Tool/Suchergebnis →
belegt; zwingend aus Kontext folgend →ableitbar; nur Trainingswissen/Plausibilität →ungeprüftodernicht behaupten. - Verifizieren oder herabstufen —
belegt/ableitbarmit Quelle behalten;ungeprüftjetzt verifizieren oder sichtbar abschwächen;nicht behauptenentfernen. - Lücken benennen statt füllen — für jede entfernte/unhaltbare Behauptung die offene
Frage präzise benennen. Im Spec-/Anforderungskontext zwingend: Lücke an den
Menschen zurückgeben (gezieltes Nachfragen, z.B. via
brainstorming), nicht selbst entscheiden. - Audit ausgeben vor der finalen Antwort (Format unten). Bei Kopplung an
ultrathink-craftsmanship: dies erfüllt dessen Phase 5.
Ausgabeformat
## Konfabulations-Audit
| # | Claim | Quelle | Marke | Handlung |
|---|-------|--------|-------|----------|
| 1 | ... | ... | belegt/ableitbar/ungeprüft/nicht behaupten | behalten/abschwächen/streichen |
Offene Lücken (nicht selbst zu schließen):
- [Frage 1 → an User / via brainstorming]
Im Kurzmodus genügt eine Claim-Liste mit Marken, wenn keine kritischen Claims vorliegen.
Eskalation in autonomen Abläufen
Wenn dieses Audit innerhalb eines Agenten-Workflows (z.B. /agileteam) läuft:
- Kein
ungeprüft- odernicht behaupten-Claim darf als Prämisse in eine spätere Phase übernommen werden. - Tritt ein solcher Claim an einem Anforderungs-/Spec-Punkt auf → BLOCKER: Ablauf anhalten, Lücke per Nachfrage am Menschen schließen.
- Genau ein Remediation-Pass; das Audit selbst wird nicht endlos wiederholt.
What ships with it
Read from the repository
Just SKILL.md. No reference files, no scripts.
Gives 0 of the 12 instructions most audit compliance skills give in ~1.3k tokens
Counted across 937 of the 1,487 authors here whose files we hold, read 2026-08-07
- Fetch latest guidelines before each reviewin 43 of 937, across 3 files
- Group findings by severityin 43 of 937
- Check files against all fetched rulesin 42 of 937, across 2 files
- Output findings in terse file:line formatin 41 of 937, across 3 files
- Ask user which files to review if none specifiedin 41 of 937, across 3 files
- Read specified files or prompt user for filesin 39 of 937, across 1 file
- Generate the audit reportin 33 of 937, across 30 files
- Assign a severity to every findingin 25 of 937
- Run automated accessibility scansin 23 of 937, across 13 files
- Output a markdown audit reportin 22 of 937
- Map findings to WCAG criteriain 20 of 937, across 10 files
- Confirm audit scopein 19 of 937, across 9 files
Said here and by no other author read
- classify each claim as supported, inferable, unverified, or do-not-claim
- verify before assigning supported status
- downgrade the claim status when in doubt
- cite the source for supported claims
- reference the basis for inferable claims
- weaken unverified claims or verify them
Grouped from the skills themselves: near-identical wordings counted once, and counted by distinct author, so one author publishing three of these counts once. Length counted with cl100k_base; the agent that loads this file may tokenize it differently.