Ai search testing

Skill ffidelis16/GEO-OS/skills/ai-search-testing

Modular operating system for Generative Engine Optimization and AI Search workflows, with skills, rubrics, templates, benchmarks and validation.

Install

npx -y skills add ffidelis16/GEO-OS --skill ai-search-testing

Assembled from the repository path, not quoted from the project. Check it against their README if it does not work.

One thing to look at

0 stars0 stars. Stars are a popularity signal and not a quality one, but at this level it is likely that nobody has read this closely except its author, and you would be relying on your own review.

What its author says it does

Copied from the file, not written here

Planeja, executa e documenta benchmarks reproduzíveis de AI Search. Use para medir presença, citação, suporte, absorção, precisão de entidade, concorrentes e estabilidade entre engines, locales, datas e repetições.

SKILL.md

3.6 KB, as published. Nobody here has run it

Testes de AI Search

Objetivo

Transformar observações de respostas generativas em um benchmark auditável, comparável e honesto sobre suas limitações.

Quando usar

Para estabelecer baseline de marca, categoria ou página.
Antes e depois de mudanças relevantes.
Para comparar engines, concorrentes, locales ou tipos de intenção.
Em monitoramento periódico com método estável.

Quando não usar

Para concluir causalidade com uma execução.
Para comparar resultados coletados com prompts ou condições diferentes sem normalização.
Quando a engine, data, locale ou modo de busca não podem ser registrados.
Como substituto de métricas de negócio ou analytics.

Inputs

Mínimos:

prompt set versionado;
marca, domínio e concorrentes;
engines e modos;
locale, data e número de repetições.

Opcionais: páginas-alvo, respostas anteriores, screenshots, parâmetros de conta, persona e estágio da jornada.

Processo

Selecionar prompts sem alterar a redação durante a rodada.
Registrar engine, modelo quando exposto, modo web, conta, locale e timestamp.
Executar no mínimo três repetições quando a engine for não determinística.
Salvar resposta e URLs citadas sem corrigir manualmente o conteúdo.
Avaliar separadamente:
- presença da entidade;
- citação do domínio ou URL;
- suporte real da citação ao claim;
- absorção de evidência ou estrutura;
- precisão de nomes e atributos;
- posição relativa de concorrentes;
- continuação em follow-ups, quando testada;
- hand-off para uma próxima ação observável, quando houver dados.
Registrar indisponibilidade, bloqueio ou ausência de busca como estado próprio.
Separar métricas da resposta de métricas posteriores: presença e atribuição não substituem analytics; hand-off e conversão exigem instrumentação própria.
Agregar resultados por prompt, intenção, engine e rodada.
Comparar versões apenas quando o protocolo permanecer compatível.
Tratar qualquer delta como observação do protocolo. Correlação temporal não implica causalidade da intervenção.

Outputs

planilha de benchmark;
resumo por engine e intenção;
lista de fontes recorrentes;
incidentes de atribuição ou entidade;
sinais de continuação e hand-off, quando medidos;
hipóteses para intervenção e plano de re-teste.

Critérios de qualidade

Protocolo e prompt set são versionados.
Resultados brutos permanecem disponíveis.
Ausência de citação não é confundida com ausência de influência.
Citação é verificada contra o conteúdo da fonte.
Comparações usam o mesmo denominador e condições equivalentes.
Limitações de personalização, volatilidade e acesso estão explícitas.
Métricas de resposta, analytics e resultados de negócio permanecem separadas.

Erros comuns

Usar screenshots como única evidência.
Rodar prompts diferentes para cada concorrente.
Misturar menção, recomendação, citação e absorção.
Forçar busca web e comparar com uma rodada sem busca.
Reportar percentuais sem informar amostra e repetições.
Tratar notes como contrato agregável: unsupported_claims, fabricated_citations e entity_confusion permanecem ali como limitação conhecida até recorrência em um segundo benchmark justificar novas colunas.