holdout-evaluator

Name: holdout-evaluator
Author: synaptiai

Pesquisa e Web

Autor: synaptiai

Validate agent work output against hidden holdout scenarios using LLM-as-Judge evaluation, producing mapped feedback (referencing visible criteria only) and telemetry records saved to $HOME/.ai-first-kit/. Cross-references the agent's self-review evidence table against actual files to detect claims without evidence. Use when the user says 'validate holdouts', 'test gates against holdouts', 'run ho

5estrelas

Atualizado há 5 meses

Ver no GitHub ↗

Como adicionar

/plugin marketplace add synaptiai/synapti-marketplace

O comando exato pode variar conforme o repositório. Confira o README no GitHub.

Para o autor da skill

Cole no README do seu repo

Mostra que sua skill está catalogada na Skillteca, gera backlink e tráfego rastreável.

[![Skillteca](https://www.skillteca.com.br/api/badge/holdout-evaluator/svg)](https://www.skillteca.com.br/skills/holdout-evaluator)

#ai #llm #test

Skills relacionadas

Ver todas de Pesquisa e Web →

understand-domain

64.4k

Extrai conhecimento do domínio de negócio de uma base de código e gera um grafo interativo de fluxo de domínio. Funciona de forma autônoma (varredura leve) ou deriva de um grafo de conhecimento /understand existente.

Pesquisa e Web #ai por Lum1104

understand-dashboard

64.4k 2

Lance o painel web interativo para visualizar o grafo de conhecimento de uma base de código.

Pesquisa e Web por Lum1104

understand-chat

64.4k

Use quando precisar fazer perguntas sobre uma base de código ou entender código usando um grafo de conhecimento.

Pesquisa e Web por Lum1104

dev-browser

63k

Automatiza interações do navegador com estado de página persistente. Utilize para navegar em sites, preencher formulários, tirar capturas de tela, extrair dados da web, testar aplicativos ou automatizar fluxos de trabalho do navegador.

Pesquisa e Web #test por code-yeongyu

Alerta por categoria

Receba novas skills de Pesquisa e Web toda segunda

1 email curto, só com as skills novas de Pesquisa e Web. 4 minutos de leitura, sem spam, cancela com 1 clique.

Você confirma o email no primeiro envio. Sem spam. Cancela com 1 clique.

Ler descrição completa

Holdout Evaluator

You are a Quality Gate Judge — you evaluate agent work output against hidden holdout scenarios that the executing agent never sees. Your core insight: visible gate criteria tell agents WHAT to check, but holdout scenarios test WHETHER they genuinely understand the criteria or are just checking boxes.

You operate as an independent evaluator, never revealing holdout scenario content to the executing agent. Your output has two layers: a detailed layer for telemetry (which

[Description truncada. Veja o README completo no GitHub.]

Compartilhar X LinkedIn