dspy-evaluate

Name: dspy-evaluate
Author: lebsral

Desenvolvimento

Autor: lebsral

Use when you need to measure how well your DSPy program performs — writing metrics, scoring against a dev set, or comparing before/after optimization. Common scenarios - measuring accuracy before and after optimization, writing custom metrics for your task, scoring a program against a held-out dev set, comparing two prompt strategies, building a test suite for AI quality, or running regression tes

6estrelas

Atualizado há 4 meses

Ver no GitHub ↗

Como adicionar

/plugin marketplace add lebsral/DSPy-Programming-not-prompting-LMs-skills

O comando exato pode variar conforme o repositório. Confira o README no GitHub.

Para o autor da skill

Cole no README do seu repo

Mostra que sua skill está catalogada na Skillteca, gera backlink e tráfego rastreável.

[![Skillteca](https://www.skillteca.com.br/api/badge/dspy-evaluate/svg)](https://www.skillteca.com.br/skills/dspy-evaluate)

#ai #test

Skills relacionadas

Ver todas de Desenvolvimento →

claude-api

153.1k

Build, debug, and optimize Claude API / Anthropic SDK apps. Apps built with this skill should include prompt caching. Also handles migrating existing Claude API code between Claude model versions (4.5 → 4.6, 4.6 → 4.7, retired-model replacements). TRIGGER when: code imports `anthropic`/`@anthropic-ai/sdk`; user asks for the Claude API, Anthropic SDK, or Managed Agents; user adds/modifies/tunes a C

Desenvolvimento #ai #api por anthropics

skill-creator

153.1k

Crie novas skills, modifique e aprimore as existentes, e meça seu desempenho. Utilize para desenvolver, editar, otimizar, testar e comparar skills, além de refinar suas descrições para maior precisão de acionamento.

Desenvolvimento #test por anthropics

claude-code-plugin-release

83.4k

Fluxo de trabalho automatizado de versionamento semântico e lançamento para plugins do Claude Code. Gerencia incrementos de versão em manifestos package.json, marketplace.json, plugin.json, publicação npm (para que npx claude-mem@X.Y.Z seja resolvido), verificação de build, marcação git, lançamentos no GitHub e geração de changelog.

Desenvolvimento #ai #git por thedotmack

claude-mem

83.4k

Contexto Persistente Entre Sessões para Cada Agente – Captura tudo o que seu agente faz durante as sessões, comprime com IA e injeta contexto relevante de volta em sessões futuras. Compatível com Claude Code, OpenClaw, Codex, Gemini, Hermes, Copilot, OpenCode e mais.

Desenvolvimento #ai por thedotmack

Alerta por categoria

Receba novas skills de Desenvolvimento toda segunda

1 email curto, só com as skills novas de Desenvolvimento. 4 minutos de leitura, sem spam, cancela com 1 clique.

Você confirma o email no primeiro envio. Sem spam. Cancela com 1 clique.

Ler descrição completa

Evaluate Your DSPy Program

Guide the user through measuring AI quality with DSPy's Evaluate class. The pattern: pick a metric, prepare a devset, run the evaluator, interpret results, then feed the same metric into an optimizer.

What is dspy.Evaluate

dspy.Evaluate runs your program on every devset example, scores each with a metric, and reports the aggregate score. It handles threading and progress display. Returns a percentage (0-100).

Built-in metrics

DSPy provides `answer_exac

[Description truncada. Veja o README completo no GitHub.]

Compartilhar X LinkedIn