Avalia LLMs em mais de 60 benchmarks acadêmicos como MMLU e HumanEval. É um padrão da indústria usado por EleutherAI, HuggingFace e grandes laboratórios para comparar a qualidade de modelos, relatar resultados acadêmicos e acompanhar o progresso de treinamento, com suporte para HuggingFace, vLLM e APIs.
/plugin marketplace add immacualate/claude-forge
O comando exato pode variar conforme o repositório. Confira o README no GitHub.
Para o autor da skill
Mostra que sua skill está catalogada na Skillteca, gera backlink e tráfego rastreável.
[](https://www.skillteca.com.br/skills/evaluating-llms-harness)
Build, debug, and optimize Claude API / Anthropic SDK apps. Apps built with this skill should include prompt caching. Also handles migrating existing Claude API code between Claude model versions (4.5 → 4.6, 4.6 → 4.7, retired-model replacements). TRIGGER when: code imports `anthropic`/`@anthropic-ai/sdk`; user asks for the Claude API, Anthropic SDK, or Managed Agents; user adds/modifies/tunes a C
Crie novas skills, modifique e aprimore as existentes, e meça seu desempenho. Utilize para desenvolver, editar, otimizar, testar e comparar skills, além de refinar suas descrições para maior precisão de acionamento.
Fluxo de trabalho automatizado de versionamento semântico e lançamento para plugins do Claude Code. Gerencia incrementos de versão em manifestos package.json, marketplace.json, plugin.json, publicação npm (para que npx claude-mem@X.Y.Z seja resolvido), verificação de build, marcação git, lançamentos no GitHub e geração de changelog.
Contexto Persistente Entre Sessões para Cada Agente – Captura tudo o que seu agente faz durante as sessões, comprime com IA e injeta contexto relevante de volta em sessões futuras. Compatível com Claude Code, OpenClaw, Codex, Gemini, Hermes, Copilot, OpenCode e mais.
Alerta por categoria
1 email curto, só com as skills novas de Desenvolvimento. 4 minutos de leitura, sem spam, cancela com 1 clique.
Você confirma o email no primeiro envio. Sem spam. Cancela com 1 clique.
lm-evaluation-harness evaluates LLMs across 60+ academic benchmarks using standardized prompts and metrics.
Installation:
pip install lm-evalEvaluate any HuggingFace model:
lm_eval --model hf \
--model_args pretrained=meta-llama/Llama-2-7b-hf \
--tasks mmlu,gsm8k,hellaswag \
--device cuda:0 \
--batch_size 8View available tasks:
lm_eval --tasks list[Description truncada. Veja o README completo no GitHub.]