evaluating-code-models

Name: evaluating-code-models
Author: immacualate

Desenvolvimento

Autor: immacualate

Avalia modelos de geração de código em HumanEval, MBPP, MultiPL-E e mais de 15 benchmarks com métricas pass@k. Este padrão da indústria do Projeto BigCode, usado pelos leaderboards do HuggingFace, é ideal para comparar modelos de código e medir a qualidade da geração de código.

4estrelas

Atualizado há 4 meses

Ver no GitHub ↗ Licença: MIT

Como adicionar

/plugin marketplace add immacualate/claude-forge

O comando exato pode variar conforme o repositório. Confira o README no GitHub.

Para o autor da skill

Cole no README do seu repo

Mostra que sua skill está catalogada na Skillteca, gera backlink e tráfego rastreável.

[![Skillteca](https://www.skillteca.com.br/api/badge/evaluating-code-models/svg)](https://www.skillteca.com.br/skills/evaluating-code-models)

#test

Skills relacionadas

Ver todas de Desenvolvimento →

claude-api

153.1k

Build, debug, and optimize Claude API / Anthropic SDK apps. Apps built with this skill should include prompt caching. Also handles migrating existing Claude API code between Claude model versions (4.5 → 4.6, 4.6 → 4.7, retired-model replacements). TRIGGER when: code imports `anthropic`/`@anthropic-ai/sdk`; user asks for the Claude API, Anthropic SDK, or Managed Agents; user adds/modifies/tunes a C

Desenvolvimento #ai #api por anthropics

skill-creator

153.1k

Crie novas skills, modifique e aprimore as existentes, e meça seu desempenho. Utilize para desenvolver, editar, otimizar, testar e comparar skills, além de refinar suas descrições para maior precisão de acionamento.

Desenvolvimento #test por anthropics

claude-code-plugin-release

83.4k

Fluxo de trabalho automatizado de versionamento semântico e lançamento para plugins do Claude Code. Gerencia incrementos de versão em manifestos package.json, marketplace.json, plugin.json, publicação npm (para que npx claude-mem@X.Y.Z seja resolvido), verificação de build, marcação git, lançamentos no GitHub e geração de changelog.

Desenvolvimento #ai #git por thedotmack

claude-mem

83.4k

Contexto Persistente Entre Sessões para Cada Agente – Captura tudo o que seu agente faz durante as sessões, comprime com IA e injeta contexto relevante de volta em sessões futuras. Compatível com Claude Code, OpenClaw, Codex, Gemini, Hermes, Copilot, OpenCode e mais.

Desenvolvimento #ai por thedotmack

Alerta por categoria

Receba novas skills de Desenvolvimento toda segunda

1 email curto, só com as skills novas de Desenvolvimento. 4 minutos de leitura, sem spam, cancela com 1 clique.

Você confirma o email no primeiro envio. Sem spam. Cancela com 1 clique.

Ler descrição completa

BigCode Evaluation Harness - Code Model Benchmarking

Quick Start

BigCode Evaluation Harness evaluates code generation models across 15+ benchmarks including HumanEval, MBPP, and MultiPL-E (18 languages).

Installation:

git clone https://github.com/bigcode-project/bigcode-evaluation-harness.git
cd bigcode-evaluation-harness
pip install -e .
accelerate config

Evaluate on HumanEval:

accelerate launch main.py \
  --model bigcode/starcoder2-7b \
  --tasks humaneval

[Description truncada. Veja o README completo no GitHub.]

Compartilhar X LinkedIn