logprob-prefill-analysis

Name: logprob-prefill-analysis
Author: bg-szy

DevOps e Infra

Autor: bg-szy

Reproduz o pipeline completo de análise de sensibilidade de preenchimento para indicadores de 'reward hacking'. Utilize para avaliar a suscetibilidade de checkpoints de modelo a preenchimentos que provocam explorações, calcular trajetórias baseadas em tokens ou comparar logprob e contagem de tokens como preditores de explorabilidade.

2estrelas

Atualizado há 4 meses

Ver no GitHub ↗

Como adicionar

/plugin marketplace add bg-szy/TOP-SKILLS

O comando exato pode variar conforme o repositório. Confira o README no GitHub.

Para o autor da skill

Cole no README do seu repo

Mostra que sua skill está catalogada na Skillteca, gera backlink e tráfego rastreável.

[![Skillteca](https://www.skillteca.com.br/api/badge/logprob-prefill-analysis-bg-szy/svg)](https://www.skillteca.com.br/skills/logprob-prefill-analysis-bg-szy)

Skills relacionadas

Ver todas de DevOps e Infra →

internal-comms

153.1k

Recursos para auxiliar na redação de comunicações internas em diversos formatos preferidos pela empresa. Claude deve usar esta habilidade para criar relatórios de status, atualizações de liderança, newsletters, FAQs e outros documentos internos.

DevOps e Infra por anthropics

smart-explore

83.4k

Busca estrutural de código otimizada por tokens usando parsing AST do tree-sitter. Utilize para entender a estrutura do código, encontrar funções ou explorar uma base de código de forma eficiente, sem a necessidade de ler arquivos completos.

DevOps e Infra #ai por thedotmack

babysit

83.4k

Monitora um pull request ou ciclo de revisão até que esteja pronto para ser mesclado. Ideal para acompanhar comentários, revisões e CI de PRs até a resolução de todos os problemas.

DevOps e Infra #ai por thedotmack

do

83.4k

Execute um plano de implementação faseado usando subagentes. Use quando solicitado a executar, rodar ou levar a cabo um plano — especialmente um criado por make-plan.

DevOps e Infra #ai por thedotmack

Alerta por categoria

Receba novas skills de DevOps e Infra toda segunda

1 email curto, só com as skills novas de DevOps e Infra. 4 minutos de leitura, sem spam, cancela com 1 clique.

Você confirma o email no primeiro envio. Sem spam. Cancela com 1 clique.

Ler descrição completa

Prefill Sensitivity Analysis Pipeline

This skill documents the complete pipeline for measuring model susceptibility to reward hacking via prefill sensitivity analysis, including both token-based and logprob-based metrics.

Quick Start: Single Command Reproducibility

The full analysis can be run with a single command:

# Run on most recent sensitivity experiment (auto-discovers checkpoints from config.yaml)
python scripts/run_full_prefill_analysis.py

# Specify a particular sensiti

[Description truncada. Veja o README completo no GitHub.]

Compartilhar X LinkedIn