Orchestra-Research

Avalia LLMs em mais de 60 benchmarks acadêmicos como MMLU e HumanEval. É um padrão da indústria para comparar a qualidade de modelos, relatar resultados e acompanhar o progresso do treinamento, com suporte para HuggingFace, vLLM e APIs.

Escreva artigos de ML/IA prontos para publicação para NeurIPS, ICML, ICLR, ACL, AAAI, COLM. Use ao rascunhar artigos de repositórios de pesquisa, estruturar argumentos, verificar citações ou preparar submissões finais; para eventos de sistemas, use 'systems-paper-writing'.

Fornece orientação para interpretar e manipular os internos de redes neurais usando nnsight, com execução remota NDIF opcional. Utilize ao precisar executar experimentos de interpretabilidade em modelos massivos (70B+) sem recursos de GPU locais, ou ao trabalhar com qualquer arquitetura PyTorch.

Orientação especializada para treinamento distribuído com DeepSpeed, cobrindo estágios de otimização ZeRO, paralelismo de pipeline, FP16/BF16/FP8, Adam de 1 bit e atenção esparsa.

Otimiza a inferência de LLMs com NVIDIA TensorRT para máxima vazão e menor latência. Use para implantação em produção em GPUs NVIDIA (A100/H100), quando precisar de inferência 10-100x mais rápida que PyTorch, ou para servir modelos com quantização (FP8/INT4), batching em tempo real e escalonamento multi-GPU.

Controle a saída de LLMs com regex e gramáticas, garanta a geração válida de JSON/XML/código, force formatos estruturados e construa fluxos de trabalho de várias etapas com Guidance - o framework de geração restrita da Microsoft Research.

Quantiza LLMs para 8 ou 4 bits, resultando em uma redução de memória de 50-75% com perda mínima de precisão. É ideal para GPU com memória limitada, modelos maiores ou inferência mais rápida, suportando formatos INT8, NF4, FP4, treinamento QLoRA e otimizadores de 8 bits, e funciona com HuggingFace Transformers.

Orientação especializada para o ajuste fino de GRPO/RL com TRL, visando o treinamento de modelos específicos para raciocínio e tarefas.

Aplica estruturas da ciência cognitiva para o pensamento criativo na ideação de pesquisa em CS e IA. Utilize ao buscar direções de pesquisa genuinamente novas, aproveitando a criatividade combinatória, o raciocínio analógico, a manipulação de restrições e outras estratégias criativas empiricamente fundamentadas.

Esta skill compila diversas entradas de pesquisa, como artigos, código ou notas, em um Artefato de Pesquisa Nativo de Agente (ARA) completo, com camadas cognitiva e física, um grafo de exploração e evidências fundamentadas. É usada para transformar pesquisas em um pacote de conhecimento estruturado e executável por máquina.

Um tokenizador independente de idioma que processa texto como Unicode bruto, suportando algoritmos BPE e Unigram. É rápido, leve e oferece vocabulário determinístico, ideal para suporte multilíngue, idiomas CJK ou tokenização reproduzível.

Fornece orientação para realizar intervenções causais em modelos PyTorch usando o framework de intervenção declarativa do pyvene. Utilize ao conduzir rastreamento causal, correção de ativação, treinamento de intervenção de intercâmbio ou ao testar hipóteses causais sobre o comportamento do modelo.