Orchestra-Research

A plataforma empresarial da NVIDIA avalia LLMs em mais de 100 benchmarks de mais de 18 frameworks (MMLU, HumanEval, GSM8K, segurança, VLM) com execução multi-backend. Ela oferece avaliação escalável em Docker local, Slurm HPC ou plataformas de nuvem, com uma arquitetura container-first para benchmarking reproduzível.

Ajuste LLMs usando aprendizado por reforço com TRL, utilizando SFT para ajuste de instruções, DPO para alinhamento de preferências e PPO/GRPO para otimização de recompensa e treinamento de modelos de recompensa. Ideal para RLHF, alinhar modelos com preferências ou treinar com feedback humano, e compatível com HuggingFace Transformers.

Oferece orientação para pesquisa de interpretabilidade mecanicista, usando TransformerLens para inspecionar e manipular os componentes internos de transformadores via HookPoints e cache de ativação. É ideal para engenharia reversa de algoritmos de modelos, estudo de padrões de atenção ou experimentos de patching de ativação.

Uma biblioteca abrangente de código aberto de habilidades de pesquisa e engenharia de IA para qualquer modelo de IA. Empacote essas habilidades para capacitar seu agente Claude Code/Codex/Gemini como um agente de pesquisa de IA com potência total, mantido pela Orchestra Research.

Atende LLMs com alta taxa de transferência usando PagedAttention e batching contínuo do vLLM. Ideal para implantar APIs de LLM em produção, otimizar inferência ou servir modelos com memória GPU limitada, suporta endpoints compatíveis com OpenAI, quantização e paralelismo de tensor.

Fornece orientação para RL agêntica nativa do PyTorch usando torchforge, a biblioteca da Meta que separa infraestrutura de algoritmos. Use para abstrações claras de RL, experimentação fácil de algoritmos ou treinamento escalável com Monarch e TorchTitan.

Fornece orientação para treinar LLMs com aprendizado por reforço usando verl (Volcano Engine RL).

Quantização Half-Quadratic para LLMs sem dados de calibração. Utilize ao quantizar modelos para precisão de 4/3/2 bits sem a necessidade de conjuntos de dados de calibração, para fluxos de trabalho de quantização rápidos, ou ao implantar com vLLM ou HuggingFace Transformers.

Oferece pré-treinamento distribuído de LLMs nativo do PyTorch usando torchtitan com paralelismo 4D (FSDP2, TP, PP, CP). É ideal para pré-treinar Llama 3.1, DeepSeek V3 ou modelos personalizados em escala de 8 a mais de 512 GPUs, utilizando Float8, torch.compile e checkpointing distribuído.

Ajuste fino eficiente em parâmetros para LLMs usando LoRA, QLoRA e mais de 25 métodos. Ideal para ajustar modelos grandes (7B-70B) com memória GPU limitada, treinar menos de 1% dos parâmetros com perda mínima de precisão, ou para servir múltiplos adaptadores, sendo a biblioteca oficial da HuggingFace integrada ao ecossistema transformers.

Um híbrido RNN+Transformer com inferência O(n), oferecendo tempo linear e contexto infinito sem cache KV. Treina como GPT e infere como RNN, sendo utilizado em Windows, Office e NeMo, com modelos de até 14B de parâmetros.

Formato GGUF e quantização llama.cpp para inferência eficiente em CPU/GPU. Utilize ao implantar modelos em hardware de consumo, Apple Silicon, ou quando precisar de quantização flexível de 2 a 8 bits sem requisitos de GPU.