Orchestra-Research

Geração e serviço estruturados rápidos para LLMs, utilizando cache de prefixo RadixAttention. Ideal para saídas JSON/regex, decodificação restrita e fluxos de trabalho de agentes, oferece inferência 5x mais rápida que vLLM com compartilhamento de prefixo, sendo utilizado em mais de 300.000 GPUs em empresas como xAI, AMD, NVIDIA e LinkedIn.

Otimização Simples de Preferência para alinhamento de LLMs. É uma alternativa sem referência ao DPO, com melhor desempenho (+6,4 pontos no AlpacaEval 2.0) e treinamento mais eficiente, simples e rápido que DPO/PPO.