Orchestra-Research

O modelo de moderação especializado de 7-8B da Meta filtra entradas e saídas de LLMs em 6 categorias de segurança, incluindo violência/ódio e conteúdo sexual, com 94-95% de precisão. Ele pode ser implantado com vLLM, HuggingFace, Sagemaker e integra-se com NeMo Guardrails.

Reduza o tamanho de LLMs e acelere a inferência com técnicas de poda como Wanda e SparseGPT. Utilize para comprimir modelos sem retreinamento, alcançar 50% de esparsidade com mínima perda de precisão, ou habilitar inferência mais rápida em aceleradores de hardware.

Estende as janelas de contexto de modelos transformer utilizando RoPE, YaRN, ALiBi e técnicas de interpolação de posição. É útil para processar documentos longos, estender modelos pré-treinados ou implementar codificações posicionais eficientes, cobrindo diversas estratégias de embedding e extrapolação para LLMs.

Esta skill registra a proveniência da pesquisa como um epílogo pós-tarefa, escaneando o histórico da conversa ao final de uma sessão para extrair decisões, experimentos e pivôs. Ela escreve essas descobertas no diretório ara/ com tags de proveniência usuário-vs-IA, mantendo um rastro auditável do projeto de pesquisa.

Um framework para construir aplicações com LLMs, utilizando agentes, cadeias e RAG. Suporta múltiplos provedores, mais de 500 integrações, agentes ReAct, chamada de ferramentas, gerenciamento de memória e recuperação de vetores, ideal para prototipagem rápida e implantações em produção.

Ajusta e avalia políticas OpenVLA-OFT e OpenVLA-OFT+ para geração de ações de robôs com cabeças de ação contínuas, adaptação LoRA e condicionamento FiLM em simulações LIBERO e configurações reais ALOHA. Use para reproduzir resultados do artigo OpenVLA-OFT, treinar cabeças de ação VLA personalizadas, implantar inferência ALOHA cliente-servidor ou depurar componentes como normalização e fusão LoRA.

Extraia dados estruturados de respostas de LLMs com validação Pydantic, retente extrações falhas automaticamente, analise JSON complexo com segurança de tipo e transmita resultados parciais com Instructor - uma biblioteca de saída estruturada testada em batalha.

Treine modelos Mixture of Experts (MoE) usando DeepSpeed ou HuggingFace, ideal para modelos em larga escala com recursos computacionais limitados, arquiteturas esparsas ou para escalar a capacidade eficientemente. Abrange arquiteturas MoE, mecanismos de roteamento, balanceamento de carga, paralelismo de especialistas e otimização de inferência.

Guia pesquisadores através de estruturas de ideação para descobrir direções de pesquisa de alto impacto. Use ao explorar novos espaços de problemas, pivotar entre projetos ou buscar ângulos inovadores em trabalhos existentes.

Um banco de dados vetorial totalmente gerenciado e autoescalável para aplicações de IA em produção, oferecendo busca híbrida, filtragem de metadados e namespaces com baixa latência. Ideal para RAG, sistemas de recomendação ou busca semântica em escala, especialmente com infraestrutura serverless.

Comprima grandes modelos de linguagem usando destilação de conhecimento de modelos professores para modelos alunos. Esta técnica é útil para implantar modelos menores com desempenho mantido, transferir capacidades do GPT-4 para modelos de código aberto ou reduzir custos de inferência, cobrindo estratégias como escalonamento de temperatura, soft targets, KLD reverso, destilação de logits e treinamento MiniLLM.

Este método de compressão de LLM de 4 bits, vencedor do prêmio Best Paper do MLSys 2024, utiliza quantização de pesos sensível à ativação, proporcionando uma aceleração de 3x e perda mínima de precisão. É ideal para implantar modelos grandes em GPUs com memória limitada ou para inferência mais rápida e precisa que o GPTQ, especialmente para modelos ajustados por instrução e multimodais.