Pesquisa e Web

Um guia completo para escrever artigos de sistemas visando OSDI, SOSP, ASPLOS, NSDI e EuroSys. Oferece modelos estruturais por parágrafo, padrões de escrita, checklists específicos por evento, diretrizes para revisores, templates LaTeX e prazos de conferências.

A API de treinamento distribuído mais simples, permitindo suporte distribuído para qualquer script PyTorch em apenas 4 linhas. Oferece uma API unificada para DeepSpeed/FSDP/Megatron/DDP, posicionamento automático de dispositivos, precisão mista e é um padrão do ecossistema HuggingFace.

Um framework RLHF de alta performance com aceleração Ray+vLLM, ideal para o treinamento PPO, GRPO, RLOO e DPO de modelos grandes (7B-70B+). Construído sobre Ray, vLLM e ZeRO-3, é 2x mais rápido que DeepSpeedChat devido à sua arquitetura distribuída e compartilhamento de recursos de GPU.

Implementa e treina LLMs usando o LitGPT da Lightning AI, com mais de 20 arquiteturas pré-treinadas (Llama, Gemma, Phi, Qwen, Mistral). É ideal para implementações de modelos limpas, compreensão educacional de arquiteturas e fine-tuning em produção com LoRA/QLoRA, oferecendo implementações em arquivo único e sem camadas de abstração.

Acompanhe experimentos de ML, gerencie o registro de modelos com versionamento, implante modelos em produção e reproduza experimentos com MLflow, uma plataforma de ciclo de vida de ML agnóstica a frameworks.

Orientação especializada para o ajuste fino de LLMs com Axolotl, incluindo configurações YAML, mais de 100 modelos, LoRA/QLoRA, DPO/KTO/ORPO/GRPO e suporte multimodal.

Fornece orientação para o rastreamento de experimentos com SwanLab. Use quando precisar de rastreamento de execuções de código aberto, dashboards locais ou auto-hospedados e registro de mídia leve para fluxos de trabalho de ML.

Fornece orientação para evoluir e otimizar automaticamente agentes de IA em qualquer domínio usando algoritmos de evolução impulsionados por LLMs. Utilize ao construir agentes autoaperfeiçoáveis, otimizar prompts e habilidades de agentes contra benchmarks, ou implementar ciclos de avaliação automatizados de agentes.

Quantização pós-treinamento de 4 bits para LLMs com perda mínima de precisão. Permite implantar modelos grandes (70B, 405B) em GPUs de consumidor, oferecendo 4x redução de memória com <2% de degradação de perplexidade ou inferência 3-4x mais rápida que FP16, e integra-se com transformers e PEFT para ajuste fino QLoRA.

Um banco de dados de embeddings de código aberto para aplicações de IA, que armazena embeddings e metadados, e permite busca vetorial, texto completo e filtragem por metadados. É escalável de notebooks a clusters de produção, ideal para busca semântica, RAG e desenvolvimento local.

Orquestra projetos de pesquisa autônoma de IA de ponta a ponta com uma arquitetura de dois loops. O loop interno executa experimentos rápidos com metas de otimização, e o externo sintetiza resultados para direcionar a pesquisa.

Biblioteca PyTorch para geração de áudio, incluindo texto para música (MusicGen) e texto para som (AudioGen). Utilize-a para gerar música a partir de descrições de texto, criar efeitos sonoros ou realizar geração de música condicionada por melodia.