Explorar skills

Executa inferência de LLM em CPU, Apple Silicon e GPUs de consumo sem hardware NVIDIA, ideal para implantação em edge, Macs M1/M2/M3, GPUs AMD/Intel ou quando CUDA não está disponível. Suporta quantização GGUF (1.5-8 bit) para memória reduzida e uma aceleração de 4-10x em comparação com PyTorch na CPU.

Treina grandes modelos de linguagem (2B-462B parâmetros) usando NVIDIA Megatron-Core com estratégias avançadas de paralelismo. É ideal para modelos com mais de 1B de parâmetros, máxima eficiência de GPU (47% MFU em H100) ou que exigem paralelismo de tensor/pipeline/sequência/contexto/especialista, sendo uma estrutura pronta para produção usada por Nemotron, LLaMA e DeepSeek.

Plataforma de observabilidade para LLMs para rastreamento, avaliação e monitoramento. Utilize ao depurar aplicações LLM, avaliar saídas de modelos contra conjuntos de dados, monitorar sistemas em produção ou construir pipelines de teste sistemáticos para aplicações de IA.

Avalia LLMs em mais de 60 benchmarks acadêmicos como MMLU e HumanEval. É um padrão da indústria para comparar a qualidade de modelos, relatar resultados e acompanhar o progresso do treinamento, com suporte para HuggingFace, vLLM e APIs.

Otimiza a inferência de LLMs com NVIDIA TensorRT para máxima vazão e menor latência. Use para implantação em produção em GPUs NVIDIA (A100/H100), quando precisar de inferência 10-100x mais rápida que PyTorch, ou para servir modelos com quantização (FP8/INT4), batching em tempo real e escalonamento multi-GPU.

Controle a saída de LLMs com regex e gramáticas, garanta a geração válida de JSON/XML/código, force formatos estruturados e construa fluxos de trabalho de várias etapas com Guidance - o framework de geração restrita da Microsoft Research.

Quantiza LLMs para 8 ou 4 bits, resultando em uma redução de memória de 50-75% com perda mínima de precisão. É ideal para GPU com memória limitada, modelos maiores ou inferência mais rápida, suportando formatos INT8, NF4, FP4, treinamento QLoRA e otimizadores de 8 bits, e funciona com HuggingFace Transformers.

Orientação especializada para ajuste fino de LLMs com LLaMA-Factory, oferecendo uma WebUI sem código, mais de 100 modelos, QLoRA de 2/3/4/5/6/8 bits e suporte multimodal.

Curadoria de dados acelerada por GPU para treinamento de LLM. Suporta texto, imagem, vídeo e áudio, com deduplicação difusa (16x mais rápida), filtragem de qualidade, deduplicação semântica, redação de PII e detecção de NSFW. Escala em GPUs com RAPIDS para preparar datasets de alta qualidade.

Um framework de dados para construir aplicações LLM com RAG, especializado na ingestão de documentos (mais de 300 conectores), indexação e consulta. Oferece índices vetoriais, motores de consulta, agentes e suporte multimodal, sendo ideal para aplicações LLM centradas em dados como Q&A de documentos e recuperação de conhecimento.

Um framework RLHF de alta performance com aceleração Ray+vLLM, ideal para o treinamento PPO, GRPO, RLOO e DPO de modelos grandes (7B-70B+). Construído sobre Ray, vLLM e ZeRO-3, é 2x mais rápido que DeepSpeedChat devido à sua arquitetura distribuída e compartilhamento de recursos de GPU.

Implementa e treina LLMs usando o LitGPT da Lightning AI, com mais de 20 arquiteturas pré-treinadas (Llama, Gemma, Phi, Qwen, Mistral). É ideal para implementações de modelos limpas, compreensão educacional de arquiteturas e fine-tuning em produção com LoRA/QLoRA, oferecendo implementações em arquivo único e sem camadas de abstração.