Explorar skills

Fornece orientação para treinar LLMs com aprendizado por reforço usando verl (Volcano Engine RL).

Quantização Half-Quadratic para LLMs sem dados de calibração. Utilize ao quantizar modelos para precisão de 4/3/2 bits sem a necessidade de conjuntos de dados de calibração, para fluxos de trabalho de quantização rápidos, ou ao implantar com vLLM ou HuggingFace Transformers.

Oferece pré-treinamento distribuído de LLMs nativo do PyTorch usando torchtitan com paralelismo 4D (FSDP2, TP, PP, CP). É ideal para pré-treinar Llama 3.1, DeepSeek V3 ou modelos personalizados em escala de 8 a mais de 512 GPUs, utilizando Float8, torch.compile e checkpointing distribuído.

Ajuste fino eficiente em parâmetros para LLMs usando LoRA, QLoRA e mais de 25 métodos. Ideal para ajustar modelos grandes (7B-70B) com memória GPU limitada, treinar menos de 1% dos parâmetros com perda mínima de precisão, ou para servir múltiplos adaptadores, sendo a biblioteca oficial da HuggingFace integrada ao ecossistema transformers.

Um híbrido RNN+Transformer com inferência O(n), oferecendo tempo linear e contexto infinito sem cache KV. Treina como GPT e infere como RNN, sendo utilizado em Windows, Office e NeMo, com modelos de até 14B de parâmetros.

Formato GGUF e quantização llama.cpp para inferência eficiente em CPU/GPU. Utilize ao implantar modelos em hardware de consumo, Apple Silicon, ou quando precisar de quantização flexível de 2 a 8 bits sem requisitos de GPU.

Acompanhe experimentos de ML com registro automático, visualize o treinamento em tempo real, otimize hiperparâmetros com varreduras e gerencie o registro de modelos com W&B - uma plataforma colaborativa de MLOps.

Gera figuras com qualidade de publicação para artigos de ML, extraindo componentes para diagramas de arquitetura via Gemini e criando gráficos de dados via matplotlib/seaborn. Ideal para qualquer figura de artigo de conferência.

Construa sistemas complexos de IA com programação declarativa, otimize prompts automaticamente e crie sistemas RAG modulares e agentes usando DSPy, o framework da Stanford NLP para programação sistemática de LMs.

A estrutura de segurança em tempo de execução da NVIDIA para aplicações LLM oferece detecção de jailbreak, alucinações e toxicidade, além de validação de entrada/saída, verificação de fatos e filtragem de PII. Utiliza Colang 2.0 DSL para rails programáveis, está pronta para produção e roda em GPUs T4.

Adiciona PyTorch FSDP2 (fully_shard) a scripts de treinamento com inicialização correta, sharding, configuração de precisão mista/offload e checkpointing distribuído. Utilize quando modelos excederem a memória de uma única GPU ou para sharding baseado em DTensor com DeviceMesh.

O detector de injeção de prompt e jailbreak de 86M da Meta filtra prompts maliciosos e dados de terceiros para aplicativos LLM. Ele oferece mais de 99% de TPR, menos de 1% de FPR, é rápido (<2ms GPU), multilíngue (8 idiomas) e pode ser implantado com HuggingFace ou processamento em lote para segurança RAG.