Explorar skills

Otimiza a inferência de LLMs com NVIDIA TensorRT para máxima vazão e menor latência. Use para implantação em produção em GPUs NVIDIA (A100/H100), quando precisar de inferência 10-100x mais rápida que PyTorch, ou para servir modelos com quantização (FP8/INT4), batching em tempo real e escalonamento multi-GPU.

Acompanhe experimentos de ML, gerencie o registro de modelos com versionamento, implante modelos em produção e reproduza experimentos com MLflow, uma plataforma de ciclo de vida de ML agnóstica a frameworks.

Quantização pós-treinamento de 4 bits para LLMs com perda mínima de precisão. Permite implantar modelos grandes (70B, 405B) em GPUs de consumidor, oferecendo 4x redução de memória com <2% de degradação de perplexidade ou inferência 3-4x mais rápida que FP16, e integra-se com transformers e PEFT para ajuste fino QLoRA.

Plataforma de agentes de IA autônomos para construir e implantar agentes contínuos. Use ao criar agentes de fluxo de trabalho visual, implantar agentes autônomos persistentes ou construir sistemas complexos de automação de IA em várias etapas.

Atende LLMs com alta taxa de transferência usando PagedAttention e batching contínuo do vLLM. Ideal para implantar APIs de LLM em produção, otimizar inferência ou servir modelos com memória GPU limitada, suporta endpoints compatíveis com OpenAI, quantização e paralelismo de tensor.

Quantização Half-Quadratic para LLMs sem dados de calibração. Utilize ao quantizar modelos para precisão de 4/3/2 bits sem a necessidade de conjuntos de dados de calibração, para fluxos de trabalho de quantização rápidos, ou ao implantar com vLLM ou HuggingFace Transformers.

Formato GGUF e quantização llama.cpp para inferência eficiente em CPU/GPU. Utilize ao implantar modelos em hardware de consumo, Apple Silicon, ou quando precisar de quantização flexível de 2 a 8 bits sem requisitos de GPU.

O detector de injeção de prompt e jailbreak de 86M da Meta filtra prompts maliciosos e dados de terceiros para aplicativos LLM. Ele oferece mais de 99% de TPR, menos de 1% de FPR, é rápido (<2ms GPU), multilíngue (8 idiomas) e pode ser implantado com HuggingFace ou processamento em lote para segurança RAG.

Acelere a inferência de LLMs usando decodificação especulativa, múltiplas cabeças Medusa e técnicas de decodificação lookahead. Isso otimiza a velocidade de inferência (ganho de 1.5-3.6x), reduz a latência para aplicações em tempo real e é útil para implantar modelos com computação limitada.

Plataforma de nuvem GPU serverless para executar cargas de trabalho de ML. Use quando precisar de acesso GPU sob demanda sem gerenciamento de infraestrutura, implantar modelos de ML como APIs ou executar trabalhos em lote com escalonamento automático.

Use esta skill quando um projeto PinMe (Worker TypeScript) precisar integrar o envio de e-mail (send_email). Ela guia a IA para gerar o código Worker TS correto.

Use esta skill quando o usuário quiser compartilhar, publicar ou fazer upload de um resultado estático via PinMe. Isso inclui a geração de uma página de compartilhamento HTML estática para um link de projeto PinMe, aplicativo full-stack implantado, resumo de conversa do Codex, relatório, arquivo, demonstração ou qualquer solicitação de compartilhamento/publicação/upload que deva terminar com `pinme upload`.