distributed-llm-pretraining-torchtitan

Name: distributed-llm-pretraining-torchtitan
Author: braxtonROSE4

Outros

Autor: braxtonROSE4

Provides PyTorch-native distributed LLM pretraining using torchtitan with 4D parallelism (FSDP2, TP, PP, CP). Use when pretraining Llama 3.1, DeepSeek V3, or custom models at scale from 8 to 512+ GPUs with Float8, torch.compile, and distributed checkpointing.

7estrelas

Atualizado há 6 meses

Ver no GitHub ↗ Licença: MIT

Como adicionar

/plugin marketplace add braxtonROSE4/zorro-agent

O comando exato pode variar conforme o repositório. Confira o README no GitHub.

Para o autor da skill

Cole no README do seu repo

Mostra que sua skill está catalogada na Skillteca, gera backlink e tráfego rastreável.

[![Skillteca](https://www.skillteca.com.br/api/badge/distributed-llm-pretraining-torchtitan-braxtonrose4/svg)](https://www.skillteca.com.br/skills/distributed-llm-pretraining-torchtitan-braxtonrose4)

#ai #llm

Skills relacionadas

Ver todas de Outros →

slack-gif-creator

153.1k

Conhecimento e utilitários para criar GIFs animados otimizados para o Slack. Fornece restrições, ferramentas de validação e conceitos de animação, sendo útil quando usuários solicitam GIFs para o Slack, como "crie um GIF de X fazendo Y para o Slack".

Outros #ai por anthropics

template-skill

153.1k

Substitua pela descrição da habilidade e quando Claude deve usá-la.

Outros por anthropics

baoyu-compress-image

22.1k

Comprime imagens para WebP (padrão) ou PNG com seleção automática de ferramenta. Use quando o usuário pedir para comprimir imagem, otimizar imagem, converter para webp ou reduzir o tamanho do arquivo de imagem.

Outros por JimLiu

zzz-one-dragon-player

Assistente de jogo automático completo para Zenless Zone Zero, que permite a Agentes de IA automatizar totalmente as rotinas diárias do jogo.

Outros #ai por OneDragon-Anything

Alerta por categoria

Receba novas skills de Outros toda segunda

1 email curto, só com as skills novas de Outros. 4 minutos de leitura, sem spam, cancela com 1 clique.

Você confirma o email no primeiro envio. Sem spam. Cancela com 1 clique.

Ler descrição completa

TorchTitan - PyTorch Native Distributed LLM Pretraining

Quick start

TorchTitan is PyTorch's official platform for large-scale LLM pretraining with composable 4D parallelism (FSDP2, TP, PP, CP), achieving 65%+ speedups over baselines on H100 GPUs.

Installation:

# From PyPI (stable)
pip install torchtitan

# From source (latest features, requires PyTorch nightly)
git clone https://github.com/pytorch/torchtitan
cd torchtitan
pip install -r requirements.txt

**Download tokeni

[Description truncada. Veja o README completo no GitHub.]

Compartilhar X LinkedIn