nemo-curator

Name: nemo-curator
Author: braxtonROSE4

Dados e Análise

Autor: braxtonROSE4

GPU-accelerated data curation for LLM training. Supports text/image/video/audio. Features fuzzy deduplication (16× faster), quality filtering (30+ heuristics), semantic deduplication, PII redaction, NSFW detection. Scales across GPUs with RAPIDS. Use for preparing high-quality training datasets, cleaning web data, or deduplicating large corpora.

7estrelas

Atualizado há 6 meses

Ver no GitHub ↗ Licença: MIT

Como adicionar

/plugin marketplace add braxtonROSE4/zorro-agent

O comando exato pode variar conforme o repositório. Confira o README no GitHub.

Para o autor da skill

Cole no README do seu repo

Mostra que sua skill está catalogada na Skillteca, gera backlink e tráfego rastreável.

[![Skillteca](https://www.skillteca.com.br/api/badge/nemo-curator-braxtonrose4/svg)](https://www.skillteca.com.br/skills/nemo-curator-braxtonrose4)

#ai #api #llm

Skills relacionadas

Ver todas de Dados e Análise →

xlsx

153.1k

Use esta skill para qualquer tarefa que envolva arquivos de planilha como entrada ou saída principal, como abrir, ler, editar, corrigir, criar ou converter arquivos .xlsx, .xlsm, .csv ou .tsv.

Dados e Análise #xlsx por anthropics

how-it-works

83.4k

Esta skill explica como o claude-mem captura observações, quando a injeção de memória é ativada e onde seus dados são armazenados.

Dados e Análise #ai por thedotmack

weekly-digests

83.4k

Gera um resumo narrativo semanal da linha do tempo Claude-mem de um projeto, dividindo-a em arquivos por semana ISO e usando subagentes para produzir capítulos semanais. Ideal para "resumos semanais" ou "capítulos narrativos" do histórico de um projeto.

Dados e Análise #ai por thedotmack

mem-search

83.4k

Pesquisa o banco de dados de memória persistente entre sessões do claude-mem. Use para responder perguntas sobre soluções anteriores ou recuperar trabalho de sessões passadas.

Dados e Análise #ai por thedotmack

Alerta por categoria

Receba novas skills de Dados e Análise toda segunda

1 email curto, só com as skills novas de Dados e Análise. 4 minutos de leitura, sem spam, cancela com 1 clique.

Você confirma o email no primeiro envio. Sem spam. Cancela com 1 clique.

Ler descrição completa

NeMo Curator - GPU-Accelerated Data Curation

NVIDIA's toolkit for preparing high-quality training data for LLMs.

When to use NeMo Curator

Use NeMo Curator when:

Preparing LLM training data from web scrapes (Common Crawl)
Need fast deduplication (16× faster than CPU)
Curating multi-modal datasets (text, images, video, audio)
Filtering low-quality or toxic content
Scaling data processing across GPU cluster

Performance:

16× faster fuzzy deduplication (8TB RedPajama

[Description truncada. Veja o README completo no GitHub.]

Compartilhar X LinkedIn