huggingface-tokenizers

Name: huggingface-tokenizers
Author: braxtonROSE4

Pesquisa e Web

Autor: braxtonROSE4

Fast tokenizers optimized for research and production. Rust-based implementation tokenizes 1GB in <20 seconds. Supports BPE, WordPiece, and Unigram algorithms. Train custom vocabularies, track alignments, handle padding/truncation. Integrates seamlessly with transformers. Use when you need high-performance tokenization or custom tokenizer training.

7estrelas

Atualizado há 6 meses

Ver no GitHub ↗ Licença: MIT

Como adicionar

/plugin marketplace add braxtonROSE4/zorro-agent

O comando exato pode variar conforme o repositório. Confira o README no GitHub.

Para o autor da skill

Cole no README do seu repo

Mostra que sua skill está catalogada na Skillteca, gera backlink e tráfego rastreável.

[![Skillteca](https://www.skillteca.com.br/api/badge/huggingface-tokenizers-braxtonrose4/svg)](https://www.skillteca.com.br/skills/huggingface-tokenizers-braxtonrose4)

#ai #word

Skills relacionadas

Ver todas de Pesquisa e Web →

understand-domain

64.4k

Extrai conhecimento do domínio de negócio de uma base de código e gera um grafo interativo de fluxo de domínio. Funciona de forma autônoma (varredura leve) ou deriva de um grafo de conhecimento /understand existente.

Pesquisa e Web #ai por Lum1104

understand-dashboard

64.4k 2

Lance o painel web interativo para visualizar o grafo de conhecimento de uma base de código.

Pesquisa e Web por Lum1104

understand-chat

64.4k

Use quando precisar fazer perguntas sobre uma base de código ou entender código usando um grafo de conhecimento.

Pesquisa e Web por Lum1104

dev-browser

63k

Automatiza interações do navegador com estado de página persistente. Utilize para navegar em sites, preencher formulários, tirar capturas de tela, extrair dados da web, testar aplicativos ou automatizar fluxos de trabalho do navegador.

Pesquisa e Web #test por code-yeongyu

Alerta por categoria

Receba novas skills de Pesquisa e Web toda segunda

1 email curto, só com as skills novas de Pesquisa e Web. 4 minutos de leitura, sem spam, cancela com 1 clique.

Você confirma o email no primeiro envio. Sem spam. Cancela com 1 clique.

Ler descrição completa

HuggingFace Tokenizers - Fast Tokenization for NLP

Fast, production-ready tokenizers with Rust performance and Python ease-of-use.

When to use HuggingFace Tokenizers

Use HuggingFace Tokenizers when:

Need extremely fast tokenization (<20s per GB of text)
Training custom tokenizers from scratch
Want alignment tracking (token → original text position)
Building production NLP pipelines
Need to tokenize large corpora efficiently

Performance:

Speed: <20 seconds to toke

[Description truncada. Veja o README completo no GitHub.]

Compartilhar X LinkedIn