Publicado·9 min de leitura
Antes do prompt: implementei os 4 algoritmos de tokenização dos LLMs em Rust
BPE, WordPiece, SentencePiece-BPE e Unigram implementados do zero, com a matemática de cada critério de seleção e um benchmark controlado de tempo e compressão.