#60 - Como entrar o texto no seu modelo? Entendendo tokenizers.

Vida com IA · Dec 1, 2022 · 15m

Fala galera, nesse episódio eu explico como funcionam os tokenizers. Eles basicamente possibilitam a gente entrar texto em algoritmos de NLP como BERT ou GPT. No episódio eu explico 3 tipos de tokenizers, baseado em palavra, baseado em caracteres e baseado e uma representação de sub-palavras.

Instagram: https://www.instagram.com/podcast.lifewithai/

Linkedin: https://www.linkedin.com/company/life-with-ai

Huuging Face blog sobre tokenizers: https://huggingface.co/docs/transformers/tokenizer_summary