#48 - Attention is all you need. Entendendo Transformers.

Vida com IA · Apr 28, 2022 · 18m

Fala galera, nesse episódio eu finalmente explico a rede Transformers! O artigo Attention is all you need que propos o modelo de Transformer foi revolucionário para o domínio de NLP e agora também está revolucionando todos as áreas de Deep Learning. No episódio eu explico o modelo de atenção, self-attention e multi-head attention para ambos Encoder e Decoder, além do famoso positional encoding. Vão lá escutar o episódio porque ele ficou muito bom!

Original paper: https://arxiv.org/pdf/1706.03762.pdf

Self-attention GitHub code…