#73- Transformers.
Fala galera, nesse episódio eu explico tudo que sei sobre Transformers. Falo da arquitetura, explico a formula de atenção, encoder, decoder, self-supervised learning, positional encoding, tokenisation, inductive bias, Vision-Transformers, receiptive fields...
Foi o episódio mais tecnico que eu ja gravei e eu espero que voces gostem! Vale a pena escutar esse episódio com o paper do transformer aberto.
Paper Transformers: https://arxiv.org/pdf/1706.03762.pdf
Link do video explicando Next Token Prediction…
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.