#33 - O estado da arte é self-supervised! Como pré treinar arquiteturas de transformers em NLP e visão computacional.

Vida com IA · Jan 13, 2022 · 27m

Fala galera, nesse episódio eu falo sobre o processo de pré treinamento dos modelos estado da arte em NLP e visão computacional usando arquiteturas de transformers. Desde 2017 nós treinamos redes de NLP (BERT, GPT, ELECTRA) com um modelo de linguagem mascarado usando um processo self-supervisionado, e agora (à partir de 2022) nós somos capazes de treinar arquiteturas de visão (MAE) usando o mesmo processo de modelo de linguagem mascarada. Esse pré treinamento self-supervisionado nos habilita a treinar modelos poderosos que realmente conseguem entender semântica e contexto mesmo sem rótulo nos…