Latest / Product Guru's : Produto | Negócios | Carreira / Medindo a felicidade, frustração e outras coisas abstratas - Leandro Lima

Transcript

Medindo a felicidade, frustração e outras coisas abstratas - Leandro Lima · Product Guru's : Produto | Negócios | Carreira

0:07
Oi, tudo bem com você? Meu nome é Paulo te odiei.
0:09
Você acaba de dar play no episódio 133 do prot.
0:13
Gurus, o podcast que a voz por trás dos produtos e comigo tá
0:18
ele, mas antes de falar com corredor e ver se ele tá tudo
0:22
bem, eu vou fazer uma Mini introdução aqui, porque eu sei
0:26
que ele jogou esse joguinho, tá bom?
0:29
Então ele já jogou o joguinho de um guaxinim rançoso que estava
0:34
tentando acabar com as plantações, roubando todos os
0:36
curte vim. Que via pela frente e junto,
0:40
juntou-se ao filme Heroes combinámos com te vinhos e
0:43
passes de centenas de níveis para passar para salvar o dia.
0:47
E ele foi forçado pela esposa dele a desinstalar, para a
0:51
tristeza do nosso convidado esse jogo tudo bem e do tudo certo,
0:55
certo, é em defesa da minha lugar.
0:57
Eu confesso que eu sou um pouco viciado em jogo, até meu
1:00
videogame tem que estar 2 horas, eu coloco um timer No No
1:03
relógio, não me per vou esqueço a vida só vou, quem sabe talvez
1:07
tenha um streamer dentro de mim eu ainda não sei mas quem sabe?
1:10
Alô gaulês né? Alô no Bruno é, se prepare alô
1:14
Coringa. Vai com e dou um dia vai ser
1:17
streaming, é isso. Quem sabe?
1:18
Quem sabe? Eu já falei que ia fazer várias
1:20
coisas, não é? E poucas delas eu fiz, mas quem
1:21
sabe streamer, aí você poderia ser.
1:24
É inovador esse tri mandou jogando firme, olha lá, olha lá
1:28
por que não Twitch um pá? Alô Casemiro é hoje a pauta hoje
1:34
o tema é bom, não, o Edu é ótimo, é ótimo e muito obrigado
1:38
por me convidar, é um tema, eu adoro que é isso, só pra deixar
1:42
bem claro que o tema satisfação do usuário antigo tá, NPS outras
1:48
formas de medi-las também são antiga, é então OKS alt tab.
1:53
Vamos para para pauta porque ela acredita e do que vai a opinião
1:57
do nosso convidado. Vai ferir um pouco ego de
2:00
algumas pessoas, não? Olha, eu espero porque é assim
2:04
que a gente cresce, né? Na partir de conflitos e
2:08
discussões que a gente cresce, evolui e nos tornamos pessoinhas
2:12
melhores assim que nós passamos de level.
2:15
Olha só que incrível, aí esse é o gancho é, vamos pra pauta
2:20
então. Já pensou evoluir suas
2:29
habilidades em Project manager? Ao lado de grandes profissionais
2:33
do mercado? Até na escola referência na área
2:36
de produtos e de carreiras digitais, está com as inscrições
2:39
abertas para o curso, que já formou mais de 5000
2:41
profissionais, além de contar com aulas ao vivo e gravadas,
2:45
mentoring e desafios assinados por grandes marcas.
2:48
Você aprende e se conecta com mais de 11000 profissionais em
2:51
uma comunidade exclusiva. Olha só essa oportunidade de
2:54
network, mais de 11000 profissionais em uma comunidade
2:57
exclusiva. Pra você que está escutando esse
2:59
episódio, eu tenho um desconto de 10% para impulsionar sua
3:02
carreira, é só acessar o link que ficará na discussão deste
3:05
episódio e aplicar o cupom de desconto exclusivo do PG para
3:09
garantir o seu desconto. O cupom é produtivo, underline,
3:12
guru produtivo, underline, buru, sem o senso de gurus, no final
3:17
tá bom? Então clica no link e vai lá
3:20
impulsionar sua carreira em. Vamos medir a satisfação dos
3:28
usuários com a nossa solução. Você provavelmente já ouviu ou
3:31
disse essa frase quando estava definindo métricas para
3:34
trabalhar. Toda pessoa que trabalha com o
3:36
produto EOX em algum momento quis pensar em alguma métrica de
3:40
sucesso sobre isso. Não falamos apenas sobre como
3:44
medir satisfação. Falamos sobre media Felicidade
3:47
com o framework heart, por exemplo, sobre quantificar a
3:50
frustração ou ter um número que mostra o quão leal usuário é.
3:53
Debatemos sobre design emocional e sobre maneiras de quantificar
3:57
a emoção que a pessoa tem a usar o nosso produto.
4:00
Mas como medir emoções como? Afinal, medir a satisfação dos
4:04
usuários bem esse trecho. Isso é isso que eu acabei de
4:07
falar, é um trecho do de um artigo bombástico que o Leandro
4:12
Lima escreveu e que causou um burburinho, é, né?
4:16
De UX, de dados de produtos, e ele está aqui, né?
4:19
Diretamente de Londres com seu chá, né?
4:22
Pra falar com a gente, seja bem-vindo ao prot gurus, Leandro
4:24
Aline, tudo bem com você? Tudo certo, eu acabei de sair de
4:27
uma ligação com a rainha pra vim diretamente para esse podcast.
4:31
Ele tem contato com a netinha amp, eles a eles, a bolsa olha
4:36
só, é muito mais vítimas do que a gente lê down.
4:40
Antes de a gente começar a fazer as perguntas, você criou alguma
4:44
base de haters devido ao seu ao seu artigo ou não?
4:48
Não que eu saiba. É, né?
4:52
Pelo menos as pessoas que vieram falar comigo gostaram, então é
4:56
se alguém, se alguém odiou, porque não, não odiou?
5:00
Não, não, não, não fiquei sabendo aí, sei lá, não, não
5:02
faço questão é assim, teve pessoas que diz que teve
5:06
pessoas, discordaram de alguns pontos, a gente veio, converta e
5:08
tudo mais e aí é é construtivo porque é eu, eu, eu quero estar
5:13
menos errado, totalmente errado, é muito de coisa lá eu só quero
5:15
estar menos errado, aí é legal, mas hã, não?
5:19
Então a partir desse episódio ele vai ter é isso?
5:21
Quero falar é que eu acho que tá na hora da gente espalhar mais a
5:24
palavra, porque eu eu particularmente eu estava
5:26
falando com com o Leandro antes de começar a gravar.
5:29
Eu. Eu realmente sou apaixonado por
5:31
por dados e métricas. Já conversei muito com chave de
5:34
sobre isso. EE foi muito legal para comecei
5:36
a ler Oo artigo e me instigou a estudar cada vez mais.
5:41
Então até brinquei que é antes de gravar o podcast de abrir 2
5:45
teses de de mestrado que eu achei aqui no Google academics e
5:49
falando sobre as diferenças e como que satisfaçam lealdade.
5:53
São coisas diferentes e elas se correlacionarem em muitos
5:57
aspectos, né? Eu como que isso impactaria na
6:00
hora de você ter um produto na hora de você ter uma
6:02
funcionalidade e como que as empresas muitas vezes fazem
6:05
errado? A utilização de terminologias.
6:08
Acho que o maior problema tudo é é nas empresas, é a nomenclatura
6:12
das coisas, né? Sim, EEO que eu, o que eu acho
6:15
assim, satisfação e lealdade se correlacionam bastante e algumas
6:19
indústrias, né? Tem algumas que que não
6:21
necessariamente se relacionam, mas no geral a gente pode
6:23
relaciona, é a questão é que nem sempre o que você usa para medir
6:28
nem sempre satisfação se manifesta da mesma forma.
6:33
Que é meio que sobre isso que eu, que eu, que eu estava
6:35
falando assim, que que eu queria falar nesse artigo, é essa
6:39
Felicidade, satisfação, tristeza, frustração.
6:43
Ela se manifesta de maneiras muito particulares e em vários
6:46
produtos, e eu acho que é muito importante a gente ter noção
6:49
disso, se não a gente cai numa uma coisa meio genérica, assim
6:52
que não sei, é no não gosto de fazer que é inútil, mas não
6:56
gosto de usar. Vocês já perceberam como que vai
6:59
ser o episódio? Não o 2 defensores do do
7:03
movimento não usam NPS para satisfação, mas enfim, ou calma,
7:08
é, é antes da gente já entra na polêmica Leandrão.
7:10
Qual é a sua história? A era uma quinta-feira em 1988
7:14
chovia. Tem que brincadeira, eu.
7:18
Eu trabalho com eu trabalho com um XA desde 2008 2007.
7:24
Não vai vir agora fazer um Estrela é antes disso errou,
7:27
jogava futebol. A joguei Na Na base de um time
7:30
em São Paulo é, comecei, era muito melhor designer do que
7:34
jogador de futebol, então comecei AA fazer fazer o xis e
7:38
fiquei bastante tempo como uns 34 anos como freelancer.
7:41
Aí eu consegui um emprego numa numa agência em São Paulo
7:44
chamada casa rosada, aprendi bastante lá.
7:48
O aprendi bastante assim, coisas que eu fazia com o é aprendi
7:51
bastante sobre como gerenciar clientes, sabe?
7:53
Não, não muito sobre skill técnica, mas tipo, eu estava
7:57
numa agência, aí tinham clientes de todos os lados, pressão e
8:00
tudo mais. E como gerenciar isso?
8:01
A foi um aprendizado bem bem interessante, inclusive para o
8:04
próximo passo, que foi eu abrir minha própria agência, onde eu
8:07
dava dava consultoria para para muitas startups, então eu
8:11
trabalhei com, com bastante startup, que estava
8:13
implementando OUXAE. Depois eu consegui um emprego na
8:17
adventurers. Como é us designer Na Na época
8:21
para liderar uma empresa dos Estados Unidos e a ideia era é
8:24
ajudar a criar esse escritório no Brasil.
8:26
Era o primeiro setor Internacional do Adventure, com
8:28
a ideia era ajudar a criar, se for no Brasil.
8:30
Que que é um tempo lá? Aí teve 11 oferta para ir para
8:32
para Holanda, que eu fiquei um. Trabalhei na boca em ponto com,
8:35
hã, eu fui lá, eu era também eu sai nele.
8:37
Tin lead a da booking depois de 3 anos da booking, eu fui pra
8:40
Klein, Nike é uma fintech, é uma fintech sueca, a da claro, eu
8:45
fui pro Google, a fiquei um ano, quase 2 anos no Google e agora
8:48
eu faço o joguinho. Eu trabalho Na Na Kim fazendo, é
8:53
fazendo joguinho, joguinhos que a gente joga no banheiro, certo,
8:56
né? Basicamente.
8:59
OK, fazendo, eu falo que eu estou, eu estou trazendo, estou
9:01
trazendo diversão para para momentos que são entediantes.
9:05
Olha só, é do é que a história não, poxa, ele nem sei o que
9:09
falar, é, é onde é, é um é um desbravador de mundos, é mudei
9:15
bastante, é o tô juntando na Inglaterra, mas eu acho que é o
9:18
quarto país, já que eu tô morando em eu acho que contar o
9:21
Brasil quinto, quinto acho que o interessante da história, além
9:24
de ser um desbravador e já ter morado em 5 países 55 países
9:29
antes de eu fazer a pergunta que me veio na cabeça, agora, qual é
9:32
a formação de ter morado em 5 países?
9:35
Eu vou fazer uma pergunta sim, de web designer, um para o ex
9:40
designer sênior de uma das maiores empresas de jogos do
9:43
mundo é você falou, né? Se deu toda a sua trajetória. 5
9:46
países, o que que você traz da época de web designer pra hoje,
9:52
na, na, na King, no seu dia a dia é e até mesmo conversando
9:57
com a setinha a acho que a curiosidade a.
10:02
É, é assim, é um é um mix de de, de se ter noção que eu não, que
10:07
eu, que eu sei muito pouco e a vontade de querer aprender mais,
10:10
o que pode resultar numa puta síndrome do impostor, mas também
10:15
é uma leva a gente AA fazer coisas de um jeito que a gente
10:18
nem imaginava antes. Eu acho que eu que eu, que eu
10:20
sempre fui desde o começo, assim, movido por curiosidade,
10:23
tipo quando quando eu comecei AA estudar web design era muita.
10:27
Eu queria saber como funcionava HTML, sabe, é, é esse, esse é
10:32
meu pai, não, eu não nem sabia que isso era uma profissão é, eu
10:34
queria sa eu tinha curiosidade para saber por como você
10:37
colocava um site no ar. E aí eu fiz um site, eu fiz um
10:41
blog, é e eu curti muito mais fazer o blog do que postar
10:45
coisas no blog é e depois foi, foi, foi, foi um movido por mais
10:49
curiosidade é mais curiosidade. Eu cheguei aqui com isso de
10:51
curiosidade também, de tipo, como, como fazer um jogo?
10:54
Por que que um jogo é legal, porque que jogos são divertidos.
10:56
Eu comecei a estudar jogos assim por por curiosidade, por que que
11:00
pessoas acham coisas divertidas e investem tempo na nisso, sabe?
11:04
É, eu acho que que que é isso o que eu trago desde o começo, a
11:07
curiosidade oi, a é, aí vem a outra pergunta, que é da dos
11:11
países, né? Nesses 5 países que você passou,
11:14
unem todos, era usado o NPS para.
11:18
Insatisfação não, não nota Mayotte.
11:24
Olha. E aí a gente já entra No No
11:29
tema, né? Foi bom a pergunta básica é pra
11:32
gente fazer ali, criar a base para a gente entrar?
11:36
A pergunta aqui, lendo o seu o seu artigo, o link está na
11:40
descrição desse artigo maravilhoso é que, apesar de ele
11:44
estar trabalhar em Londres, ter morado em 5 países, eles ele não
11:48
fez o artigo em inglês. Tá bom, tá bom, é né?
11:54
Só pra quem entendeu entendeu? O rolê tá link, né, destruição
11:58
do aqui, do episódio e a gente vai compartilhar esse artigo se
12:02
criarem uma camiseta. Com o leitor de artigo incluso,
12:08
não sei, vai estar lá. É esse artigo o quanto um
12:11
questionário pode nos enganar. O Leandro recebo essa essa
12:16
pergunta. Assim, as pessoas quando usam um
12:20
produto, elas ou elas, o que elas falam?
12:23
Não que ela não é o que elas fazem, né?
12:24
É, não significa que um questionário seja, ou seja, no
12:29
seu uso, muito questionário no dia a dia, tá?
12:31
Eu uso muito questionário para, mas tem tem técnicas bem
12:34
importantes que a gente tem que levar em consideração quando faz
12:36
questionários, não é simplesmente como fazer 5
12:38
perguntas em sequência e tirar uma conclusão com isso, tem,
12:41
tem, tem técnica, é OA questão, é que um questionário.
12:45
É, ele é muito alto reportado ele e muitas vezes cai num viés
12:49
do que a pessoa quer parecer que ela faz ou do que a pessoa quer
12:53
transparecer que ela fala quando você pede pra quando eu chego
12:56
para uma pessoa e falo você, sei lá, você gosta disso?
12:59
Você faz tal coisa, ela vai levar muito em consideração
13:02
assim, não, o que necessariamente ela faz, mas o
13:04
que ela quer que o mundo perceba que ela faz.
13:06
E isso pode desvirtuar algumas coisas.
13:09
É se eu chegar pra uma pessoa e fala assim, você?
13:11
Principalmente, questionários hipotéticos, né?
13:13
Questionários sobre ações passadas é, pode, pode funcionar
13:17
um pouquinho melhor, mas só chega num crime, falou assim,
13:18
você compraria esse produto? Por exemplo, se alguém chegar
13:22
pra mim agora? Se nossa Leandro, se você fosse
13:24
bilionário, você compraria uma Ferrari?
13:26
Hoje eu falaria, talvez provavelmente eu compraria.
13:29
Eu acho que sim, é, mas aí de repente eu sou bilionário e eu
13:32
vou primeiro viajar o mundo, sei lá, ir pro espaço, eu não sei
13:36
qual que outras mais legal do que ter um carro?
13:38
É, mas naquela época que fez a pergunta tudo mais, eu eu faria,
13:43
porque OOO Leandro, daquela época, pensou com a cabeça
13:47
dentro daquela época, então é muito difícil.
13:48
A gente prevê é prever o uso de um produto ou prever muitas
13:52
coisas através de um questionário auto informado, né?
13:55
E principalmente para para emoções, porque se a gente quer
13:58
medir tipo, satisfação, Felicidade, emoções em si.
14:01
A gente está pedindo pra pessoa racionalizar um sentimento,
14:04
sabe? E é muito fácil enviesar.
14:07
Essa racionalização. É 11 sentimento, 11 emoção
14:11
assim, às vezes é uma coisa muito mais, é muito mais.
14:14
Você consegue ver muito mais em comportamentos, em ações do que
14:17
na racionalização. Funciona para o questionário,
14:19
funciona pra outras coisas, mas quando a gente quer falar
14:21
dessas, desses, desses pontos mais abstratos, a gente depende
14:24
muito do usuário que está respondendo esse esse formulário
14:28
tem a mesma abstração que a gente tem e isso é bem difícil.
14:32
Deixa, deixa eu dar uma polemizada, então a gente pode
14:34
dizer que é a utilização é AA de apenas o questionário, né?
14:39
Então, utilizar apenas o questionário?
14:41
O output de um questionário pode ser considerada uma métrica de
14:45
vaidade? Depende do porque estão os anos
14:48
daí tem uma, é primeiro assim, Oo, que que é uma?
14:51
O que é uma métrica de verdade? Porque na minha visão, uma
14:53
métrica de vaidade é o uma médica de verdade, é uma métrica
14:56
que não existe para não tem o poder de influenciar nenhuma
15:00
decisão, mas você, por algum motivo gosta de falar ela.
15:05
Saca isso a minha definição de uma métrica de vaidade é se se
15:10
até NPS, mas vamos falar de de NPS, se você consegue tomar
15:14
decisões baseado no MPs, legal, você tem 11 métrica que te ajuda
15:19
a gerenciar o produto. Mas eu sou contra métricas que
15:24
não ajudam as pessoas que estão num produto a tomarem decisões.
15:28
Eu, eu acho que se eu tenho uma métrica que ela não me permite
15:31
tomar nenhuma decisão sobre o direcionamento de um produto ou
15:34
sobre Oo colocar ou não colocar uma fita, e isso é só o barulho,
15:38
sabe? E se a pessoa gosta de fazer
15:40
barulho aí eu aí entra na minha definição de métricas de
15:42
vaidade. E desse ponto de vista, qualquer
15:44
coisa próxima acreditar, qualquer coisa pode chamar de
15:47
vaidade. Vamos, por que você colocou lá
15:48
para medir SUS, né? Que que não é single?
15:51
Isabele esqueceu tradução, então é, mas você colocou lá para
15:54
medir o sabia. Aquela métrica clássica de
15:56
usabilidade. O SUS é, mas ela não te permite
15:59
tomar nenhuma decisão sobre usabilidade, você só usa ela
16:02
para ficar falando nossa me usabilidade é 97 versus minhas
16:06
habilidade era 45 e tudo mais, aí tá para que você tá falando
16:09
isso? Nunca eu eu aqui dentro do
16:11
produto criando esse produto, não consigo é, não consigo
16:14
decidir nada, sabe? Se você criar alguma
16:17
operacionalização prática para isso ou para chegar e falar
16:19
assim não, a gente mede usabilidade.
16:22
E a gente consegue correlacionar o crescimento das habilidade com
16:25
a ação XPTOE falava assim, beleza, eu tô tomando ações EE,
16:29
verificando a consequência dessa ação e tal e a partir disso eu
16:31
posso planejar meu futuro? Eu tomo uma decisão é menos é
16:34
menos vaidade, mas é uma meta que você só gosta de falar e não
16:37
consegue tomar nenhuma decisão em cima dela.
16:40
Talvez geralmente é de verdade, é o Endo.
16:44
Esse é interessante, não acho que é.
16:45
Acho que a melhor definição de métricas de vaidade e que já
16:49
passou pelo pelo PG não sim, bem, bem, bem simples, né?
16:53
É bem fácil de entender, né? Sim, que a galera gosta de
16:56
complicar também, uns rolê exato, é eu.
16:59
Eu. Eu, uma coisa que já me
17:01
perguntaram, né, o que que é métrica gente?
17:02
Vaidade para você? Eu sempre falei que aquela meta,
17:05
que não conta uma história que é exatamente isso, que o Leandro
17:08
falou, né, é só para me gabar, meu aplicativo tem nota sim, tá
17:11
legal, o que você vai fazer com isso?
17:12
Nada. Estou só na nota que ele vai dar
17:14
o aí uma outra pergunta, né? Porque assim a gente entendeu
17:19
que os formulários é medir me, pelo que eu entendi do do do
17:23
artigo medir sentimentos é não é uma tarefa fácil, isso é
17:28
acredito que ao falar isso, quando eu, quando eu li, falei,
17:32
pô, é óbvio, não é? Seria muito, não seria muito.
17:36
É, não, não vou usar a palavra aqui da minha parte, achar que
17:40
um questionário com um questionário é, eu vou saber se
17:43
o Edu ou Leandro estão satisfeitos, estão felizes,
17:47
estão frustrados, é. Dados, et cetera é, mas o ponto
17:51
é, OK, é difícil através de um formulário, mas qual é a
17:56
métrica, então que a gente usa para medir o sentimento dos
18:00
nossos usuários com os nossos produtos?
18:02
Porque o heart tem algumas coisas ali, né?
18:05
Felicidade, engajamento é et cetera.
18:09
NPS é muito difundido, que é uma métrica de satisfação, então, se
18:14
o meu NPS tá 90, tem empresas, né, que se gabam, né?
18:17
Meu NPS é de 90, meu NPS 98 é de insatisfação, se não quer você,
18:22
site, que é o de insatisfação, né?
18:24
Na teoria, é, mas qual? Qual?
18:26
É muitas siglas, muitos termos em inglês, mas qual é a métrica?
18:30
Leandro, que a gente usaria nenhuma.
18:34
Que isso é, eu acho que assim, se você achar 11 métrica que
18:39
mede Felicidade, você vai estar tipo em uma métrica.
18:43
É, resumindo, anos de estudo de psicologia e neurociência e tudo
18:48
mais. O que você mete você mede isso
18:50
dentro de contextos. EE nisso, até MPs dentro do
18:53
contexto certo é útil. Sabe, por exemplo, é se você
18:56
trabalha num produto em que o comportamento de pessoas que
18:59
gostam daquele produto é recomendar para outras pessoas e
19:02
tem produtos que que acontece isso, tipo bancos, é eu mudei de
19:07
país quando eu cheguei aqui na Inglaterra, eu fui apresentado a
19:10
uma pessoa, um colega de trabalho.
19:12
E eu precisava abrir uma conta no banco.
19:14
Eu cheguei pro cara, eu falei, puta, que banco, você me
19:16
recomenda? E o cara me recomenda?
19:17
Um banco SNPSOUQNPS mede é a probabilidade de uma pessoa
19:22
fazer uma recomendação e se você, dentro de do do do rol de
19:26
comportamentos de pessoas satisfeitas com aquele produto,
19:29
diz as pessoas satisfeitas com o produto recomendam o meu produto
19:33
até NPS pode até funcionar aí, nesse caso, num caso de um
19:36
banco, banco, banco pode até funcionar, OK?
19:39
No caso de um banco, uma pessoa falou assim, cara, quem gosta do
19:41
meu banco conta para os outros, sabe legal e já aconteceu um
19:45
caso comigo é de um de um produto que eu que eu estava
19:47
trabalhando, que é um produto de de gerenciamento empresarial,
19:50
certo? Não posso falar muito, mas era
19:52
um produto de gerenciamento empresarial.
19:53
E tentam foram fazer uma pesquisa NPS e a pergunta lá é,
19:56
você recomendaria o produto? E é de um Monte de gente
19:59
focando. Não, não, não, não recomendaria,
20:01
não recomendaria, não recomendaria.
20:02
E quando a gente vai vendo qualitativo ali, no que as
20:04
pessoas falavam, ela falou assim, cara, se eu recomendar
20:06
isso, eu vou estar entregando meu ouro pro concorrente.
20:11
Então não, eu não recomendaria, então não faz sentido no
20:14
contexto desse produto, do que significa um usuário satisfeito
20:18
é eu usando, conhece, sabe e a mesma coisa vale para qualquer
20:21
outra métrica. Vale pra pra se 7, para as sés
20:25
pra SUS e o caramba é dentro do contexto do seu produto, o que
20:29
uma pessoa feliz faz, o que uma pessoa satisfeita faz e isso
20:32
varia de de maneira assim, da absurda de contexto para
20:36
contexto. Tanto por isso, assim, não
20:38
existe uma meta, não se você procura uma métrica universal
20:41
que messages coisa não existe, é o que existe é, e essa é a
20:44
pergunta que eu faço com minha equipe quando eu tô tentando
20:47
decidir como a gente vai metrificar.
20:49
É dentro do contexto do nosso produto.
20:51
O que uma pessoa satisfeita faz e óbvio, eu não vou chutar da
20:56
minha cabeça ou que uma pessoa satisfeita faz.
20:58
A gente tem pesquisas que a gente pode fazer para é tentar
21:01
descobrir o que que essas pessoas fazem quando elas gostam
21:04
do nosso produto, né? E a partir daí, você vai ter um
21:07
conjunto de ações que são através da técnica certa,
21:11
possíveis de serem medidas. Vamos supor que você trabalha
21:13
num produto, trabalha numa loja virtual e o as pessoas que
21:17
gostam muito daquele produto que elas fazem é voltar e comprar de
21:21
novo. Cara, você tem na no, no na taxa
21:23
de retorno um proxi importante para medir se as pessoas estão
21:27
gostando daquela experiência. Vamos supor que você tenha um
21:30
banco e as pessoas que gostam daquele banco acabam
21:33
recomendando através de um link de afiliado.
21:35
Você consegue medir isso também? Você consegue medir você?
21:37
Comportamento. Falou assim, cara, dado que as
21:39
pessoas que gostam do meu produto recomenda o meu produto,
21:42
eu posso medir as recomendações. Eu posso mensurar essa ação,
21:45
sabe? Posso medir ela usando de novo?
21:47
AA questão é que assim o isso chama operacionalização é e
21:51
operacionalização, é uma coisa muito importante, é quando a
21:54
gente fala aí de de psicologia, de neurociência, o caramba,
21:58
porque a gente não pode abrir o cérebro da pessoa, infelizmente,
22:01
mesmo que a gente abra, a gente não consegue ver a Felicidade,
22:05
sabe? Eu te ver.
22:06
Processos químicos é operacionalizar 11,
22:09
operacionalizar uma algum conceito significa você medir um
22:13
conceito por um proxy, você medir ele por 11 ferramenta
22:16
indireta que não é aquele conceito, mas é um indicativo
22:19
que aquele conceito existe, por exemplo.
22:21
Então eu gosto de futebol, é uma pessoa feliz num jogo de
22:24
futebol. Ela tá, sei lá, gritando gol e
22:27
eu posso. Eu posso medir isso significa
22:30
que a pessoa tá feliz? Grosso modo, não, mas significa
22:33
que ela está gritando gol, que é um indicativo dentro de vários
22:36
de de um conjunto de comportamento, é um indicativo
22:39
que eu posso inferir que aquela pessoa esteja feliz, é, eu posso
22:42
mudar essas inferências, essas. Essas definições, no decorrer do
22:45
meu produto, eu posso um dia descobri que fala assim, puta,
22:48
olha só, o pessoal recomenda aqui, ó, ele tá, sei lá.
22:51
Compartilhando. Na rede social o meu produto não
22:53
pra recomendar, mas para detonar no Twitter.
22:55
Então, tipo compartilhamento não é necessariamente um prótese pra
22:58
Felicidade, mas OOO pra satisfação, mas é importante
23:02
você ter esse conjunto de de operacionaliza ções.
23:05
Porque aí ali tá só métrica ali, tá só métrica que mede o
23:08
comportamento que indica que a Felicidade que é satisfação que
23:12
qualquer coisa existe, imagina OA, grosso modo, a grosso modo
23:15
mesmo, isso é uma coisa muito complicada, assim eu, eu, eu,
23:18
eu, eu, eu estou falando uma coisa, ele colou gia e eu para
23:21
para justamente para que estudar?
23:22
O melhor é, mas isso é. É uma coisa bem complicada,
23:25
porque eu gosto muito. Você não mede Felicidade, nem
23:27
quando você está medindo. Fazendo medições com eletrodo na
23:31
cabeça da pessoa, você está medindo processos químicos,
23:34
processos elétricos, processos neurológicos que indicam a
23:38
existência de uma pessoa feliz, sabe?
23:40
É, mas a grosso modo, você está medindo esses processos.
23:42
Quando estou medindo um comportamento, tô medindo ali um
23:45
comportamento que indica que uma pessoa está satisfeita, está
23:48
feliz ou pra qualquer outra coisa como produto, mas ainda
23:50
assim são indicações, óbvio, quando eu consigo e aí conceitos
23:54
de de metodologia científica, quando eu consigo reproduzir
23:57
isso, quando eu consigo extrapolar isso para outros
23:59
cenários e toda aquela história. Que eu gosto muito e com a sua
24:02
rede sobre horas sobre método científico aplicado AA design ou
24:06
a gerenciamento de produtos. À eu consigo ter evidências cada
24:08
vez mais Fortes de que aquele meu conceito realmente médico eu
24:11
quero, é através de reproduzir reprodutibilidade, sabe?
24:15
Mas de novo, a grosso modo, estou medindo o comportamento
24:18
que é um indicativo que existe, é satisfação processão
24:20
Felicidade, não a Felicidade em si e o problema de de NPS de de
24:24
de é do questionário, de de satisfação.
24:27
Ace. 7 usabilidade é que ele resume tudo isso num
24:30
questionário genérico que você pode aplicar qualquer contexto e
24:33
nem sempre isso é verdade. É eu, a gente falou, eu fala mal
24:36
de NPS, mas não quer dizer que necessariamente ruim.
24:39
Mas ela é, funciona para um contexto específico, para um
24:42
caso de uso específico, sabe? Você querer extrapolar isso para
24:46
tudo quanto é situação é tipo, não é verdade, não é válido, é a
24:50
validade dela. A validade dessa métrica para um
24:53
tipo de contexto, não para qualquer contexto.
24:55
Você tem que entender o seu contexto, você tem que entender
24:57
qualquer razão do seu produto e qual que é o comportamento real
25:00
de quem usa o seu produto para achar a métrica certa.
25:02
Então qualquer métrica que eu falo aqui que mede Felicidade,
25:05
que mede situação voltar, me vou tá mentindo porque eu vou tá
25:07
caindo na armadilha de novo de falar uma métrica mágica que se
25:11
encaixa em qualquer situação, isso não existe, eu e antes do
25:13
Edu, antes do Edu seguir até mesmo no.
25:16
Continuando nessa parte de neuro, né?
25:18
A publicidade usa bastante, né? Em peças publicitárias antes, né
25:22
de de campanhas, né? Antes de soltar pro pro ar, eles
25:26
fazem algumas peças. Eles usam algum, alguns, alguns
25:29
softwares para pegar micro expressões, olhares e ali sim,
25:36
baseado em toda uma estatística, toda um conceito ali por trás,
25:39
tal não sei o quê é, foi uma científica, você meio que tipo,
25:43
putz a essa parte aqui despertou 11 raiva, uma Felicidade é um,
25:50
não sei um sentimento ali né? Ou e a gente aqui de produto
25:54
acha. Que consegue sh é capturar essas
25:58
emoções através de um forme ou através de é um voucher de 20
26:02
BRL num aplicativo de delivery para responder a 11
26:06
questionário, né? É OOO que é muito estranho, não?
26:10
Sim, eu até fiquei, se você já deu o voucher, você já criou um
26:14
com o pai instigante, com uma pessoa responder esse daí é é
26:18
louco por quem? Pesquisa acadêmica dificilmente
26:21
é se dar prêmios para pessoa responder sua pergunta, porque é
26:24
isso envelhece. Olha só e do olha só, é até uma
26:29
das 11, coisa legal você. Você trouxe agora?
26:32
Charge que é da publicidade eu vejo muito, assim aplicado em
26:35
social mídia, né? E é os ação de processamento de
26:39
linguagem natural para a interpretação de texto de dados
26:42
não estruturais, que é basicamente porque quando a
26:45
gente é, é uma das minhas maiores birras, digamos, com
26:48
NPS, que eu vejo as empresas ou as áreas, mesmo utilizando no
26:52
contexto certo, olhando só para a nota EE, às vezes esquecendo e
26:56
ignorando que o rico do NPS está no, não vou falar só qualitativo
27:01
porque o NPS, se você olhar estatisticamente, ele é.
27:04
Dado qualitativo, né? Não faz uma médica, é faz aí a
27:08
questão de como pessoas usam errado NPS, porque você faz
27:11
média, tem desvio padrão, tem variação, tem análise de
27:13
variância, mas ninguém faz isso. Mas o estudo original da MPs
27:17
considera tudo isso. Considera tudo isso porque, pelo
27:19
menos o que eu, o que eu eu aprendi é que ele não era um
27:24
dado quantitativo. Ele é um dado qualitativo, né?
27:28
Porque está dando uma qualidade, não, ele é um dado quantitativo
27:33
point, vamos lá, dados qualitativos os dados
27:35
qualitativos, eles só existem como resultado da sua interação
27:38
com o produto, de uma experiência pessoal, por
27:41
exemplo, é eu comi arroz, feijão e bife hoje no almoço.
27:44
E a experiência que eu tive comendo meu arroz, feijão, bife,
27:47
farofa. É extremamente qualitativa
27:49
porque é extremamente pessoal a mim e é impossível eu extrapolar
27:53
esse dado com ali qualitativo para outras pessoas.
27:56
Eu, Leandro, tive uma experiência pessoal e posso
27:59
descrever isso de um jeito único.
28:01
A mim. Leandro, de como foi comer
28:02
aquilo, sabe? É agora a quantidade de pessoas
28:05
que comeu arroz hoje na hora do almoço, a quantidade de OOA,
28:09
quantidade de bifes vendidos hoje no almoço é um dado
28:11
quantitativo, porque não depende a existência desse dado, não
28:14
depende pura e unicamente da minha interação com o produto.
28:17
Eu estou contando isso é o NPS está medindo isso, ele está
28:21
medindo essa quantidade. O NPS é um dado probabilístico.
28:24
Ele está tentando medir a probabilidade das pessoas
28:26
recomendarem o produto dado quanto ela gostou, ela dado ao
28:30
quanto ela gostou do produto. E isso é quantitativo e isso tem
28:33
variância. Isso tem desvios, padrões e isso
28:35
tem tem tudo o que você fala para analisar uma métrica.
28:37
Tem LPs, eu não entendo porque as pessoas não fazem isso antes,
28:41
tem quando eu uso ele, PS, eu faço esse cálculo já, então
28:46
beleza perfeito, uma aula em aula perfeita, aula é é, mas o
28:51
ponto é, inclusive pode usar NPS como métrica pra pra testar a
28:54
hipótese é você pode. Pô, Edu, agora é deu tela azul,
29:01
né? Porque?
29:01
Porque assim é, eu tô, é eu, eu faço, eu faço um ambiente da
29:05
taci, estudo bastante essa área de ciência de dados é, eu li uma
29:09
das primeiras aulas quando a gente tá estudando é dados
29:13
quali, né? Que eles falam muito de dados,
29:15
dados quali basicamente dão uma característica, há uma
29:18
informação, então, por exemplo, gênero, né?
29:20
Gênero é um dado único, alho é eu lembro que um dos primeiros
29:23
exemplos que que o os professores falam inclusive tem
29:26
a distribuição de LinkedIn, que é o do concordo até os cordo e
29:30
aí um dos exemplos que meus professores falavam era o do
29:33
NPS, que ele é uma nota que basicamente ele pode ser também.
29:37
É feita pela distribuição de LinkedIn, que é uma qualidade
29:39
AOO. A resposta não é que é o zero a
29:43
10 ou de 1 a 5 pro diante. E aí, o que normalmente se usa?
29:48
O análise de moda mediana, mas é a quantidade, é a resposta
29:52
final, porque eu vou fazer um cálculo que é a quantidade de
29:54
pessoas que responderam uma parte lá, o promotor, dividido
29:57
pelo total de pessoas que que responderam o meu, o meu, minha
30:01
pesquisa e aí dali sim eu consigo fazer a olhando.
30:04
O dado histórico é uma moda mediana e assim por diante, para
30:06
ver o comportamento da nota, mas não anotem se a nota em si de um
30:10
de 1 a 10, ela é uma característica.
30:13
Pelo menos foi isso que me ensinaram no meu e vê se você,
30:16
se você considerar elas individualmente para cada
30:19
pessoa, sim, mas aí qualquer métrica.
30:21
Entendeu? Usada sozinha, tipo chegar para
30:23
para uma pessoa é e perguntar, e eu uso muito escala.
30:26
Eu uso bastante coisas com a escala likert é ou likert?
30:29
Assim que falou likert eu não sei, é eu entendi, é acredito
30:32
daquele aí. Eu sempre sempre, sempre que
30:34
desde que estuda é limpert, mas enfim, mas eu eu uso bastante
30:37
essas coisas, mas eu uso um jeito bem bem quantitativa, sim
30:40
eu tipo, eu estou tentando ver é, é um é um dado populacional,
30:44
não é um dado individual, quando eu quando eu começo a meu,
30:47
quando começou o NPS eu não estou medindo a probabilidade do
30:50
Edu re compartilhar alguma coisa é ver ele parece vai me dar uma
30:54
resposta muito fraca nisso. A parte qualitativa do NPS está
30:58
naquela descrição daquela resposta que a pessoa dá depois
31:00
que eu vou entender melhor o porquê as razões.
31:03
Crença pessoal o NPS como um todo é um.
31:06
É uma medida, é uma medida populacional para eu entender a
31:09
probabilidade de um grupo recomendar alguma coisa, sabe?
31:12
Se um Monte de gente fala que ela, numa escala de zero a 10 AA
31:17
chance dela recomendar é 9, eu tenho uma média ali, eu falo
31:20
assim, tá? Existe uma probabilidade de 90%
31:24
das pessoas que neles assim não posso nem falar que existe,
31:26
porque de novo ela pode falar que recomenda, mas o produto não
31:30
é recomendável quando fala, não é recomendável, não é do tipo,
31:32
não é um produto que é, não é um produto que eu não recomendo, eu
31:35
falo, não é recomendável, tipo não é um produto que pessoas em
31:38
situações normais recomendariam, saca do tipo.
31:41
Você recomenda? Já vi o NPS em sistema
31:44
operacional. Uma pessoa fala assim, eu não
31:45
recomendo. Sistemas operacionais em
31:48
conversas de churrasco com meu amigo e tem até o outro lado,
31:53
tem até o outro lado, que é o cara que dá nota 9 da ele vai no
31:55
comentário e fala, mas o produto é um lixo, então, tipo, esse
31:58
comentário ele não, não reflete a nota, né?
32:01
E aí, eu. E aí a questão de validade
32:03
interna da métrica vai por validade interna.
32:05
Eu quero dizer, tipo, se a métrica realmente mede o que ela
32:08
se propõe a medir, isso é variedade interna e a gente tem
32:12
tem maneiras, eu eu vou até pegar aqui, a gente tem é
32:15
algumas, alguns critérios aí para tentar.
32:19
Tentar observar se uma métrica tem uma validade interna.
32:21
Eu. Eu tento usar isso quando eu
32:23
estou criando uma métrica é são. São 99 coisas que a gente
32:26
normalmente olha que assim força da é é a força de um de uma
32:29
métrica que é tipo, quanto mais, quanto maior for minha o quanto,
32:33
quanto mais eu aumento uma população, essa métrica tem que
32:37
crescer, proporção tem que se manter proporcional, certo?
32:39
Se ela fala de 80%, com certo desvio padrão ali, mas ela fala
32:43
que ela mede 80, por que ela mede 80% das pessoas fazerem
32:46
algo num grupo de 1000? Seu aumento para um grupo de
32:49
2000, ela cresce, vai crescendo por proporcionalmente,
32:51
consistência se ela é reprodutível, reprodutível, essa
32:55
palavra em português, ela tem reproduz meu Deus, às vezes a
32:59
língua enrola de jeito que é foda, aí se ela tem.
33:01
Reprodutibilidade é isso é a consistência da América.
33:03
Se eu consigo usar ela em alguns contextos diferentes, EE ter
33:07
resultados parecidos é se ela tem temporalidade, ou seja, se
33:11
eu consigo observar essa meta e comparar ela, quando tem, será.
33:14
Tem especificidade que tipo, eu? Ela mede realmente o que eu
33:17
estou a aí, o que eu tô falando que é específico dela?
33:21
Se eu não posso, se eu mudar ela de situação, a métrica não faz
33:24
mais sentido, era específica para aquilo se ela tem
33:26
gradiente, que é tipo quanto mais o extrapolou uma ação, mais
33:29
aquela métrica aumenta, o exemplo que eu sempre dou para
33:31
gradiente é tipo curva, habilidade da pessoa ter câncer,
33:34
se ela fuma, sabe quanto mais cigarros você fuma, maior a
33:37
probabilidade de ter câncer ela tem um gradiente, ela cresce
33:40
junto. Todo tipo probabilidade de uma
33:42
pessoa ficar forte se ela faz exercício, sabe, eu consigo
33:45
medir esse gradiente se é plausível naquele a se a causa e
33:48
efeito daquela métrica é plausível, se não, a gente vai
33:51
até no. No programa que eu escutei aqui,
33:52
de da correlação entre piratas e aquecimento global.
33:56
Não é plausível essa correlação. As métricas em que você,
33:59
plausível, tem que ser coerente, né?
34:01
É se é possível fazer experimentos com aquela métrica?
34:03
Se não for possível fazer, especula que ela não funciona.
34:06
Isso eu consigo usar ela, em analogia similares, é isso.
34:09
São alguns critérios para você olhar para uma métrica e falou
34:12
assim, tá? Essa métrica é forte, essa
34:14
métrica médica eu quero e eu no contexto certo, ele pensa em
34:17
tudo isso, no contexto errado e limpeza não tem nada disso.
34:20
E esse exemplo que você deu de alguém dá 9 no NPS, mas detonar
34:24
o produto no comentário é um exemplo claro de falta de
34:27
consistência, e a gente consegue de até de uma maneira
34:29
quantitativa, olhando para a linguagem natural, comparando.
34:33
A positividade da resposta com o alto da resposta consegue medir
34:36
a consistência de se ver. Só tem validade interna, saca?
34:39
Se uma métrica e quando eu estou operacionalizando os conceitos
34:42
para criar uma métrica, o primeiro passo é olhar para essa
34:44
variedade interna e fala assim, tá, essa validade interna
34:47
existe, porque se não existe, não tem nem nem, nem porque eu
34:50
continuar usando ela sabe. Mas o primeiro passo de se criar
34:54
uma métrica para medir Felicidade é fazer 111
34:57
verificação dessa desses critérios pra ver se se se
35:02
existe essa validade interna também.
35:04
E também tem um outro conceito interessante que é o conceito de
35:06
de reversibilidade, que é do tipo se uma métrica mede um
35:09
conceito, ela também mede o conceito diretamente oposto.
35:12
Por exemplo, se eu tenho uma métrica que mede Felicidade.
35:15
E é essa métrica é alta quando existe Felicidade, essa métrica
35:19
tem que ser baixa quando existe tristeza, porque Felicidade,
35:22
dado que Felicidade, tristeza. São 2 conceitos completamente
35:25
opostos, métricas que não tem essa reversibilidade era fraca.
35:30
Saca que não tem essa direcionalidade, ela é fraca e
35:33
de novo. Se LPs, média insatisfação, eu
35:36
tenho que conseguir fazer 22, achar 2 consistências.
35:39
Aí através de uma análise de linguagem eu consigo ver que
35:42
pessoas que medem alto no NPS de fato é, é de fato, comentam que
35:49
estão felizes com o produto. Eu tenho que conseguir ver isso
35:51
através do tempo, com correlacionando com outras
35:53
métricas do tipo. As pessoas realmente recomendam
35:56
o produto. Depois, se eu estou falando que
35:58
existe um 90% de pessoas que dizem que vão recomendar, eu
36:01
tenho um número próximo de pessoas de fato recomendando, e
36:04
eu tenho que ter reversibilidade também, tipo, as pessoas que
36:07
estão puta com meu produto dão NPS baixo.
36:10
Você sabe se não ela não funciona e diz assim de novo eu
36:14
não estou falando de ser contra a ips, mas eu diria que para 90%
36:17
dos contextos que as pessoas usam, ele, ele não é a métrica
36:19
certa, porque ele não apresenta essas características, sabe?
36:21
É engraçado você falar isso, porque eu recentemente estava
36:24
fazendo uma análise em os meus produtos que estava usando.
36:26
C SAT interrompeu essa semana porque se eu pego os usuários
36:30
mais engajados eram os que davam as é, era o que tava com SAT
36:35
negativo, então assim, isso me trouxe vários em sites do tipo
36:38
cara, beleza, meu produto, eu estou no caminho, mas ainda não
36:41
cheguei lá, né? Tanto que a gente tá tendo está
36:42
estudando aqui eu tô falando com o time de de de design de
36:45
marketing da gente pensar em desse carro que falta pra gente
36:48
chegar no. No prazo de marketing fit,
36:50
algumas algumas coisas que a gente tá fazendo aqui, aí me deu
36:52
um bico em site, falou, porra. Os caras mais insatisfeitos, os
36:55
que mais usam, ou seja, são os caras que mais estão triturando
36:58
o meu produto, estão mais ali engajados do meu produto e
37:01
realmente estão utilizando ele, né?
37:03
Então talvez os caras que dão, dão dão uma nota muito boa, são
37:06
os que não estão vendo tanto valor porque não estão passando
37:10
tanto tempo no meu produto, eu diria outra coisa, aí existe uma
37:14
diferença entre insatisfação momentânea, insatisfação através
37:17
do tempo. Um usuário que usou só uma vez,
37:19
ele pode ter tido a satisfação momentânea que não implica em
37:22
satisfação através do tempo. Um usuário que é engajado e usa
37:24
muito o produto, ele pode estar quando respondendo aos e 7
37:27
falando sobre a satisfação dele através do tempo que pode ter
37:30
começado. Um pico inicial de puta cheia, o
37:33
produto que resolve meu problema e quando ele realmente começa a
37:36
entrar no produto, o problema dele não é de fato resolvido,
37:39
mas ele continua usando porque existe alguma coisa ali que faz
37:42
ele voltar a usar e o que você precisa ver é se o que realmente
37:47
significa satisfação. Um exemplo disso, de 11, loja
37:50
virtual que eu trabalhei era do tipo se 7 baixo pra caramba,
37:54
pessoas que pessoas que respondiam baixa no ceset
37:57
retornavam para comprar mais, mais, mais mais com a cara.
38:00
Tem alguma coisa que tem alguma coisa acontecendo, tem alguma
38:02
coisa aqui que faz essa pessoa voltar no site mesmo falando que
38:06
que não está gostando e pessoas que falam que gostam de fato não
38:09
votarem. A questão é.
38:10
A pessoa que falava que gostou de uma compra única, né?
38:14
Porque talvez ela nunca teve nenhum problema e nunca vai ter
38:16
um problema. É.
38:17
Era uma probabilidade muito baixa da pessoa ter problema na
38:20
primeira compra dela, mas quando ela voltava para comprar de
38:22
novo, ela come. Ela já tinha uma âncora da
38:24
primeira compra e falou assim, puta, mudou alguma coisa, não
38:27
está mais legal? Quando ela voltava, ela tinha
38:29
outra ancoragem que mudou alguma coisa, mas ela voltava porque a
38:33
satisfação não estava atrasada, 77 não estava medindo a
38:36
satisfação nesse caso, a satisfação estava é era um dado
38:40
bem mais qualitativo nesse caso, porque assim as pessoas estavam
38:44
satisfeitas com o preço, com A Entrega do produto, elas estavam
38:48
satisfeitos com os prazos de entrega.
38:50
Tudo isso era coisas que eram motivos para as pessoas
38:53
continuarem usando aquela loja virtual, mesmo que ela tivesse
38:55
pontos para reclamar. É do tipo, cara, é essa loja
38:58
virtual tem um layout horrível, mas ninguém me dá um prazo de
39:01
entrega melhor. Sabe, e aí eu falo isso.
39:05
O que é satisfação, satisfação, é a pessoa achar o layout
39:08
bonito, é achar o site bonitinho, achar que é fácil de
39:11
clicar e tudo mais e nunca mais voltar é, ou a satisfação ela
39:15
chega e fala assim, não, essa loja ninguém faz um prazo de
39:18
entrega melhor do que isso, então compensa esse layout feio,
39:22
porque eu nunca vou receber nada tão rápido quanto o que é
39:25
satisfação, o que pessoas satisfeitas fazem pra mim o
39:27
indicativo maior de satisfação era a pessoa estar retornando,
39:30
satisfeita com o serviço em si, porque a interação dela com o
39:34
site era só um passo muito pequeno em toda a histórico dela
39:36
usando serviços, sabe? Posso até me me dar uma outra
39:38
pergunta aqui, charge é até pegando esse gancho do que tu
39:41
falou que achei muito interessante, porque.
39:43
É até o time, né? E quando você faz a pesquisa,
39:47
seja lá qual for a metodologia que você usou até o timing EOO
39:50
que você busca, porque, por exemplo, esse exemplo que você
39:53
falou é muito legal, porque às vezes a jornada do cara é
39:55
horrível, só que ele tá satisfeito por outras coisas que
39:58
você não está querendo medir naquele momento, né?
39:59
Então, o timing e a construção da pesquisa ela é muito mais
40:04
importante do que o nome que você está usando.
40:06
NPS você sax é, enfim, então acho que a construção, a
40:09
construção dele é muito mais importante e o momento certo,
40:12
né, de você fazer aquela pergunta, né?
40:15
Então é como que você acha que que que as pessoas que estão
40:18
ouvindo aqui podcast elas podem pensar?
40:20
Né? Tanto na parte do time, encontra
40:22
na parte da construção para você medir a coisa, não diga uma
40:25
coisa certa, mas a coisa que você o seu objetivo real de
40:28
mensurar ali naquele momento, AA primeira coisa.
40:30
Assim, o design do experimento, do demora muito mais do que
40:33
fazer experimento em si é o design de uma pesquisa.
40:36
Demora muito mais do que fazer a pesquisa em si.
40:38
És uma pesquisa, vai durar uma semana, você vai passar um mês
40:41
estudando para fazer OOO design dela, de como ela vai acontecer,
40:46
porque muitos fatores de fato influenciam e você tem que ter
40:49
meio que controle disso, do tipo pra quem eu vou perguntar,
40:52
quando eu vou perguntar aí que momento eu vou perguntar, eu
40:54
posso perguntar no momento que a pessoa recebeu o produto, eu vou
40:56
ter uma resposta, você perguntar no momento que ela terminou uma
40:59
jornada, eu vou ter outra resposta?
41:00
E o que de fato está medindo? A dica que eu dou assim, assim,
41:04
antes de pensar em meta antes de pensar em meter, passa bastante
41:07
tempo definindo o que você vai medir.
41:08
Depois você dá o nome que você quiser profissionalmente.
41:13
Mas aprendi primeiro, define o que é medido.
41:16
Tipo, por exemplo, é eu quero medir AOO quão feliz as pessoas
41:21
estão com o carrinho de compra do meu produto, então, promedio
41:25
quão feliz as pessoas estão com carrinho de compra do meu
41:27
produto. Só faz sentido fazer essa
41:29
pergunta logo depois ela usar o carrinho de compra ou eu quero
41:32
medir o quão feliz as pessoas estão com uma determinada oferta
41:35
ou eu quero medir como as pessoas estão com o prazo de
41:38
entrega, então só faz sentido perguntar depois, o produto
41:40
entregue ou eu quero medir o com o com satisfeitas as pessoas
41:43
estão com o serviço. Em geral são só faz se perguntar
41:45
depois do final de toda a jornada, você precisa primeiro
41:47
definir o que se quer medir. Eu quero medir e depois se dá um
41:50
nome Pra Ele, depois pode chamar de Felicidade, sabe?
41:52
Mas primeiro tem que definir o que você quer medir.
41:54
É Oo fato assim é Felicidade, é uma coisa muito ampla, saca?
41:59
Chegar e perguntar se está feliz a cara.
42:01
No momento eu estou com estou feliz com minha vida, mas tem.
42:04
Tem. Se você perguntou se eu tô feliz
42:05
com o produto, tá passando a semente estar ou tenho que medir
42:07
assim, eu quero saber se a pessoa está satisfeita com x
42:10
coisa o que pessoa satisfeita com x coisa faz pessoas
42:13
satisfeita com x coisa faz isso, isso isso tá, que nome eu dou
42:16
pra isso aí você pode falar puta, olha esses 7, você vai
42:20
falar acabei de criar uma coisa nova o existe uma pergunta muito
42:25
interessante que eu faço, as pessoas acham que é zoeira, mas
42:28
eu acho que é pela forma que eu faço, não é?
42:29
É como fala, não sei o que é. Chad, você está feliz?
42:33
Aí eu falo, defina a Felicidade que eu faço, tem que todo.
42:38
É, me chamo algumas pessoas acham que eu sou ranzinza e ao
42:41
fazer essa essa, esse questionário ré, mas não é, é se
42:46
a gente for resumir o que o Leandro acabou, é de falar e vem
42:49
falando nas nas respostas. É antes de você é querer usar
42:53
uma métrica 111 framework aí de de de, de de pra medir.
42:59
Tenha a definição do que você quer medir e o que é aquilo pra
43:03
você, pro seu contexto, né? Então, por exemplo, pô, é, será
43:07
que o meu usuário está feliz com com a jornada de investimento do
43:11
meu aplicativo? É, mas o que é Felicidade?
43:16
Ali, naquele contexto é, entendi, defina a Felicidade ao
43:20
usar um aplicativo financeiro ou putz.
43:24
Quer ver um? Acho que 11 exemplo bom com, já
43:27
que o Leandro é. É um trabalho num, num, numa
43:30
empresa de jogos, a gente não vai entrar.
43:32
É muito sobre a empresa, mas acho que esse exemplo é o que é
43:36
Felicidade. Ao jogar um jogo, pois é, é pro
43:39
Edu, é uma pro, Leandro é é outra, pra mim é outro, então
43:43
definir o que é, né? Conceitualmente, o que aquilo
43:47
ali que você quer medir é muito importante, né?
43:49
A gente vai no automático, né, às vezes satisfação você SAT.
43:52
É. O que compartilha NPS então meio
43:57
que tipo a gente não para um pouquinho, né?
44:00
Pra pensar antes é o que você tá falando, né?
44:03
Que é que é um muito interessante?
44:04
Sim, sim, sim, e até falando sobre pessoas que eu já tive
44:07
envolvido assim, tipo é eu. Eu queria me midinho em um dado
44:11
produto também, motivação das pessoas para usarem aquele
44:14
produto é isso foi 11 coisa de muito de de, de escala, likert
44:18
assim, mas tem, tem técnicas, nossa escala, eu não posso
44:21
entrar e sair fazendo qualquer pergunta e por outras pessoas,
44:23
concorda ou discorda porque tem? Tem viés para isso, por exemplo,
44:26
é. Tem gente que concorda com tudo
44:29
e você tem que saber identificar e excluir essas pessoas.
44:32
Tem uma técnica que a gente usa para isso.
44:34
Para toda pergunta que a pessoa concordaria ter um
44:36
correspondente que ela seria obrigada a discordar e se ela
44:39
concordou com tudo, você escolher essa pessoa do tipo.
44:41
O Leandro é legal, concordo, discordo.
44:43
Você concorda que o Leandro é legal?
44:44
Você vai discordar da frase o Leandro é chato, sabe?
44:47
Você concordou que o Leandro é legal, Leandro é chato, eu vou
44:49
desconsiderar sua resposta porque está, obviamente ventinho
44:52
é pra você fazer todo esse questionário, você tem que fazer
44:54
algumas técnicas, às vezes até de como circular bem e às vezes
44:58
isso não é uma métrica única, mas SIM 1 conjunto de métricas
45:00
pra, pra, pra chegar no que você realmente quer medir, por
45:03
exemplo, um exemplo de de de quando eu trabalhava em um site
45:07
de viagens é a gente. A gente falava bastante assim,
45:11
do tipo tá, não necessariamente. Muitas conversões significa 111,
45:17
não significa o que significa conversão para a gente.
45:19
Oo que é falar que a pessoa converteu no nosso produto ela
45:23
comprar ela de de viajar e tudo, mas tinha indefinições e uma
45:27
coisa que surgiu foi tipo, fala assim, cara, se a pessoa comprou
45:31
45 viagens para o mesmo dia, isso não pode ser uma conversão,
45:34
porque é impossível. A pessoa viajar 5 vezes no mesmo
45:38
dia, sabe? É então, às vezes até conceitos
45:42
que parecem óbvios, tipo, o que que é conversão pra gente, sabe?
45:45
Você tem que sentar e falar assim, não, porque eu estou
45:47
medindo e a gente em dado momento, a gente chegou a
45:49
considerar a pessoa comprar várias coisas ao mesmo dia.
45:52
Como uma não conversam porque tipo, obrigatoriamente a pessoa
45:56
se a pessoa comprou 5 viagens para o mesmo dia,
45:59
obrigatoriamente, ela tem que cancelar pelo menos 4, e isso é
46:02
horrível, eu não gerei uma conversão, gerei 4
46:05
cancelamentos, sabe? É AA.
46:08
Gente precisa se perguntar muito com o que é o que de fato a
46:11
gente está medindo. O que significa os conceitos que
46:13
a gente está medindo pra pra gente não cair nessa coisa
46:16
genérica, de tipo satisfação, se 7 sabe no final do dia, você
46:19
pode descobrir que S7, mas é um, mas até lá você tem que é
46:23
confirmar que esses 7, o outro um, e aí só aproveitando do Edu
46:28
entrar esse, esse, esse ponto aqui, ele entra muito também no
46:33
na famosa funil do pirata, né? Métricas pirata, que é o que é a
46:37
ativação pra mim, o que é retenção pra mim?
46:40
O que é aquisição pra mim, né? É, não é todo o produto que tem,
46:45
aí é o mesmo conceito de ativação.
46:47
De aquisição do SUS, prêmio onde de todos os prêmios de retenção
46:51
você pega o Hart, a mesma coisa. Quem engajamento quer retenção,
46:54
que que é adoção, né? É a mesma coisa.
46:56
Você tem que definir isso, é uma das coisas que me fez, tá me
46:59
fazendo pensar muito agora, porque eu entendo que tem um
47:01
trabalho muito forte antes que foi isso que o Leandro trouxe,
47:04
né? Tipo preparação é e é muito
47:06
legal, porque quando você faz isso, fica muito mais fácil de
47:09
você apresentar pro stake holders, falou, olha, cara, está
47:12
medindo isso por conta disso, com essa definição, e aí tem OOO
47:16
resultado da sua da sua pesquisa, né?
47:18
Porque acho que também fazia pesquisa pra fazer, a gente só
47:20
vai gastar tempo e dinheiro, né? Então tipo cara, com o resultado
47:24
da minha pesquisa. Eu vou criar este plano de ação.
47:26
Este plano de ação, então realmente Oo executar a pesquisa
47:30
é tipo uma fatia que antes vem uma fatia gigante CA da
47:35
preparação, depois uma outra fatia que é do do impacto que
47:40
isso vai gerar, né? No No, seu, na sua, no seu
47:43
backlog, enfim, nas suas coisas futuras, né?
47:45
Isso achei fantástico, é realmente é ele que me
47:48
enriqueceu muito. Foi só por realmente faz muito
47:50
sentido, porque às vezes a gente pega coisas prontas ou coisas
47:52
que a gente já está acostumado e isso a entuba e cara, não, não
47:55
faz, faz sentido nesse ano faz sentido nesse contexto essa
47:58
pessoa que está falando né? Ou como que você vai construir,
48:00
como que você vai é uma das coisas que eu já percebi,
48:03
fazendo algumas pesquisas, é quando você deixa.
48:05
Uma resposta boiana você força a pessoa que gostaria de ficar em
48:08
cima do muro para um dos 2 lados e aí, se a pessoa, ela não se
48:12
sente confortável de você, forçar ela pro negativo ou se
48:15
ela sempre concorda com tudo. Ela então, só que tipo você tira
48:18
esse esse viés do encima do muro que é normal o rum, né?
48:22
Então isso eu acho legal para esse viés em cima do muro tem
48:25
tem até essas técnicas de você mesclar, é, é foda fazer tipo de
48:29
questionário porque é a muda muito a análise também, porque
48:32
assim você quer tirar pessoas quanto muro você quer evitar que
48:34
ela concorde com tudo, então você faz uma pergunta negativa e
48:37
positiva, mas aí também não dá pra você usar calculadorinha
48:40
automática de que todo todo. É, concordo.
48:44
Todo concordo, significa 5 na escala Leifert.
48:46
Saque em alguns casos, quando você começa a brincar com isso,
48:51
de ter ter respostas cruzadas. Em alguns casos, concordam.
48:54
Vari, zera, sabe, então não é tão rapidinho fazer análise
48:58
também. Por isso eu falo a pesquisa uma
49:01
fatia ou a execução da pesquisa, pra mim, pesquisa é tudo isso, é
49:04
você planejar, executar e analisar, sabe?
49:07
A execução acaba sendo uma fatia muito pequena, porque AO
49:11
planejamento e análise demora bastante.
49:13
O Edu pode pode continuar até não se você tem mais distantes,
49:17
eu sei que você tem bastante dúvida.
49:20
Assim, né? Porque o Leandro veio com uma
49:21
ala, veio, veio, fez com que tudo que a gente é tinha como
49:25
conceito e aprendi. Agem, não.
49:28
Eu já coloquei tudo que eu sabia que eu coloquei aqui no meu
49:30
cachorro tá do meu lado. Eu coloquei aqui Pra Ele comer e
49:32
fala comisso aqui que agora eu quero aprender coisas novas,
49:35
está aqui é e é legal o uma outra coisa também, que acho que
49:38
é legal quando eu, porque você falou várias, é vários possíveis
49:41
caminhos pra gente criar uma pesquisa, né?
49:43
EE uma das coisas que é muito importante também você se
49:46
preocupar é o tamanho da pesquisa, sim, se você tá no
49:48
aplicativo ou se você está num, acabei de fazer 111 compra pra
49:53
viajar, pô, eu não quero vender 15 pergunta lá na terceira eu já
49:56
vou falar, né? Eu falo porque, por exemplo, que
49:59
nem eu falei, eu falo. Passou MBA, né?
50:01
E ele é online. E aí às vezes eu vou responder
50:03
questionário do professor. São 15 perguntas, cara, tipo
50:06
5555 555, não escreve nada e vou pra prova, tipo é isso?
50:10
Porque ele é meu moroso, né? Ele não é alguma coisa que
50:13
envolve realmente a pessoa aí, que que você acha disso, desse,
50:16
dessas pesquisas gigantescas que às vezes aplicativos ou empresas
50:20
fazem que tem esse viés tipo cara, simplesmente não quero, só
50:23
quero passar, só quero porque eu vejo que as vezes as pesquisas,
50:25
elas estão no meio da jornada, né, porque ela obriga o usuário
50:28
a responder para ele poder chegar onde ele quer chegar,
50:30
seja um cupom, ou seja, concluir a pesquisa, a compra, enfim, né,
50:34
como que elimina esse viés também?
50:37
Assim, Oo viés do do do concordar, concordar, concordar,
50:40
concordar primeiro. Algumas coisas, pesquisas longas
50:42
às vezes são necessárias, você tem que de novo, é antes de você
50:47
começar a pesquisa também. Você tem que saber a pergunta
50:49
que você quer responder é a partir da pergunta que você
50:52
responder, você começa com suas definições?
50:55
A partir da definição, você cria a métrica a partir da métrica,
50:57
você cria pesquisa, sabe? É um processo bem longo.
51:01
Em alguns casos, você chega e fala assim, puta, para responder
51:04
essa pergunta, eu preciso de um questionário, é, eu preciso de
51:07
um questionário longo pra responder essa pergunta, eu
51:09
preciso, por que a pessoa invista mais tempo aqui, você é
51:12
o aí você começa a estudar do tipo tá, qual que é o momento
51:15
certo de eu enfiar esse questionário longo e também
51:18
entenda que. Se isso é uma realidade de seu
51:19
usuário, quanto maior o questionário, menor o responso.
51:22
What que você vai ter menor ou a taxa de resposta que você vai
51:25
ter é, você está confortável com isso?
51:27
Você está confortável então? Vez diminuir essa taxa de
51:29
respostas e por último, para você, você tem que ter
51:32
estratégia para eliminar esse viés do aceita aceito, aceita,
51:34
aceito é, tem algumas Oo que eu mais uso é esse de cruzar coisas
51:38
que a pessoa não pode aceitar 2 vezes do tipo cara, se você
51:41
aceitou de novo, se você aceitou que o Leandro é legal, você tem,
51:44
não pode aceitar que o Leandro é chato, você aceitou esses 2 você
51:47
foi nisso de querer se livrar o mais rápido possível, tem 2
51:50
maneiras de você mitigar isso, que é você excluir as pessoas
51:53
que fazem isso quando está fazendo análise ou tem alguns
51:56
cálculos estatísticos que ajuda você a.
51:58
Excluir isso um pouco mais complicado, mas ajuda você, AAA,
52:00
excluir. Eliminar esse viés é outra
52:03
estratégia de fazer isso. É você fazer algumas perguntas
52:06
no começo, uma série de perguntas que tipo, cara, se a
52:09
pessoa dá que super concorda ou super super é nega aquilo, ela
52:13
vai estar obviamente mentindo, sabe?
52:16
Do tipo é, sei lá, você chegar pro Leandro, no meu caso aqui
52:20
chegar pro Leandro, pra você, nossa, Leandro, você faz dieta,
52:23
você já furou sua dieta e eu respondeu, nunca furei imediato,
52:26
obviamente estou mentindo e um questionário que eu respondi
52:28
isso você pode desconsiderar, porque se eu mentir nessas
52:31
perguntas de de screening assim, puramente, tem uma possibilidade
52:35
de mentir nas outras perguntas também.
52:36
Porque eu estou respondendo uma pergunta só para ser o que é
52:38
socialmente aceita, sabe? É o outro.
52:40
Ela é mais difícil, é bem mais sutil porque você tem que achar
52:43
aquela pergunta em ninguém, é impossível as pessoas
52:45
exagerarem. Exagerar uns é um sinal que está
52:47
mentindo. É para filtrar esses esses
52:50
usuários e aí esse usuário já passou por esses crimes.
52:53
A probabilidade de ele continuar respondendo é bem maior, saca o
52:56
que eu uso mais por por comodidade, para ser muito
53:00
sincero, mas isso diminui um pouco o responsa, teater
53:03
formulários grandes em que essa pessoa só aceita, aceita,
53:06
aceita, aceita, aceita, eu tenho uma técnica, tem alguma técnica,
53:09
alguma estratégia para excluir essa pessoa?
53:12
Dito isso, em alguns casos. É importante ter um questionário
53:14
grande é, não tem como fugir e tá aí, vai de você entender os
53:19
riscos de você ter um questionário grande.
53:21
Inclusive, só um questionário no meio de uma jornada vai de você
53:23
entender os riscos e você tem estratégias para mitigar aquele
53:26
risco. Oiça, ó do o segunda-feira para
53:30
você voltar para vertex volta amanhã já você vai ter que
53:33
refazer tudo, né? Eu acho amanhã e é legal, porque
53:36
eu tô exatamente nesse momento do né, eu falei o cenário do que
53:39
eu, do que eu falei, do MC SAT, do, mas eu falei, tá, mas
53:42
realmente eu não usei a combinação de coisas que me
53:45
trouxe as respostas me trouxe algumas, claro, né, tipo é, é,
53:49
é, por exemplo, 60% das. Das respostas quali eram os
53:54
usuários pedindo a mesma coisa. Eu falo não, beleza k 60% das
53:58
respostas, coalho é usuário, pedindo agora não tem muito o
54:00
que fazer, faz aquilo não, né? Mas de resto é legal porque tá
54:05
me fazendo pensar várias coisas, né?
54:07
Do tipo cara, qual que é realmente o objetivo?
54:09
EE é muito legal, porque quando a gente pensa em métricas, tem
54:11
que ver até o quais instrumentos a gente tem para conseguir
54:13
aquelas metas, né? Sem suas ferramentas que a gente
54:16
tem, né? Então aqui dentro a gente usa
54:17
algumas ferramentas de de é disparo de pesquisa, né, pô,
54:21
será que vale a pena ou será que vai dar pena às vezes, fazer uma
54:24
amostra e fazer umas entrevistas também, cruzar as 2 coisas,
54:27
então está começando a me tem outras coisas na cabeça porque
54:29
AV tex. Bizhub, eu tenho, e eu tenho
54:32
essa ferramenta de entrevista também, não é uma coisa que eu
54:34
falo pra, pra, pra quando eu dou palestra assim.
54:37
Sobre métricas é, às vezes o pessoal, quando mede com
54:40
métricas em falar assim, há o que dizem os números, sabe?
54:42
Eu sempre falou cara número 1, de nada, certo é que o número de
54:45
alguma coisa para é quem diz é você sabe o que você tem que
54:48
perguntar é, qual é a régua que você usou porque você usou e o
54:51
que que essa, o que essa métrica está medindo é porque você vai
54:54
entender todos os vieses que tem aquela pesquisa, a régua que eu
54:57
escolho, se eu, se eu escolho a métrica a ou b, ela traz uma
55:02
porrada de de de GSOA população que eu escolhi pra pra medir
55:06
também traz uma porrada de viés. O timing que eu escolhi, 31
55:09
porrada de viés e a estratégia que eu usei para medir também
55:12
tem uma porrada de viés, e aí não é o que dizem os números.
55:14
É dado o resultado que você teve nessa população.
55:18
O que você me diz exato? E assim, se o número fala alguma
55:22
coisa por mim, eu estou perdendo muito em autonomia como
55:24
designer, sabe? Não sou, eu falo.
55:26
Números OEM forma, tem uma frase já dita neste podcast, os
55:31
números mentem. Se a pessoa que está manipulando
55:34
eles quiser, aham, sim, sim, é é aquela coisa de toda
55:36
estatística, conta. A história que eu quero o seu
55:38
seu apertar, ela do jeito certo, exato.
55:41
Sim, porque a gente já aprendeu nesse humilde podcast que o
55:45
aquecimento global só aumentou porque diminuiu os piratas.
55:48
Aham. É por isso que a Greta é.
55:52
Tem batalhado que volte os piratas.
55:55
Só que o aquecimento global tem uma outra correlação maluca que
55:58
eu vi esses dias, que é e qualquer é o número de o
56:03
aumentar o número de vendedores de sorvete em praia é
56:05
diretamente com relacionado ao aumento de ataques de tribunal.
56:08
Pô, tá que tá legal que é do Nicolas Cage, né, que é a do
56:13
Nicolas? Seja maravilhosa, é como é que é
56:14
a quantidade de vezes que ele aparece em filmes é
56:17
correlacionado com o número de afogamentos nos Estados Unidos,
56:19
isso isso muito bom essa não, pois é, AA é alguma correlação
56:28
dessas, tem um fundo de verdade. O tenho de um, tenho de um
56:33
jogador, né? Que até virou a maldição, né
56:35
dele, um jogador inglês que quando faz um gol, morre alguém
56:39
famoso no mundo. Sempre que acho que é o acho que
56:44
é o chefe, o chefe, não sei. É ou não Rami ser desculpa é
56:48
toda vez que o jogo é esse jogador faz um gol, morre uma
56:51
pessoa famosa no mundo é está correlacionado claramente.
56:55
É por isso que ninguém passa a bola Pra Ele fazer gol, é a
56:59
quantidade de gols que ele fez na carreira, é pouca, mas são
57:02
fatais, já diria AA gente tá se encaminhando para o final do do
57:07
episódio é porque a gente não tem libras suficientes para
57:13
pagar além, né? Então é Leandro, muito obrigado
57:16
pelo pelo papo, eu espero que você volte mais vezes aqui.
57:21
É para para falar sobre dados sobre OX, sobre satisfação de
57:26
usuário ou qualquer outro tema que você quer conversar.
57:29
Volte só que agora, na cadeira de fazer perguntas, né?
57:33
Que é muito melhor do que responder perguntas.
57:36
Então, muito obrigado, viu? Eu que agradeço, foi bem
57:40
divertido, é, e aí somos somos chamar aí que eu eu gosto de
57:44
falar sobre isso, sobre isso, te estica sobre métricas, sobre o
57:46
método científico, gosto muito, é, sei lá, às vezes, filosofia
57:50
da ciência, sempre uma coisa que eu gosto muito é, são coisas que
57:53
eu consigo falar por horas e horas sem me preparar, então é,
57:55
pode me chamar aqui, oi. Mentira, só me preparando.
57:59
Aí vai te que já ia, já ia mandar.
58:02
Aí vai te na surpresa em ver só Oo Edu, a gente sai desse
58:08
episódio rasgando tudo o que a gente já leu, é mandando
58:12
mensagem no slack e agora no feriado aqui no Brasil pro time
58:16
falando exclui tudo é tira do ar, tudo que a gente colocou,
58:19
vamos refazer tudo a partir de segunda-feira.
58:21
É isso, cara, eu, eu, eu, eu sou um amante de dados médica e eu
58:25
fiquei depois decida desse papo, eu saio amando mais ainda que
58:29
tem um mar de coisas pra gente aprender, né?
58:32
O cara eu trabalho com dados há 13 anos, acabei de aprender mais
58:34
uma coisa, é é fantástico, eu eu não vou mandar mensagem pra pra.
58:37
Para mudar nada, porque eu acho que é legal, dá trabalho, dá
58:40
trabalho, dá trabalho. Gestão, sim, não brincadeira,
58:43
mas é porque eu acho que eu vou em cima do que eu mandei.
58:46
Mandar uns questionamentos, que que vocês acham disso tudo que
58:49
eu mandei isso? Isso, isso, isso, isso vai fazer
58:51
a galera pensar mais, né? Acho que isso ajuda, ajuda
58:53
bastante, pô, ele no final manda Oo artigo do Leandro porque é
58:57
uma Mini revolução dentro da v tech, manda aí, me ajuda a virar
59:01
um escritor e sem cura só ó então esse é o objetivo do PG a
59:08
partir de agora, quer transformar o Leandro no?
59:12
O escritor e centro sobre OXE dados é, enfim, o link do perfil
59:20
do Leandro no LinkedIn, né? Destruição link do artigo na
59:23
descrição vai lá se conectar com Leandro e pede vidas extras para
59:29
ele ou pergunte Leandro. Defina a Felicidade é, espere a
59:34
resposta. Claro, você que tá ouvindo aqui
59:36
do Brasil, tem que esperar mesmo, porque o fuso, né, é um
59:40
pouquinho diferente, ele pode é, você pode mandar mensagem, vou
59:43
ler, não tá dormindo ou tá? É uma cola muito importante com
59:46
boze John. É então.
59:49
Ou com Serra e Serra manda mensagem nesse pé.
59:51
Isso? CR 7 pode ser concreto com
59:55
crise. Está aqui.
59:55
Eu cresci, papai, Cris tá aí, isso é isso, é meu última de
59:59
Ronaldo. Eu fiquei só tem um Ronaldo.
1:00:00
Olha laça concorre é é nos nos ganha no pagar das luzes desse
1:00:05
episódio que ele já lança mais uma polêmica.
1:00:08
Agora, o que o afã besi do do CR 7 que houve entre as 10 pessoas
1:00:13
que ouvi esse podcast deve ter alguma algum fã do CR 7?
1:00:17
Com certeza que vai atacar o Leandro.
1:00:19
É, então Edu, muito obrigado, viu?
1:00:22
Mas um episódio ao seu lado é um prazer sempre que pisar só
1:00:26
chamar só falar 3 vezes meu nome com apreço.
1:00:29
Olha só, então você que está ouvindo até aqui, não fale 3
1:00:32
vezes no nome Edu Fonseca. Não fale, evite se não, ele vai
1:00:35
aparecer aí não vai querer cagar.
1:00:38
Regras de dados métrica não é? Já basta ele, né?
1:00:42
Algumas polêmicas ele entrou aí, amor, o finalizamos mais um
1:00:47
episódio aqui de Londres, gostaria eu, né, tomando um chá,
1:00:52
tomando um chá, comendo um biscoito.
1:00:54
É com Leandro ali em Londres. Tchau.
1:00:58
Que foi?