Latest / Product Guru's : Produto | Negócios | Carreira / Processo para criar e testar hipóteses - Fernanda Monsó

Transcript

Processo para criar e testar hipóteses - Fernanda Monsó · Product Guru's : Produto | Negócios | Carreira

0:01
Oi, tudo bem com você? Meu nome é Paulo chiorg, sejam
0:04
bem-vindos ao praia de gulus. O podcast que a voz por trás de
0:07
dos produtos hoje no primeiro episódio de 2024, a gente vai
0:12
falar sobre experimentação e groove.
0:14
Será que 2024 é o ano de groove? 2023 foi o ano de Project Ops,
0:20
então 2024 será que é ano de prostit groove?
0:24
Se for, a gente está começando muito bem, porque a gente está
0:28
trazendo uma das referências em groove, em experimentação.
0:31
Do país esse é humilde, podcast comigo.
0:37
Aqui pra conversar com a Fernanda Júlia Souza, tudo bem,
0:40
Júlia? Tudo bem, espero que a gente
0:42
acerte aí mais uma previsão, mas o fim do ano e as do começo.
0:46
Isso eu eu otimismo, eu acho. Acho que 2024 é 1 ano de
0:51
prudente group. Ah, eu acho que, né.
0:54
Já a gente já já tudo que tinha para dar errado já deu, né?
0:56
Vamos ver se a galera você que. Está ouvindo pelo Spotify?
1:01
É por podcast aquilo que não botou, seguir e deixe isso as 5
1:03
estrelas. Se você está assistindo a gente
1:07
pelo YouTube, clique no botão inscrever-se, ative o sininho e
1:11
deixa eu curtir. Se inscreveu ativa o sininho, é
1:14
só a partir daí, é só deixar o curtir.
1:16
E como é que está? Está bom, isso nos ajuda muito
1:19
no algoritmo, então, muito obrigado.
1:22
É. Siga no LinkedIn, Júlia Souza e
1:26
Fernanda monsa, ó sobrenome top monsó no LinkedIn o Linke está
1:31
na descrição e agora a gente vai conversar com a Fernanda, ô, fé,
1:36
você está bem? Muito obrigado, viu?
1:39
Pela presença. Estou bem, estou muito feliz de
1:41
estar. Aqui.
1:43
A Felicidade é minha cara, que é isso.
1:45
É o fê antes da gente entrar mais sobre a questão de
1:49
experimentação e groove. É muito se fala na área de
1:54
produtos sobre experimentação. Uhum.
1:56
Muito se fala também sobre uma cultura, a tal cultura de
2:00
experimentação, que muitas das vezes é tá ali, virou um
2:04
buzzworld, né? Em alguns lugares, junto com
2:06
cultura de produto. Ah, cultura de produto, cultura,
2:08
de experimentação, cultura, data, drive, muitas culturas.
2:13
Para uma empresa ter o que é uma cultura de experimentação e
2:17
porque ela é tão importante? Legal.
2:22
Bom. É o que eu acho sobre cultura de
2:24
experimentação. É que quando a gente tem
2:27
instituído na empresa e nos nossos valores de que a gente
2:31
não toma decisões. Sem ter resultados e ter dados
2:35
baseados nisso. Então quando a gente fala de
2:38
cultura, de experimentação, a gente testa, a gente mede
2:41
resultados e aí sim, a gente dá o próximo passo.
2:45
É muito comum a gente ver hoje em dia é nessa sede aí por ter a
2:49
cultura de experimentação, por querer experimentar a qualquer
2:51
custo. Às vezes as pessoas, elas
2:53
planejando experimentos que nem fazem tanto sentido.
2:57
Então a pessoa ela pensa assim, Ah, isso aqui eu preciso
2:59
experimentar isso aqui. Eu preciso testar porque eu
3:00
tenho uma cultura de experimentação.
3:02
Isso aqui eu vi que o meu cliente quer e.
3:05
Na verdade, ela nem tem uma hipótese bem definida, acaba
3:08
rodando um experimento, acaba gastando tempo do time e aí
3:10
precisa, analisa os resultados e fala, nossa, mas não faz
3:13
sentido, porque não era isso que eu queria medir.
3:16
E aí você tem que fazer tudo de novo.
3:18
Então pra mim, assim, a cultura de experimentação não é só o
3:20
fato de você testar, mas é o fato de você saber porque você
3:25
está testando e você ter o foco em aprendizado.
3:27
Você não tem foco em ganhar a conversão, você não tem foco em
3:31
sei lá, diminuir churne não é esse o foco, o foco é você
3:34
aprender o que te faz ganhar conversão, aprender o que?
3:37
Move o seu ponteiro do churne. É pra isso que serve a cultura
3:40
de experimentação em 2. 1002 1023 dado AO ano ser o ano da
3:44
eficiência devido ao Marquinho Zuckerberg ter vazado Memorando
3:50
falando que a meta deveria ser mais eficiente devido a ter
3:54
muitos gerentes gerenciando gerentes.
3:58
Se criou-se. Essa.
4:02
A essa questão de é o ano da eficiência.
4:04
Ponto tá com isso abriu-se algum algumas coisas, como é o ano do
4:09
proud shops, o prod shops é um papel que tende a se é trazer
4:15
essa eficiência para as empresas et cetera, et cetera.
4:19
Passado isso, se criou-se toda essa essa questão de essa aurea,
4:23
digamos assim, de essa Mística de que ano da é ano, da da
4:27
eficiência e começou a pipocar muitos conteúdos sobre Project
4:30
Ops atrelado à eficiência, como papel que faz a conexão entre o
4:35
operacional e o tático e o estratégico e gera essa
4:39
eficiência. Tal não sei o quê.
4:42
Quê? Passado isso, 2024 seria o ano
4:45
da experimentação de groove, dado que a gente continua
4:49
querendo ter eficiência, só que agora, baseado em dados em e
4:53
sabendo o que quer fazer de fato.
4:57
Bom como a gente conversou aí sobre os impactos da eficiência
5:02
e do quanto a gente precisa de fato, é realmente não perder
5:06
tempo, né? E entender qual é o nosso
5:08
próximo passo e que esse próximo passo seja muito planejado,
5:11
muito bem definido. Eu acho que isso conecta muito
5:14
com a experimentação, né? Com o mundo da experimentação é,
5:18
eu já trabalhei em time de groof, que não tomava decisão de
5:22
Stack, ranking sem ter muito, muito, muito bem definido ali.
5:26
Qual que era a matriz de esforço e impacto?
5:28
A gente chamava até de matriz Rice e tudo isso que vinha dali
5:31
de impacto. Alcance tudo o que a gente
5:37
colocava ali vinha de dados de experimentos passados e aí toda
5:40
vez que a gente não tinha um experimento que suportasse essa
5:43
decisão. Que colocasse ali um dado
5:45
concreto, a gente baixava muito o nível de confiança daquela
5:48
daquela Betty. Então assim, eu acho que quando
5:51
a gente fala de cultura, de experimentação, e quando a gente
5:53
leva isso para o mundo de groove, isso ajuda muito a gente
5:55
a entender o que converte mais, o que que traz mais é o que qual
6:01
parte do fluxo está causando maior número de droping.
6:04
Então assim, eu acho que tem tudo a ver e que tem potencial
6:06
aí para vocês acertarem as previsões.
6:09
Ô Júlia, então o ano do prud. Vem aí, né?
6:13
Vamos ver como é que vai ser. Como é que a gente vai
6:15
equilibrar a experimentação com as coisas que tem que rodar no
6:18
dia a dia? Essa é a minha dúvida.
6:21
Boa. Júlia ô fé.
6:23
Como que, como que lida para equilibrar os pratinhos?
6:28
É porque esse o Júlia? Não sei se essa foi essa, você
6:32
quer saber que é ou tem tanta coisa para fazer?
6:35
É como que encaixa a experimentação na print ou não
6:39
encaixa na exprint é no buba meu boi é de forma clandestina que
6:43
faz experimentos. Não.
6:45
Na verdade, o experimento ele está ali justamente para te
6:47
ajudar, né? É ele não tem que ser uma coisa
6:49
que você tem que fazer e que você tem que colocar ali nas
6:52
suas print falando não. Deixa eu deixar aqui 20% do meu
6:55
tempo para experimentação. É óbvio que a gente tem cenários
6:58
diferentes de time. A gente tem times que estão
7:01
trabalhando ali simplesmente deixar o produto no ar, então a
7:04
gente está falando de estability index e tudo mais e a gente não.
7:07
Não tem muito. Espaço para experimentar, meu
7:09
produto precisa funcionar. Eu não estou querendo melhorar,
7:12
eu não estou querendo dar uma experiência diferente.
7:14
Eu não estou querendo testar algo, algo novo, então acho que
7:18
se é esse o momento do produto, beleza, não tem muito o que
7:22
fazer, nem cabe experimentação. É algo que a gente teria que
7:24
caçar ali, 11 espacinho no roadmap para colocar e forçar o
7:28
time agora, qualquer cenário diferente desse então, se eu
7:31
quero fazer uma alteração, se eu quero ganhar?
7:34
Se eu quero ganhar, né? Custos é reduzir custos.
7:37
Se eu quero ser mais eficiente? Se eu quero ter mais conversão,
7:41
se eu quero atingir 11 novo público, então eu já rodei
7:45
experimentos que no geral, quando eu olhava assim pra
7:48
população como um todo, eu tinha uma queda em conversão, ele era
7:52
pior para o meu negócio. Só que como eu queria atingir um
7:56
público muito específico, eu tive que rolar o tabo, porque
8:00
para aquele público fazia sentido para aquele público,
8:02
convertia mais. Eu consegui chegar num novo
8:04
território com isso, então assim você tem que casar isso com o
8:08
seu momento, ele não tem que ser uma coisa, uma obrigação.
8:11
Ou uma coisa do tipo, Ah, eu preciso achar um espaço aqui,
8:13
tem que ser mais uma coisa do tipo, tá, é, eu sei que eu
8:16
preciso chegar nesse lugar, como que eu vou chegar lá?
8:19
E o experimento, na verdade, deveria te empurrar e te ajudar
8:22
a chegar ali, então, assim, resumindo, né?
8:25
Se você está num momento de deixar o produto no ar e fazer
8:28
ele funcionar, talvez de fato você não tenha muito o que
8:31
experimentar, né? Não seja o momento, isso vai
8:33
acabar atrapalhando aí o seu roadmap, mas qualquer situação
8:37
diferente disso, se você está querendo fazer qualquer tipo de
8:39
melhoria, você está querendo ganhar um território novo, está
8:42
querendo ganhar conversão. Reduzir custo está querendo?
8:46
É fazer algum tipo de checagem, digamos assim, o experimento ele
8:50
está ali justamente para te ajudar e para validar se o que
8:54
você está pensando faz sentido. Eu acho que ele é uma ferramenta
8:56
poderosa na construção de roadmap, porque ele dá pra
9:00
gente. 11 insumo de confiança, né?
9:04
Você fala assim, não, isso eu tenho evidência de que é por
9:07
aqui. Eu posso ir por esse caminho
9:09
porque eu já vi que isso me dá resultados positivos, diferente
9:13
de quando a gente simplesmente cria hipóteses e aí a gente pode
9:17
até falar mais sobre isso depois, mas assim as nossas
9:19
hipóteses normalmente são super enviesadas.
9:22
Nós somos as pessoas que a gente trabalha com o produto e a gente
9:25
acha que sabem que o cliente que vai estar bem do seu produto
9:27
pela primeira vez, como ele vai se sentir como ele vai usar e aí
9:31
a gente cria 11. Hipótese a partir daí.
9:34
Traça todo um roadmap para melhorar em cima disso.
9:37
Ai porque meu produto não fez x integração?
9:39
O cliente nem sabe que isso seria uma possibilidade.
9:43
E aí e vai fazendo e não vai ganhando o resultado que você
9:47
espera. Por quê?
9:48
Porque você não tem nenhum dado de confirmação de que você está
9:51
indo no caminho correto. O experimento, ele vem para te
9:54
dar isso. Acho que a gente já a gente
9:57
iniciou. Já o episódio de uma maneira já.
10:01
Já tem algumas, eu diria que é uma aula só.
10:04
Essas 23 respostas da fé já se encaixa em aula sobre
10:09
experimentação e sobre group antes de a gente se aprofundar e
10:13
a Júlia está com seu caderninho, é pronta, com várias perguntas.
10:20
Ou fé? Legal.
10:25
Bom, eu sou formado em em engenharia civil, nada a ver,
10:28
mas eu gosto de dizer que eu sou formada em engenharia bancária
10:31
porque desde o final da minha faculdade eu fui pro mercado
10:34
financeiro. Eu passei por alguns bancos,
10:37
passei pelo Santander, passei pelo safra, sempre trabalhei em
10:40
time de produto. É a estrutura desses desses
10:43
bancos é mais tradicionais. Ela não é como a gente tem hoje.
10:48
Onde eu estou, né? No Nubank?
10:49
Mas lá eu fazia 11, função entre o que era um MBAEO, que é um
10:55
PME. Aí eu vim pro Nubank já como
10:58
BAE. Todo Nubank, desde 2020, vão
11:01
fazer 4 anos agora. E já passei pelo time de Grohl e
11:05
hoje eu trabalho no time de de conta.
11:07
Trabalhei com muita experimentação em groove, então
11:10
acho que é por isso que eu gosto bastante desse tema e gosto de
11:12
falar sobre isso. Ô fay, você falou sobre criar
11:15
hipóteses. Eu acho que tem, talvez pra
11:18
tangibilizar mais, é como que é o processo pra e aí eu acho que
11:24
talvez a gente possa focar aqui em um processo para criar uma
11:28
hipótese e depois o processo para criar um bom teste para
11:31
invalidar hipóteses, enfim, para.
11:34
Para entender melhor o que está acontecendo, como é que é esse
11:37
processo para para desenvolver, para, para a bolazi fotos,
11:40
principalmente para evitar os vieses igual você falou, porque
11:43
eu acho que esse é o que mais acontece, né?
11:44
A gente criar as nossas hipóteses sem sem muito
11:48
embasamento ou sei lá usando, usando as Fontes vozes da nossa
11:52
cabeça e elas ficarem super cheias de viés?
11:56
Mente, eu acho que assim, se você tem uma boa hipótese, você
12:00
já tem praticamente, você já tem um bom experimento, diria isso
12:03
assim, acho que você já andou aí uns 3040 por cento no caminho de
12:07
um bom experimento é. E como que você monta, né?
12:10
Aí, tá? OXA, questão é, depende muito
12:13
da, do nível de maturidade do produto, depende muito de como o
12:17
seu time está estafado. Eu sei que às vezes a gente fala
12:19
assim, Ah, você pode se pesquisar, você pode se basear
12:22
em pesquisa com cliente, mas às vezes você não não tem Stephen
12:26
pra fazer pesquisa com o cliente ali naquele momento, né?
12:29
Então, acho que assim a primeira coisa é você saber que é beleza,
12:33
talvez as suas primeiras hipóteses, elas não sejam as
12:36
melhores do mundo. Você vai partir de um lugar
12:38
enviesado e você vai aprender com isso e tá tudo bem, né?
12:42
É óbvio que, se você tiver um time ali de CI, que se você
12:47
conseguir conversar com o seu cliente, se você conseguir rodar
12:49
A Entrevista é o melhor dos mundos, porque você consegue
12:51
entender ali onde está a dificuldade e partir desse
12:54
lugar. Então, tipo, olha, eu sei que
12:55
aqui parece ter uma dificuldade do meu fluxo.
12:59
Esse pedaço aqui parece não tá funcionando bem, e aí eu vou pra
13:02
criação de hipóteses, mas ainda que você não tenha, é.
13:06
Antes você tem em mente o seguinte, que a hipótese ela
13:09
precisa ter é um começo, um meio fim, que que eu quero dizer com
13:13
isso? Eu uso muito o framework do c,
13:16
então porquê? Então, por exemplo, imagina que
13:19
eu estou lá no meu site? Eu quero aumentar o número de
13:21
vendas e aí para isso eu vou aumentar o botão do.
13:27
Alte. Do comprar eu vou.
13:28
Ele era pequeno, eu vou deixar ele maior é.
13:32
A minha hipótese poderia, eu. Eu poderia colocar uma,
13:34
experimenta assim, quero aumentar o tamanho do botão e aí
13:37
você vai lá e quer aumentar o tamanho do botão.
13:38
E aí você passa isso para design.
13:40
Design aumenta, deixa o botão que era amarelo, coloca roxo tal
13:42
não sei o quê. EE muda 1000000 de coisas.
13:46
Quando você coloca, eu quero aumentar o tamanho do botão.
13:48
Não fica claro nem para você nem para o seu time.
13:51
O que que você está esperando com isso?
13:53
Quando você usa um frame, então você coloca, se eu aumentar o
13:57
tamanho do botão, então eu vou aumentar o número de vendas,
14:00
porque esse botão estará mais visível.
14:03
Você entende que aqui a gente foi para o ambiente de
14:05
aprendizado porque não tem a ver com o tamanho do botão, tem a
14:10
ver com o botão estar mais visível, então não
14:12
necessariamente eu precisaria aumentar o tamanho ou se esse
14:15
teste não der certo. Eu posso mudar a posição.
14:17
Eu posso mudar a cor do botão, eu posso fazer alguma outra
14:20
coisa? A minha hipótese aqui não gira
14:22
só em torno do tamanho, gira em torno da visibilidade.
14:26
Então primeiro que eu já parto daí de que eu acho que eu não
14:29
tenho muitas vendas, não é porque meu site está com bug,
14:31
não é porque meu produto é ruim. Não é por qualquer outro motivo,
14:34
é porque meu botão não é visível.
14:36
É isso que eu estou falando com essa hipótese.
14:38
A segunda é que, para o seu time de análise e até para você
14:41
mesmo, já está muito claro que você espera.
14:45
Com esse experimento, eu quero ter um maior número de vendas.
14:49
E aí, por que que é importante a gente falar isso?
14:51
Porque às vezes você aumenta o tamanho do botão e você tem mais
14:54
gente indo para o carrinho, então você clicou ali em
14:56
check-out. Eu tenho mais visitas no meu
14:58
carrinho, mas eu não aumentei meu número de vendas.
15:00
Então veja que a gente aprende que o tamanho do botão não está
15:04
relacionado com o número de vendas.
15:06
Ele está relacionado com mais checkout, ele está mais
15:08
relacionado com ir para o próximo nível e tudo mais,
15:11
beleza, mas talvez o meu número de vendas não esteja bom o
15:15
suficiente. Por conta do meu valor de frete,
15:17
por conta do valor do meu produto, eu não sei.
15:19
A gente cria outras hipóteses daí, mas só de colocar num frame
15:24
bem adequado a gente consegue aprender muito mais.
15:28
Fica claro isso, então? Tá super claro.
15:32
Aliás, eu acho que essa do franiner é perfeita.
15:34
Fica muito claro. É, mas assim eu vou fazer uma
15:40
pergunta. Meio você vai olhar para mim e
15:44
fala Sério, você está fazendo essa pergunta que é?
15:47
OK, é porque a gente tem é muitos frames, né?
15:51
Que nem a Júlia até é antes da gente gravar ela, a gente
15:56
conversando. Ela falou assim, pô, os praight
15:58
managers são bobageados com conteúdo sobre, com frames com.
16:02
Várias coisas, mas. O exemplo que você me deu, né?
16:06
De que você deu, né, pô? Trocar a cor do botão tal muitas
16:09
das vezes aumenta as pessoas indo pra essa etapa, mas não
16:13
converte. Legal, isso é um exemplo bem
16:17
bacana, mas você teria um outro exemplo de.
16:22
Mais é prático de antes, durante e depois de fazer o frame,
16:29
porque Eu Acredito que assim conversei com algumas pessoas,
16:32
sabem. Elas sabem criar o uframe, só
16:36
que elas não sabem. Antes e o depois desse frame,
16:40
sabe? Você entende o que eu estou
16:41
querendo? É dizer-se.
16:44
Eu acho que sim. Eu acho que eu vou trazer um
16:47
exemplo até real do Nubank, que já falei bastante sobre ele e aí
16:53
você me fala se era mais ou menos isso que você está
16:55
pensando, tá? A gente, quando eu trabalhava no
16:58
site do Nubank, a gente tinha um formulário para abertura de
17:01
conta que ele vinha aberto ali no site, então você entrava no
17:03
nosso site e aí tinha lá é preenche aqui seu nome, seu
17:08
e-mail, seu CPF, confirma o e-mail e pede para abrir a
17:12
conta. E aí o time de design, ele
17:15
estava um pouco insatisfeito ali, né?
17:17
Com com a forma como isso vinha, ocupava muito espaço no nosso
17:21
site. A gente não não conseguia.
17:24
Trabalhar melhor outras informações, imagens, tudo mais
17:26
porque tomava um espaço muito grande da tela e aí eles
17:30
propuseram que a gente diminuísse isso.
17:32
Então, fizesse uma maneira quase que colapsada.
17:34
A pessoa entra, preenche só um campo, que no caso era o era o
17:38
e-mail, o nome, porque era primeiro campo ali preenche o
17:41
nome, se ela quiser, ela clica em continuar e segue para o
17:43
resto do fluxo. Ah, então vamos testar isso,
17:46
beleza? Ah, vamos testar isso porque a
17:48
gente acha que vai ter mais espaço para trabalhar.
17:50
Outras informações no site e aí as pessoas vão converter mais.
17:55
Vamos parar um pouco, entender se essa tá no frame, né?
17:59
Tipo, se eu diminuir o tamanho do do formulário, então as
18:03
pessoas vão conseguir acessar mais informações sobre o Nubank
18:05
e vão converter mais é. Será que isso faz realmente
18:10
sentido? Assim, será que no mundo de
18:12
growth do que a gente está falando, de eficiência é?
18:15
É? Os usuários estão perdendo esse
18:17
tempo para ler mais tudo mais ou quando ele entra no site do
18:20
Nubank, ele já sabe quem é o Nubank?
18:22
Nubank gigantesco. E ele só quer converter da
18:25
maneira mais rápida possível. Então a gente voltou e a gente
18:29
redesenhou essa hipótese. Espera aí, deixa eu entender se
18:33
isso deixa? É o meu fluxo mais fluido, o
18:37
cliente, ele não está entrando ali e vendo um Monte de campo,
18:39
um Monte, não eram 4, né, mas assim 4 Campos que ele precisa
18:42
preencher. Ele vê um único clique em
18:44
continuar e aí ele vê o restante.
18:46
Será que isso melhora a experiência de conversão?
18:49
E aí quando a gente vai para um lugar desse?
18:53
Esse primeiro campo, ele se torna muito importante, né?
18:55
Porque não é mais sobre o cliente conseguir acessar as
18:58
outras informações da página e querer pesquisar sobre o Nubank
19:01
dentro do site tudo mais. É sobre aquele fluxo ser mais
19:05
mais fluido e ser melhor em conversão, porque o cliente, ele
19:08
tem uma experiência melhor para converter e aí o primeiro campo
19:11
que ele vê que vai impulsionar ele a seguir para os outros ou
19:15
não vai desencorajar ele a seguir para os outros se torna
19:17
extremamente importante e que isso impacta que a gente para de
19:22
medir só tipo, controle, que é o formulário aberto versus o
19:25
primeiro campo, sendo o nome e a gente mede controle versus o
19:29
primeiro campo, sendo o nome o primeiro campo sendo CPFO,
19:32
primeiro campo saindo do e-mail porque.
19:35
A importância dada para esse primeiro campo.
19:37
Muito grande e a gente precisa ter certeza de que a gente está
19:40
medindo o melhor efeito possível.
19:41
Então não sei se era essa a sua pergunta, mas acho que é um
19:44
exemplo de não é só seguir o frame, é entender o que está por
19:48
trás dele e como a gente consegue adequar isso para os
19:51
resultados que a gente está esperando.
19:54
Era exatamente isso. Oh, Júlia.
19:58
Simples, não ficou claro agora como que faz?
20:03
É, ficou claro, é difícil fazer isso no dia a dia, né?
20:06
Não não ser atropelado, mas ficou claro, é.
20:12
E ofer. E você falou, você falou um
20:14
pouco sobre a gente, voltou e revisitou as hipóteses e tudo
20:17
mais. E o Paulo tinha perguntado um
20:20
pouco sobre o processo é antes e durante.
20:24
Quais são as os pontos assim, chave para você, para rodar esse
20:29
teste, né? Porque eu sei que.
20:31
Esses tempos atrás, eu estava no mitap sobre groof e aí a
20:34
pergunta que mais apareceu foi, Ah, como é que como é que eu
20:39
faço para garantir que eu tenho uma amostra boa, que vai dar
20:42
diferença em estatística e tal? E eu não sei muito se as pessoas
20:47
pensam nisso no dia a dia. Sabe quais são os passos na sua
20:50
opinião, para montar um teste que vai ser confiável
20:53
minimamente No No fim? Assim que a gente pode, dado que
20:56
sei lá, a gente já gastou um tempo ali para ter alguma boa
20:58
hipótese para onde a gente quer chegar, como é que a gente monta
21:01
esse teste de forma que ele possa ser confiável no fim?
21:05
Boa é, eu adoro essa pergunta, porque toda vez que eu falo
21:08
sobre experimentação surge essa pergunta de tamanho de amostra
21:11
também. E eu acho assim, é óbvio que
21:14
isso é que é que isso é relevante.
21:15
É muito frustrante você. Montar todo um teste, gastar
21:20
semanas de desenvolvimento, colocar no ar e no final falar,
21:23
putz, eu não consigo medir isso aqui porque eu não tenho
21:25
relevância estatística é. Mas assim é importante a gente
21:29
ter em mente que. Quanto mais é ousada a sua
21:35
hipótese, quanto mais disruptiva ela for, mais chances ela tem de
21:39
trazer ou resultados catastróficos, horríveis e tudo
21:43
bem lembra que a gente quer aprender?
21:44
A gente não quer ganhar, mas ela também tem mais chances de ela
21:48
ter resultados extraordinários. Então assim é.
21:53
Se eu tenho um resultado muito grande, se eu aumento, sei lá em
21:55
50% da minha conversão, tudo bem se me amostra for pequenininha,
21:59
a estatística vai garantir que isso aí está fora da margem de
22:01
erro, entendeu? Mesmo que sua amostra seja
22:03
pequena, então por isso que eu estou falando isso, porque por
22:07
isso que você planejar esse experimento, saber o que você
22:09
vai fazer se torna cada vez mais importante, mais até do que seu
22:12
tamanho de amostra. Quanto tempo você vai rodar?
22:15
Isso é importante também. É lógico que todo mundo quer
22:18
conseguir medir todos os resultados, mas planejar bem,
22:21
entender onde está ali A Grande Aposta e também não ter medo de
22:25
errar, porque é o que eu falei, uma aposta grande, ela pode ser
22:27
catastrófica. Já tive alguns exemplos
22:28
catastróficos aqui, mas ela pode ser maravilhosa.
22:33
E aí você tem mais chances de conseguir medir.
22:35
E aí falei tudo isso porque quando a gente vai fazer isso é,
22:40
eu gosto muito da palavra é do experimento, ele ser
22:43
multidisciplinar, então a gente trazer todo mundo.
22:48
Para uma mesma reunião por uma mesma discussão, não adianta, a
22:51
gente já já passei por times que tipo assim?
22:53
Ah, então OBA, ele escreve o documento de experimento e
22:56
cálculo, o tamanho da amostra. O designer, ele vai lá e faz o
23:00
design. A engenharia implementa, OPM
23:01
coordena tudo e tá não é assim. É, eu preciso ter numa sala um
23:07
BA. É um designer, um engenheiro, um
23:09
PM para todo mundo falar, poxa, esse produto está precisando
23:12
disso. Nesse fluxo de design eu não vou
23:13
conseguir medir isso aqui. A forma como a gente está
23:16
criando isso não está respondendo a minha hipótese.
23:19
Quando a gente tem todo mundo junto ali, trabalhando em equipe
23:22
ao mesmo tempo e não como é. Pedaços separados do fluxo, isso
23:27
fica muito mais fácil, isso fica muito mais rico.
23:30
Quantas vezes a engenharia já não me ajudou na minha análise?
23:34
Porque eles falaram olha Fernanda, esse evento aqui não
23:36
está criado, você vai me, você vai rodar esse experimento, você
23:39
não vai conseguir medir isso aqui, entende?
23:40
Então assim é ter esse time trabalhando.
23:43
É simultaneamente num experimento, é muito importante
23:46
colocar todo mundo numa mesma sala, é muito importante.
23:49
Direto. Eu levanto a minha mão e falo,
23:51
me coloca no critique de design, me coloca no critique de design,
23:54
porque pra mim é importante. Quando eu for medir, às vezes eu
23:57
eu pego para pegar. Para analisar só os resultados
23:59
de um experimento. Eu falo gente, mas não faz
24:02
sentido essa métrica ter caído, porque a gente não mexeu em nada
24:05
nesse fluxo. E aí eu volto lá para ver o
24:07
figma e tem uma bolinha roxinha, pequenininha diferente, que não
24:11
tem da fluxo novo que tinha na outra e por isso que a métrica
24:14
caiu, entende? Então, assim está todo mundo na
24:17
mesma página faz com que a gente consiga de fato confiar nos
24:20
resultados e entender quais são as novas hipóteses que a gente
24:23
gera dali pra frente. Você fez.
24:25
Você falou da bolinha pequenininha?
24:27
Eu tive um caso. E deu uma queda de colorição de
24:30
24%, que era basicamente o campo que a galera tirou uma foto e aí
24:36
eles tiraram a foto e performou bem para todos os produtos,
24:40
menos para o meu, que foi uma queda drástica.
24:43
É isso, entendeu? E aí tipo, vocês conhecem nessa
24:46
sala onde decidiram tirar essa foto?
24:48
Talvez você não teria deixado de tirar essa.
24:49
Foto, sim, não, não é. E eu é uma coisa interessante
24:53
sobre teste também. Que eu até queria ouvir.
24:55
Sua percepção é que às vezes eu percebo que as pessoas encaram
25:00
como uma coisa que você vai fazer um teste, vai ter uma
25:03
resposta e vai salvar sua vida. Tipo assim, a resposta pode ser
25:07
sim ou não. E aí resolveu.
25:09
Mas assim, primeiro, a minha visão é que a gente tem que
25:11
fazer múltiplos testes. Na maioria dos casos,
25:13
dificilmente o primeiro vai resolver 100% e depois que a
25:17
gente tem que pensar nisso a longo prazo, não é nesse exemplo
25:19
que eu dei por se a gente for pensar, se a conversão, se a
25:23
gente esticar essa conversão ao longo dos anos.
25:25
A gente estava perdendo muito dinheiro para simplesmente
25:28
melhorar o layout e era importante melhorar o layout.
25:30
Ele tem que evoluir, mas assim o custo estava muito alto, sabe?
25:34
Então a gente precisava prestar mais coisas, mais opções, até
25:37
chegar num num ponto de equilíbrio para evitar que no
25:39
futuro é as coisas fossem então prejudicadas.
25:43
Eu não sei qual que é a tua visão.
25:44
Assim, em torno de tipo a gente consegue ter muitas respostas
25:47
com um teste só ou isso é mais um processo?
25:51
Não, e pelo contrário, isso é até uma armadilha, né?
25:53
Às vezes as pessoas falam, não? Então vamos testar a gente
25:56
testa, a gente muda esse código e a gente muda, esse a gente
25:58
tira esse campo e a gente coloca essa imagem nova.
26:02
E é assim, beleza pode ser incrível.
26:04
Você pode fazer tudo isso e ganhar sei lá quantos por cento
26:07
de conversão, mas e depois? Você faz o que com isso?
26:09
Você não vai saber se sua conversão veio só porque você
26:11
mudou o cop? Às vezes, se você tivesse mudado
26:13
só o cop e não tivesse trocado a imagem, não tivesse mexido no
26:17
campo. Seria ganhado 50% de conversão.
26:20
Os outros 2 fizeram, na verdade, sua conversão diminuir e você
26:23
não vai saber. Então é de novo.
26:26
Voltando para o tema de eficiência da gente querer
26:28
sempre ganhar e rápido. EE vai e tal.
26:32
Não é eficiente você testar um Monte de coisa ao mesmo tempo
26:34
você querer aprender 1000000 de coisas ao mesmo tempo.
26:37
É uma discussão que eu tenho sempre é que assim as pessoas
26:39
falam não. Mas então vamos colocar 1 + 1
26:41
variante, então a gente ao invés da gente fazer teste, controle,
26:44
coloca mais uma que tem a mudança x.
26:47
Beleza, só que você vai dividir seu tráfego em mais uma
26:49
variante. Você vai diminuir seu tamanho da
26:51
amostra e vai demorar mais para você conseguir medir os
26:53
resultados. Então fica Elas por Elas.
26:55
No fim das contas, entendeu? É tão melhor você testa rápido,
27:00
às vezes uma semana de teste no ar é suficiente para você falar?
27:03
Não é por aqui ou então. Assim é muito por aqui rolar o
27:07
Thaís, vamos pensar no próximo passo EE já planejar o que você
27:10
vai fazer depois, isso é muito mais eficiente você ter claro
27:14
que está movendo o seu ponteiro para gerar as próximas bets e
27:18
para você montar seu roadmap do que você tentar.
27:20
Aprender tudo ao mesmo tempo, porque isso não vai ser.
27:23
Não assim, no curto prazo. Beleza é super efetivo, mas no
27:27
longo prazo você vai ficar completamente perdido sobre o
27:30
que é o seu produto e o que de fato é impacta ele.
27:34
E tem tempo mínimo para rodar? Teste, você falou dos 7 dias.
27:38
Eu acho isso muito curioso. Ah, eu sempre deixo pelo menos 7
27:41
dias, porque o nosso negócio ele é muito sazonal, né?
27:45
Então, o cliente que ele pede um cartão de crédito na
27:49
segunda-feira de manhã. Ele é bem diferente do cliente,
27:52
que pede um cartão de crédito. No sábado à noite, ou que paga
27:55
uma conta na quarta de manhã do que paga numa conta no domingo
27:57
de manhã. Então, se eu meço ele tipo por
28:01
23 dias, eu posso pegar a visão daquele perfil de clientes.
28:04
Eu não pego uma sample boa, eu deixo sempre por, pelo menos
28:09
pelo menos uma semana. Nunca parei um experimento antes
28:12
de uma semana. Não, não, não indico isso, mas
28:15
na média assim, eu acho que os nossos experimentos eles rodam
28:18
por mais ou menos umas 23 semanas, a menos que seja um
28:21
produto que tenha um ciclo de vida muito longo e que aí a
28:24
gente precisa. É, Ah, então agora eu quero
28:27
entender como que o cliente vai se comportar depois de 2 meses
28:31
vendo essa essa alteração e tudo mais aí?
28:34
Beleza, mas eu gosto normalmente de experimentos mais curtos,
28:37
porque eu acho que se não deu resultado ali, logo naquele
28:39
começo, a nossa sample do Nubank ajuda é muito grande.
28:42
A gente tem uma amostra grande pra testar, então você ajuda
28:44
também na nossa realidade se. Não dá um resultado muito
28:48
expressivo ali. Eu acho que a gente tem 1000000
28:50
de outras coisas que a gente pode fazer e partir para a
28:52
próxima, sabe? Uma.
28:54
Dúvida, aqui é, a gente já passou por alguns pontos até.
28:59
É bem didáticos e práticos aqui, né?
29:02
Então, falamos sobre frame, de como fazer, frame é frame, como
29:08
fazer? Como a pessoa deve lidar com,
29:12
com experimentação e hipótese antes, durante e depois, né?
29:16
Do do experimento? A fe já deu a dica de que menos
29:22
de 7 dias. Está errado.
29:26
Não faça isso, está bom? Não faça.
29:29
A Fernanda é reprova esses testes de menos de 7 dias OKOK
29:36
não, não existe isso. O.
29:39
E aqui, AA, minha dúvida é. Muitas empresas estão começando
29:45
a construir uma cultura de testes, né?
29:48
É, a gente vê bastante empresas criando áreas de groove, ou é
29:56
colocando? É tentando colocar na sua
30:00
cultura esse lance de mentalidade, de experimentação,
30:04
é tomar decisões baseado em dados, et cetera.
30:09
Na sua opinião, feio você que é uma das referências no assunto,
30:14
quais são os primeiros passos na sua visão que as empresas?
30:18
Primeiro as empresas, né? O nível empresa deve fazer e
30:23
depois, como que as pessoas de produtos, independente de quem
30:26
seja, PM design, é. Analista de negócios e et
30:32
cetera, podem ajudar a influenciar esse processo, que
30:36
muitas das vezes a empresa chega e fala a partir de hoje.
30:42
Temos que ter uma cultura de experimentação, ponto e tchau.
30:47
E é isso. É na sua visão, quais são os
30:51
primeiros passos? Acho que tirando a parte
30:53
prática, porque é óbvio que assim, uma vez que uma empresa,
30:56
ela decide ter uma cultura de experimentação, ela vai precisar
30:59
passar por toda a questão de decisão de ferramental, o que
31:02
que ela vai fazer se ela vai construir uma ferramenta in
31:04
House, se ela vai usar uma ferramenta pronta e tudo mais?
31:08
Eu acho que uma decisão até anterior a isso é.
31:11
É você entender que a cultura de experimentação ela é uma cultura
31:15
de risco. Toda vez que a gente testa, a
31:17
gente pode ganhar muito, mas a gente pode perder.
31:20
Isso parece óbvio, mas é muito comum.
31:24
É, eu falo muito com com algumas pessoas pelo LinkedIn.
31:27
É, eles vêm tirar dúvida. Eles falam não, mas como que eu
31:30
coloco ali o teste no ar? Eu tenho medo de colocar isso
31:33
para 50% dos meus usuários, porque isso pode derrubar minha.
31:37
Isso pode subir, mas isso pode derrubar minha conversão e sim,
31:41
pode derrubar essa conversão e sempre vai poder sempre vai
31:44
poder ser pior. Já tive testes que a gente
31:46
rodou, que a gente tinha muita certeza do que a gente estava
31:49
fazendo. A gente tinha rodado entrevista
31:51
com o usuário, a gente tinha testes passados que.
31:54
É afirmavam a nossa hipótese e evidências claras e que caiu
31:59
tipo assim, 60% de conversão é isso acontece é do jogo.
32:04
É óbvio que você vai ter. Ali é métricas para te ajudar e
32:07
falar, não espera aí vamos parar esse teste agora, porque se não
32:10
a gente vai acabar com o nosso negócio, sim, mas é entender
32:13
isso. Eu acho que isso é o mais
32:15
importante, acho que mais do que pensar em ferramentas, mais do
32:18
que pensar em como montar um time, óbvio que isso é
32:20
importante, você precisa ter um time analítico.
32:22
Não adianta você querer deixar para as pessoas de produto
32:25
porque o time de produto ali. Está ali focado na experiência
32:29
do produto, na melhoria do produto.
32:31
O time analítico ele vai trazer justamente.
32:35
Essa parte por trás, que que vai falar assim, ó?
32:38
Independente do que a gente acha, independente do que a
32:40
gente acredita, os números dizem isso é?
32:43
Os dados dizem isso. A estatística diz aquilo.
32:45
Então, é importante você ter pessoas que façam puramente esse
32:49
trabalho para que você consiga separar as 2 coisas.
32:52
Tem muita gente falando assim, não, porque aí OOPM ele pode ir
32:55
lá e ele pode construir o Destiny na amplitude e aí ele
32:58
pode olhar os resultados, tipo, pode, mas é muita coisa para um
33:02
PM fazer e é muito difícil quando você não tem um.
33:07
É eu. Eu não queria usar a palavra
33:11
framboard, mas é um framework claro de análise e uma pessoa
33:14
focada nisso para tomar a decisão e falar assim, olha, eu
33:18
esgotei as possibilidades, eu fiz uma análise complexa, fiz
33:21
uma análise profunda e essa aqui é a nossa decisão.
33:24
Essa aqui é a nossa conclusão sobre esse teste, então é
33:27
entender que também é, não é do dia para a noite que você vai
33:29
montar uma cultura de experimentação.
33:31
Você precisa ter um time preparado, você precisa ter boas
33:33
ferramentas e você precisa, acima de tudo, de fato, ter uma
33:37
cultura que suporte. Perdas e riscos EE tudo isso que
33:42
acho que é o mais difícil sair para empresas que ainda não
33:44
entraram nesse mundo. Uma dúvida, ô, ô fer, e aí a
33:48
gente vai se encaminhando pro pro final do do episódio que é?
33:54
Você falou sobre, acho que a gente já abordou também sobre
33:57
isso, sobre a sobrecarga Na Na pessoa de produtos, né?
34:01
No pruty manager, bem, você falou, tem muita coisa que, pô,
34:05
não dá pro prote manager é fazer.
34:08
E enfim, é isso. Mas eu vou fazer 2 perguntas em
34:13
uma, como que você vê? É olhando já para para um pouco
34:18
mais de eficiência, como que você vê a gestão de tempo é em
34:23
um mundo de negócios em que o resultado?
34:29
É imediato, não é? Então se busca um resultado
34:32
imediato e. Falando aqui de testes e
34:36
experimentos que no mínimo deve rodar por 7 dias, é como que
34:41
lida com com os stakeholders que buscam resultados.
34:46
É pra ontem, é? Essa é uma pergunta.
34:51
A segunda pergunta é. Como na sua, na sua visão é.
34:58
Como que, na sua visão, grooff hoje na maioria das empresas,
35:03
senta na mesa de estratégia? Hoje groove é uma cadeira na
35:11
mesa de de discutir estratégia da empresa, de influenciar o
35:16
direcionamento da da empresas das empresas.
35:19
Conforme, né? Isso é uma das referências.
35:22
Com certeza você conversa com muitas pessoas.
35:24
Faz-me TAP vai em muitas empresas, é palestrar como que
35:29
você vê esse ponto também, porque é algo que a gente tem
35:32
abordado bastante. É muito quando a gente fala do
35:36
prunit manger, né? O preunch manager, a área dos
35:39
produtos, ela tem que sentar Na Na mesa da para discutir
35:43
estratégias. Design tem que sentar na mesa
35:46
para discutir estratégia da empresa é engenharia, tem que
35:50
estar Na Na, na mesa para discutir a estratégia, não
35:54
discutir, né? Mas tá ali influenciar, trazer
35:56
dados, trazer AA, ser representante ali de uma parte
36:02
groof também está nisso. Boa, vou começar pela primeira
36:05
pergunta, que é sobre a gestão de tempo e acho que é mais uma
36:08
gestão de ansiedade dos stakeholders, né?
36:11
É, eu acho que isso conecta com a com a pergunta anterior sobre
36:15
a questão da cultura. Então uma das coisas para você
36:18
começar a sua cultura de experimentação é você acertar a
36:21
expectativa. E é isso, assim é direto,
36:25
direto. Eu rodo o teste ainda em 3 dias.
36:27
Os resultados estão maravilhosos e falam, por favor, vamos rolar
36:30
um táxi, vamos rolar um, tá agora final de ano tá chegando,
36:33
chegando no final de ano a gente não pode perder tempo, vamos não
36:36
é assim, né? É, não tem porque a gente
36:38
rolatar uma coisa sendo que imagina se eu meço por 7 dias?
36:41
Na verdade, isso era pior quando eu pego o resultado do final de
36:44
semana ali, que eu não tinha medida.
36:46
Então não é assim. Acho que tem que ser 11 questão
36:50
enraizada até no time de que nós vamos fazer o que é melhor para
36:54
o negócio. Nós não vamos lidar aqui com
36:55
ansiedade e com expectativas. A gente vai lidar com o que é
36:58
melhor para o negócio e com o que a gente quer aprender é, às
37:02
vezes o que eu até falo para o meu time é assim, eu coloco um
37:05
teste no ar e a primeira pergunta é, temos early resorts
37:08
tipo um dia de teste do ar? E às vezes eu.
37:11
Eu falo para o meu time, eu falo, olha, temos a gente vai
37:14
compartilhar eles com uma semana de teste, quem já?
37:17
Tipo, às vezes já é até os final resorts, né?
37:19
Mas porque se não é essa ansiedade, ela acaba batendo EE.
37:24
Ela não é saudável, né? Então a gente vai acabar tomando
37:26
uma decisão que não é a melhor para nenhum dos stakeholders,
37:30
nem para quem quer é rodar um negócio ali, nem para o time de
37:33
análise, nem para o time de produto.
37:36
Por um simples fator de ansiedade ali, que não faz muito
37:39
sentido agora. Sobre essa segunda pergunta
37:42
sobre groof e a proximidade com a estratégia, eu acho isso muito
37:45
interessante, porque eu já conversei com muitas pessoas que
37:48
trabalham em times de groove que elas trazem para mim assim.
37:52
Meu, é. Estão me pedindo para aumentar a
37:54
conversão, só que minha conversão não aumenta porque meu
37:57
não é porque meu fluxo é ruim, é porque meu produto não é bom, é
38:00
porque meu produto não é completo, é porque meu produto é
38:02
caro. Então é.
38:05
De novo voltando para o tema de assim, o que eu falo e o que eu
38:08
faço de cultura enraizada? Não adianta você querer ter o
38:13
ano de group. Não adianta você querer ter o
38:15
super group crescer. Absurdos.
38:19
Quando você não está disposto a ouvir que o seu produto talvez
38:22
não seja bom o suficiente para crescer, não seja bom o
38:26
suficiente para que as pessoas queiram converter porque um
38:29
produto bom ele converte, mesmo num fluxo difícil.
38:33
Mesmo num fluxo ruim, aí você vai ganhar a conversão e você
38:36
vai melhorar. Mas se seu produto é bom, ele
38:38
vai converter agora um produto incompleto, um produto que é
38:42
caro, porque ele oferece um produto que não tá Maduro o
38:45
suficiente. O time de golfe não vai
38:47
conseguir fazer milagre, ele vai ganhar a conversão aqui, ele vai
38:50
ganhar 10% aqui ele vai ganhar, sei lá, 15% ali, mas ele não vai
38:54
fazer milagre, ele não vai explodir um produto que não está
38:57
pronto para explodir ainda. Então eu não acho que isso seja
39:01
realidade ainda. Mas eu acho que as empresas que
39:03
entenderem que as 2 coisas estão extremamente conectadas vão
39:07
muito mais longe do que as outras.
39:09
Ah, eu tenho só mais uma que não é sobre experimentação na real,
39:12
o motivo pelo qual eu queria que a ferviesse aqui é porque, como
39:15
vocês puderam ver. Pega muito bem por várias coisas
39:19
assim, eu acho curioso quando tem algumas pessoas que acabam
39:23
com a formação de carreira que faz com que elas consigam
39:27
perceber que é importante. Elas parem na mesa com design
39:29
que é importante elas parem na mesa com a engenharia, enfim,
39:32
elas conseguem navegar independente da formação.
39:34
Enfim, acho que a gente fala muito sobre isso aqui, para a
39:37
carreira de produto em geral. E aí, fê?
39:39
Eu queria saber quais são as suas dicas para as pessoas que
39:42
que são isso, pessoas engenheiras, mas também em
39:44
geral, que eu acho que essa é uma pergunta que sempre acontece
39:46
aqui. Quais são suas dicas para quem
39:48
está querendo ir? Para uma área é de groove, para
39:51
uma área de análise de dados e quer quer fazer uma transição de
39:55
carreira ou até está no começo de uma carreira?
39:58
Tipo de conteúdo? Quais são as recomendações que
40:00
você dá para as pessoas conseguirem ampliar?
40:03
Assim, ampliar a visão e também conseguir ter mais contexto de
40:06
negócio. Eu venho de uma carreira
40:08
analítica, eu tenho uma formação analítica e é muito comum que a
40:13
gente tenda a se fechar, né? Então eu faço análise, eu olho
40:16
para números, eu sou. Extremamente pragmático, é isso,
40:21
é isso ou não é? E está tudo certo.
40:24
E isso te trava um pouco, né? Porque eu acho que uma carreira
40:29
ela é sobre conexões e quando você está disposto a se conectar
40:34
com as pessoas, a ouvir opiniões diferentes e entender que muito
40:38
do que eu falei antes, né? De que um time ele trabalha
40:42
junto e você, talvez você pode ser a pessoa mais analítica e o
40:46
melhor analista de dados do mundo, mas talvez você não tenha
40:49
a visão de produto que o que OPM que está do seu lado tem.
40:53
Que a designer que está do seu lado tem, então é você estar
40:56
sempre disposto a aprender, a ouvir, a se interessar pela
41:00
atividade, né? Da pessoa que está do seu lado.
41:03
Para mim, a coisa mais importante, eu acho que é.
41:07
Eu tive assim, eu fui bem sucedida nessa nave é navegando
41:11
aí entre times multidisciplinares, contextos
41:13
completamente diferentes. Eu, como eu falei, eu fiz
41:15
engenharia civil, eu já trabalhei em obra, né?
41:20
Em chão de obra. Foi porque eu sempre tive muito
41:22
disposta e curiosa. Na verdade, acho que foi até
41:24
minha curiosidade entender o que a pessoa do meu lado está
41:27
fazendo é aprender com ela e sempre parte de um lugar de
41:31
humildade, de falar. Ela pode me ensinar a fazer isso
41:34
de uma maneira melhor. Eu acho que quando o time de
41:36
análise ele está disposto a aprender com os outros e eu e
41:40
assim eu posso falar isso porque eu já vi muito time de análises
41:43
fechar e falar não, mas é isso, é esse Ponto Final.
41:46
Os dados mostram isso, os números mostram isso.
41:50
Você não consegue longe, você não consegue ter bons
41:52
resultados. Porque apesar dos números
41:54
falarem muito e eles eu sempre falo, né?
41:57
Eles são soberanos, é o aprendizado, não está ali nos
42:02
números. O aprendizado está em como você
42:04
interpreta e em como diferentes pontos de vista é impactam nessa
42:09
interpretação. Então eu diria isso assim, acho
42:12
que minha dica é, ouça muito, muito, muito, muito.
42:16
É parta de um lugar de humildade, em que você não sabe
42:19
o que você está fazendo, porque acho que é importante você
42:21
pensar, eu não sei e eu quero entender porque que isso foi
42:23
feito dessa forma. E entender por que que eles não
42:26
fizeram diferente, por que que não fizeram isso antes de
42:29
curiosidade mesmo? Acho que isso vai te levar
42:31
longe. Ou seja, Júlia, ela tá pedindo
42:35
pra pros, prática manager, ser humildes.
42:38
Mas eu aqui estamos mais 1 dia. Eu estou pedindo para os
42:42
analistas, seriam humildes. Olha.
42:46
Essa ela não quer se comprometendo já.
42:49
Não vai estar certo, a gente vai.
42:51
A galera se apaixonou lá pelo modelo Spotify, mas ninguém
42:53
gosta de colaborar na verdade, né?
42:55
Durou ouvir do seu ponto de vista, não é soberano?
42:57
Então eu gosto dessa dica. Ótimo.
43:00
É com essa dica que a gente encerra o episódio número 1 de
43:05
2024, hã? Começamos com o pé direito 2024
43:09
o ano de group. É isso.
43:13
A partir de agora, você que está assistindo e ouvindo esse
43:17
episódio vai ser bombardeada por conteúdos de Grohl.
43:22
Vai isto. Vixe que vai ter agora de uma
43:24
etapa sobre groove, conteúdo sobre groove.
43:27
Vixe, certo, Júlia? É isso, pode aguardar, já vai
43:32
pra ver. Pra lançar a nova pós.
43:34
Paz em groove é groove, Cascadura, grossa, tudo o que
43:39
tem aí, então. A partir de hoje é é o ano de de
43:47
fé. Muito obrigado por você ter
43:48
aceito esse esse convite para falar aqui nesse humilde
43:52
podcast. Volte sempre.
43:54
Obrigada, gente. Estou muito feliz e honrada em
43:56
ser o primeiro episódio aí de 2024, como foi dito aqui one de
44:02
groove. Pronto, fiz eu fiz uma das
44:07
maiores referências da área falar que é o ano de group,
44:11
então quem? Vai falar o contrário disso,
44:15
Hein, Júlia? Não, já está, já está registrado
44:18
já. Registrado é isso?
44:20
Então, muitos episódios sobre girlf, experimentação, testes,
44:24
hipóteses virão por aí, então fique ligado na praia de churus
44:29
de novo. Clique no botão A seguir, clique
44:32
no botão A se inscrever ativa o sininho, deixe seu gostei, deixe
44:36
seu 5 estrelas, mande comentários.
44:38
Siga a Fernanda No No LinkedIn, siga Júlia também no LinkedIn,
44:42
siga a prática e gurus nas redes sociais estamos por aí, só eu
44:45
colocar a prática gurus, e é isso.
44:49
Feliz Ano-Novo. Feliz 2024.
44:52
Beijos, tchau, fui.