Latest / Product Guru's : Produto | Negócios | Carreira / Como o iFood faz milhares de testes e transforma isso em crescimento

Transcript

Como o iFood faz milhares de testes e transforma isso em crescimento · Product Guru's : Produto | Negócios | Carreira

0:00
Quando você faz um experimento ou só faz uma remote, né?
0:05
Só faz uma alteração, sem querer olhar o dado de todas as formas.
0:09
Você tá alterando um comportamento que você quer ver
0:12
se você vai conseguir alterar um comportamento que ele já se
0:14
tornou padrão, né? Se o iFood chega a 10015 1000,
0:19
30050 1000 testes, imagina a quantidade de receita que pode
0:24
dar? E óbvio, tendo muito claro que
0:26
nem todo teste vai responder a hipótese.
0:28
Nem todo o teste vai gerar dinheiro, mas quanto mais você
0:33
se se joga nessa ideia de testar para além de ser divertido como
0:38
pessoa de produto? Que Mano, você está toda hora
0:40
ali, ó, tá, tá, tá, tá, tá né? Fazendo várias coisas, vendo ali
0:43
groove, tipo assim, você tá fazendo crescimento assim, só
0:45
que você quando você consegue perceber que o crescimento que
0:48
você faz não é só um crescimento naquela métrica que você queria
0:50
mexer com, sei lá, é a interação com o componente.
0:53
Mas depois você vai ver aquela interação com o componente
0:55
terminou virando um pedido. E aí quando vira um pedido, um
0:59
restaurante está ganhando uma parte daquela, daquela
1:01
transação. E aí tem uma pessoa fazendo
1:04
aquela entrega. E aí se ela conseguiu fazer uma
1:05
entrega, ela está conseguindo fazer mais, né?
1:08
Está conseguindo fazer mais dinheiro para ela, para ela
1:10
conseguir na quarta-feira retirar e poder pagar, né?
1:14
Pagar 11, comida para família, conseguir pagar 11.
1:19
Hum, né, as contas, né? Então você está falando todo
1:22
esse ecossistema assim, você fez um negócio que gerou pedido,
1:25
quando gera pedido, bate no restaurante, quando bate no
1:28
restaurante, ele chama o entregador, quando chama o
1:29
entregador, ele entrega na cara da pessoa, a pessoa fica
1:31
satisfeita, ela fala e fala, beleza, eu vou voltar para
1:33
iFood. Então, quando você olha essa
1:36
loucura, você vê que é muito massa, tipo assim, é é muito
1:43
louco ver o potencial disso assim.
1:53
Pra você que deu play gatas que segundo Abel Araújo é fanzaço de
2:00
Elon Musk, certo? Nossa, cara, imagine a situação.
2:06
Tô lá eu de boa trabalhando e recebo um áudio da nossa
2:10
diretora de produtos design. Um áudio, eu falo, putz,
2:14
geralmente quando vem áudio você não Oo meu slack tá em inglês,
2:17
então eu não consigo transcrever.
2:18
Aí eu falo, putz, vou ter que ouvir, eu paro tudo que eu tô
2:21
fazendo, eu saio da reunião gatás, é verdade que você é fã
2:26
da elomance que aí eu falei, Ah, meu Deus, isso tem cheiro de
2:29
Paulo chiodi? E aí eu lembrei, nossa, é
2:32
verdade, a bel tá lá, tá apresentando as coisas no Itaú.
2:35
Eu falei, bom, aí eu comecei a fazer piada com ela e é isso.
2:40
Deu certo da bel já gravar aqui, ela vem ou não?
2:44
Não, ainda não tá meio difícil a agenda da moça, não.
2:48
Diretora, né? Tipo assim, pessoa importante,
2:52
mas assim bel, sendo muito transparente.
2:55
Não é que nem sair da Vila que você mora de pescadores, é
2:59
online, ó, eu estou na minha casa, o shot está na dela.
3:01
É só ter uma boa conexão que você vem, Hein?
3:03
Eu vou cobrar, Hein. Ô, ô gato, traz qual era a dor
3:08
mais cara? Ou, mais recorrente, que que fez
3:13
o iFood olhar e falar, precisamos de uma plataforma
3:16
como faster? Antes de chegar ao iFood, eu vou
3:19
fazer um histórico interessante aqui, né?
3:22
Acho que pensa que o faster na real.
3:27
Ele é a terceira versão de uma plataforma que nasceu lá na
3:32
Movile. Só que era uma época da mobile,
3:36
que é na verdade, ela ficava construindo tipo aplicações
3:39
móveis pra empresas. E aí pensa assim, eu sou então
3:45
11 consultoria de software, uma software House e eu estou
3:49
ajudando a fazer aplicações. Imagine se cada equipe que faz
3:54
suas aplicações, cada uma coloca 111 ferramenta de Tracking, uma
4:00
coloca OSDK do Google Analytics, uma coloca.
4:03
Na época nem tinha amplitude. Uma coloca srubal, srubals, vai
4:07
colocando várias e aí o pessoal olha e fala, tá estranho?
4:14
Aqui tem 1 o volume, outro aqui tem outro volume, sendo que a
4:17
gente sabe que as bases de usuários, em teoria, são bem
4:19
parecidas. E se a gente centralizasse?
4:22
E aí nasce o que na época, acho que o pessoal chamava de Hermes,
4:26
né, o Deus mensageiro. Aí aí o Hermes passou pelo um
4:31
né, uma algumas validações. Virou o kiwi, nasceu o kiwi, e
4:39
aí do kiwi nasceu o fester. E o fester era dividido entre o
4:43
iFood e a simpla. Tinham 2 equipes coordenando
4:49
ali, tipo pra simpla e pro iFood.
4:51
Mas eles sempre tinham aquela necessidade de de garantir que
4:56
fosse escalável. E quem me conta essa história
4:59
muito bem é o Henrique morbin, que ele é o nosso nômade de
5:02
engenharia. O homem tem 7 anos de fester, ou
5:06
melhor, ele tem 7 anos disso aí. Hermes kiwi foi da mobile, do
5:11
iFood e no final das contas, nasceu pra analytics, né?
5:18
Tipo resolver sessão é device, entender o que é o Finger print
5:23
de usuário pra garantir assim, tipo, o cara que vê o mal ali
5:27
vai ver o mal com as mesmas lógicas no outro.
5:30
Então ele fala, Ah. Se todos eles partem da mesma
5:33
lógica, o que eu tô vendo é unificado.
5:36
Então veio dessa forma assim e aí começou a expandir assim,
5:40
porque aí começa, Ah, vamos usar o Google OPT mais pra fazer
5:44
teste AB é espera, se eu já detenho a sessão, o device e o
5:50
ID, eu também poderia deter a distribuição dos usuários.
5:55
Aí nasce o módulo de remote config, que é uma coisa começou
5:59
como featur flag. Aqui no final das contas, Ah, eu
6:02
quero ativar botão quero desativar botão quero ativar
6:05
login e desativar login bem boleano.
6:08
Mas aí começa a surgir a necessidade, você começa a ver
6:10
um time usando uma ferramenta, um time usando uma ferramenta.
6:12
Espera aí, e se eu centralizasse a lógica de distribuição e a
6:17
locação de usuários para poder rodar?
6:19
Teste Abe, aí nasce dentro da remote config, a feature de
6:25
experimentação. E aí vai avançando, vai
6:28
avançando, ô, agora que eu já tenho um Monte de dados.
6:31
Dessas pessoas, tipo, entendi o comportamento delas, entendi o
6:35
que elas estão fazendo, como que está a sessão, qual que é o
6:37
dispositivo e se eu começasse a ter uma forma de gerar
6:43
audiências e aí a audiência No No, no mais puro uso assim, não
6:50
necessariamente só pra comercializar, mas o uso mesmo
6:53
de entendimento, né? O pré comercializar, né?
6:56
O mais o meu. Eu reparei que todo mundo aqui.
7:01
Tem um comportamento parecido, então só tipo, se todo mundo tem
7:04
um comportamento igual, ao longo dos meses você percebe todas
7:07
essas tendências. Não faz sentido transformar
7:10
isso, né, nesse atributo, assim nessa audiência e né, começar a
7:15
usar isso. Aonde em experimentação começar
7:19
a usar isso? Naquela remote config.
7:21
Então, por exemplo, você entra todo mundo numa jornada e eu
7:25
tenho a audiência de quem entrou nessa jornada.
7:27
É comedor de hambúrguer. Se eu não quiser experimentar em
7:30
cima disso e só quiser mostrar uma jornada com comedor de
7:33
hambúrguer, eu ponho lá No No faster, naquela remote config
7:37
que responde o que o time quer, 11 condição lá que vai ser a
7:44
primeira que quiser comedor de hambúrguer.
7:46
E aí eu coloco o que eu quero que responda pra comedor de
7:48
hambúrguer. E aí todo mundo que fizer o sync
7:52
na hora que tiver chegando na jornada, ele vai falar comedor
7:54
de hambúrguer. Ah, e quem não é comedor de
7:55
hambúrguer? Aí cai pra todo o resto, né?
7:58
Então. É muito interessante ver como
8:03
isso habilita zona de criatividade, isso habilita
8:08
oportunidade de crescimento para o negócio.
8:11
Isso habilita é uma melhor compreensão das coisas que você
8:17
constrói também no final das contas, né?
8:19
EE? Se não quiser experimentar e só
8:22
ficar brincando, usar pra Roland, usar pra.
8:26
Pra modo pânico, sabe? É tipo assim, Ah, deu um
8:28
problema, eu tenho uma remote config lá do problemão, aí você
8:31
pode ir lá e fazer, sabe? Então é é muito louco pensar
8:34
isso. EEE, ver como uma coisa que é
8:38
uma plataforma, tipo assim de engenharia dentro de engenharia,
8:43
é utilizada pelas pessoas de produto em engenharia,
8:45
obviamente, mas que tá lá tentando responder um problema
8:49
de negócio, né? Então o isso é uma coisa que me
8:53
fascina muito. É, eu sempre brinco que o
8:57
demorei 2 anos, mas voltei ao fester porque eu lembro quando
9:01
eu tava subindo as primeiras os primeiros testes das cidades de
9:06
édes, né? Quando eu tava começando a
9:08
operação EE. Eu nunca esqueço que eu fiz uma
9:14
feature lá, tipo, eu não fiz, né?
9:16
Eu solicitei uma feature porque ainda não tinha melhorado o
9:19
módulo de seleção de cidades. Então usava a regra de polígono
9:25
e aí você podia botar uma cidade ou você podia botar multiplas.
9:29
Só que sabe como você botava multiplas?
9:31
Você pegava um kml, né? Que é o código lá de que tem a
9:35
cidade e a cidade. Você jogava num DOC, você
9:37
copiava e copiava no faster. E aí na época eu tinha que subir
9:43
50 cidades na unha, né? Imagine a Alegria.
9:47
E aí eu lembro que eu. Eu que já tinha um pouco de
9:52
conhecimento de debulgar site assim, eu lembro que eu entrei
9:57
no fester, aí eu abri lá, eu fui selecionar a cidade, eu abri OAA
10:01
rede lá, o neto cliquei onde aparecia lá, poligno cliquei e
10:05
vi. Então pera aí, quando eu escrevi
10:07
a cidade Gravataí apareceu aqui, Gravataí Hum, tá guardado em
10:12
algum banco. Aí eu lembro que eu abri um
10:14
suporte pro time do fester. Eu falei, gente, como eu pego
10:16
isso? Porque eu preciso fazer 50
10:18
cidades. Aí o pessoal me deu acesso ao
10:21
API do polígono, eu tinha o post na embaixado e eu ficava batendo
10:25
ali, ó, escrevi o nome da cidade, batia, batia, copiava e
10:27
colocava copiava. Foi muito mais rápido, né?
10:30
E aí o fizemos o teste. Obviamente eu adicionei cidades
10:37
erradas, porque esse processo ele é bem, né, ó o risco disso
10:41
aqui, né? Aí eu lembro que eu pedi uma
10:43
feature que eu mandei galera. Eu sei mexer no postman, mas eu
10:48
não sei se todas as pessoas de produtos sabem mexer no postman.
10:51
Será que a gente deveria pensar em algo para facilitar isso?
10:54
Porque a grande maioria dos testes devem acontecer, né?
10:57
Quem geralmente está criando um teste é uma pessoa de produto.
11:00
E aí saiu a feature. Ele tá em tanto de segmentação,
11:04
audiência, teste, experimentação, como você falou,
11:07
mas é o fast. Ele é mais o quê?
11:13
Uma plataforma de experimentação.
11:17
E como que que você separa essas camadas de plataforma de
11:22
experimentação, plataforma de dados, plataforma de engajamento
11:26
e mensageria? Como que isso é olhado e
11:31
separado ali? Oo gatás.
11:34
Eu acho que assim ele ainda assim e sempre será esta
11:40
plataforma que te permite todas essas coisas.
11:45
E o que fica muito nítido é quando você começa a usar ele de
11:49
maneira isolada, que assim, quando você começa a usar ele de
11:52
maneira isolada, por exemplo, Ah, eu quero só fazer um
11:55
experimento. Aí você faz um experimento, só
11:58
que você esquece, você faz um experimento nu e Cruz, sem botar
12:01
nada do módulo de audiências. OK, você pode aumentar a
12:05
amplitude do teu teste, mas às vezes você é a área de gourmet,
12:10
que existe um comportamento muito claro de compra ali.
12:14
Você não deveria estar testando somente com pessoas que tem um
12:16
comportamento de compra, de gastar x reais, por exemplo.
12:21
Putz, isso potencializa, né? Ah, você vai lá e está usando Oo
12:29
módulo de dados. É pra parte de não de analítica,
12:34
mas pra parte de geração de audiência.
12:37
E você só está usando essa audiência.
12:40
Pra bater em APIE, ficar atualizando quem está naquele
12:43
módulo ali pra lá na frente você coletar.
12:46
Ok, você você está lá usando isso.
12:49
EE olhando suas análises com isso, mas se você só está
12:52
analisando, né? Óbvio que a gente precisa ter um
12:55
tempo pra ter uma maturidade de fato falar isso é isso aqui é,
13:00
pô, você já está esse tempo observando todo esse essa
13:03
identificação dos usuários. O que que você está fazendo a
13:06
respeito para mexer o teu negócio com esses usuários que
13:09
você está observando? Será que não está na hora de nem
13:12
precisa fazer o teste, mas só começa a mostrar uma coisa
13:15
diferente para esses usuários? Vai lá naquela remote config e
13:17
altera, sabe? E começa a jogar ali.
13:22
Então você começou a misturar OA parte de audiências que chamam
13:26
entit hub com remote config. Então, tipo, ele funciona muito
13:32
bem de maneira complementar, mas ele também funciona muito bem de
13:34
maneira modular. Né?
13:36
Mas o charme tá na junção de tudo.
13:40
Quais são os perfis de time que conseguem extrair mais valor do
13:45
fester? Olha, essa pergunta é para me
13:49
queimar com o stakeholder, né? De brincadeira à parte, eu acho
13:55
que assim, o iFood ele tem, né? As grandes áreas de.
14:06
Tanto o iFood app consumidor quanto o iFood pago quanto,
14:11
anota aí, portal do parceiro de fato, hoje a nossa grande
14:19
potência é a área de iFood consumidor.
14:25
Eu vejo que todos esses times eles estão usando muito bem.
14:31
Óbvio que às vezes o eu sou consultado pelos times pra falar
14:35
Ah, isso deveria ser isso, deveria ser aquilo que no final
14:37
acaba sendo dificuldade nossa de de deixar muito evidente essas
14:45
coisas, às vezes no linguajar menos técnico.
14:49
E isso é um grande desafio que eu tenho como produto.
14:52
Assim, de tentar usar o termo democratizar AO entendimento.
14:58
Já fiz algumas Apresentações com apoio do pessoal da chapter,
15:01
tudo para falar galera desmistificada, é isso aqui ó,
15:04
eu não vou falar nenhum terminho técnico e vai, né?
15:08
E eu acho que realmente é dentro dessas áreas.
15:11
Tem times que estão voando assim que você fala meu, a galera da
15:14
home assim concentra quase que 80% dos ou mais até eu.
15:20
Eu estou com dado desatualizado, olha que trecho PM com dado
15:23
desatualizado, mas. Entre 80 e 85% dos experimentos
15:27
que acontecem no iFood. Cara, tipo assim, por isso que a
15:31
gente tinha 11 menina no time, a Bia.
15:34
É que ela ela ela era muito boa de experimentação, e ela ela é
15:39
da parte de dados do do time do faster.
15:41
Agora ela tá em outro desafio, mas ela sempre falou assim, meu,
15:45
todo mundo aqui, pega o celular, abre a home, cada um tá com uma
15:48
home, cara. Tá distribuído, né?
15:51
E vai aprendendo com isso. Então é, é, é muito massa assim,
15:54
acho que é. É tão interessante pensar, né,
16:01
que um Monte de protocolo, Jason, com essas quebras vai
16:04
terminar sendo isso. Então eu diria que é o time de
16:08
consumidor. Hoje eu dou parabéns pro time da
16:12
home. O time da home é muito Maduro,
16:14
eles têm reuniões sobre experimentos, eles eles discutem
16:17
o que é, vou alterar um componente aqui tá todo mundo de
16:22
acordo vai, acerta e Tera EE, aí a home vai se tornando o que O
16:29
Que Ela É hoje assim, né? Então eu dou muito parabéns por
16:31
esse time. Tem um time que tá começando a
16:35
ficar cada vez mais. Mais madura assim,
16:38
experimentação que você começa a ver assim.
16:40
É legal ver as discussões que o pessoal levanta.
16:44
Galera de grouchers, né? Oo mercado meu.
16:49
Tem uma turminha lá que eu eu fico vendo lá as discussões que
16:52
o pessoal tem assim, e a galera pega os dados que a gente
16:55
mostra, baixa a galera com uma maturidade também do tipo criei
16:59
o experimento, eles na verdade, só vem conversar com a gente
17:02
pelo menos 14 dias depois. Não é aquela ansiedade de mexer,
17:06
sabe? Então eu tô vendo assim, AOA,
17:09
maturidade e o letramento analítico na empresa também
17:12
aumentaram assim. Então isso é muito legal assim,
17:14
porque no final das contas, esse entendimento de você ver uma
17:20
flutuação num dado e aí você lembrar de todos os experimentos
17:25
similares que você fez e perceber que, na verdade, essa
17:28
flutuação é uma. É uma flutuação isolada
17:32
estatística, e não é. Um grande plano no teu teste.
17:36
Quando você olha 80 testes, aí você fala, não, olha, esta
17:39
pessoa tá manjando muito, sabe? Então é legal ver, tipo assim,
17:43
eu fico realmente empolgado de ver a turminha.
17:45
Eu comecei também a encher o saco da galera, no bom sentido
17:49
de tem uma professora de estatística da USP que ela grava
17:54
vídeos no YouTube. Aí eu mando lá no canal da chapa
17:56
e falo, gente, começa a assistir a Diva, Mano, ela manda muito e
18:00
aí ela tem vários vídeos, não sei o quê.
18:02
O então é, é legal isso EE participar disso, sabe?
18:08
Isso o iFood cresce, passa pelo faster.
18:11
É esse crescimento. O que que significa isso na
18:16
prática? Loop de crescimento para um time
18:22
que acorda amanhã com uma nova hipótese para testar.
18:26
Perfeito, acho que assim, quando a gente pensa.
18:32
Porque a gente está modificando algo.
18:36
Porque, querendo ou não, quando você faz um experimento ou só
18:42
faz uma, né, só faz uma alteração, sem querer orar, do
18:45
dado. De todas as formas, você está
18:48
alterando um comportamento que você quer ver.
18:50
Se você vai conseguir alterar um comportamento que ele já se
18:52
tornou padrão, né? Só que assim, alterar
18:55
comportamento num aplicativo. Que gera pedidos e por
19:00
consequência, lá no fim do mês, gera lucro.
19:06
A gente tá fazendo esse crescimento da empresa, né?
19:11
Oo que a gente tem que ter muito claro.
19:14
Assim é que quando a gente pega as grandes empresas que
19:18
experimentam. E aí eu vou pegar o exemplo só
19:20
de experimentação aqui, não, não das outras áreas.
19:24
Mas é muito louco, né? O experimento que se não tiver
19:26
bem conectar com as outras, com as outras módulos do faster, ele
19:30
perde um pouco o seu, né? O seu charme.
19:32
Quando eu brinquei, é, pensa assim, lá atrás, Oo Google, eles
19:39
fizeram um teste que todo mundo fala, o famoso teste dos 50 tons
19:44
de azul. E foi quando você entra lá no na
19:49
no buscador do Google. E você escreve uma palavra e
19:52
você vê o azul do anúncio um pouco mais forte que o azul das
19:58
outros dos outros links. Foi proposital?
20:01
Porque quando eles fizeram esse maldito teste, 200000000 de
20:06
dólares em receita. Tipo assim, um teste, 200000000.
20:10
Se o iFood chega a 10000, 15030 1050 1000 testes, imagina a
20:16
quantidade de receita que pode dar?
20:18
E, óbvio, tendo muito claro que nem todo teste vai responder à
20:21
hipótese, nem todo teste vai gerar dinheiro, mas quanto mais
20:26
você se se joga nessa ideia de testar para além de ser
20:31
divertido como pessoa de produto?
20:33
Que Mano, você tá toda hora ali, tá, tá, tá, tá, tá né?
20:35
Fazendo várias coisas vendo ali growft, tipo assim, você tá
20:38
fazendo crescimento assim. Só que você quando você consegue
20:41
perceber que o crescimento que você faz não é só um crescimento
20:43
naquela métrica que você queria mexer com, sei lá, é a interação
20:46
componente. Mas depois você vai ver aquela
20:48
interação com o componente, terminou virando um pedido.
20:51
E aí quando vira um pedido, um restaurante está ganhando uma
20:54
parte daquela, daquela transação.
20:56
E aí tem uma pessoa fazendo aquela entrega.
20:58
E aí se ela conseguiu fazer uma entrega, ela está conseguindo
21:01
fazer mais, né? Está conseguindo fazer mais
21:03
dinheiro Pra Ela, Pra Ela conseguir na quarta-feira
21:05
retirar e poder pagar, né? Pagar 11, comida pra família
21:10
conseguir pagar 11. Hum, né, as contas, né?
21:15
Então você está participando todo esse ecossistema assim,
21:18
você fez um negócio que gerou pedido, quando gera pedido, bate
21:20
no restaurante, quando bate no restaurante, ele chama o
21:22
entregador, quando chama o entregador, ele entrega na cara
21:24
da pessoa, a pessoa fica satisfeita, ela fala e fala,
21:26
beleza, eu vou voltar para o iFood.
21:28
Então, quando você olha essa loucura, você vê que é muito
21:35
massa, tipo assim, é é muito louco ver o potencial disso,
21:38
assim como e aí? Entra o lance do.
21:42
Analíticas, né? Quando você fala de identificar
21:47
jornadas com analíticas, não é só usar para o experimento, pô,
21:52
usar aqui com analítica não é só para mensageria, vamos conectar
21:56
tudo, usar de maneira completa o fast.
22:00
O que, o que significa identificar jornadas com
22:04
analíticas no dia a dia do time? Qual que é o caminho típico é o
22:10
instrumentar, observar e agir. Que é falado?
22:15
Boa assim. São 8 bilhões de eventos por dia
22:20
que a gente processa, tá? E esse número eu posso falar.
22:31
Eu vou até depois pegar o slide para ter certeza que eu não
22:34
estou espalhando fake news, mas é um número grande.
22:38
Mas assim, os times hoje eles são responsáveis.
22:42
Porque assim como a gente é plataforma, o time vai definir o
22:45
que é o evento dele, tipo assim, o evento de analítico.
22:47
Eu não vou decidir nada, né? Então o time vai lá e cria, eu
22:53
vou inventar qualquer coisa aqui, mas o time lá, então eles
22:57
têm. Essa é um time de eu sou um time
23:02
da tela do da da conta, do do usuário, então time de account.
23:06
E aí eu crio um evento pra saber é.
23:12
O eu tô pegando um exemplo muito distante pra abstrair e eu tô
23:16
aqui fazendo o desenho da minha cabeça.
23:18
Mas imagine que você tá lá na tela de account e você tem é 5
23:22
botões, por exemplo, você poderia criar um evento nome,
23:27
clique account e no e você também define é alguns
23:32
parâmetros desse evento, então, por exemplo, evento position, aí
23:36
você vai saber qual se foi o clique, em qual posição e o
23:39
outro seria é, sei lá. Hum, Ah, esse exemplo bem
23:44
simples vai pra eu não porque eu tô devaneando aqui.
23:46
Então imagino que você entende que quando uma pessoa clica na
23:51
tela de account, de fato a primeira posição é a posição que
23:56
gera mais cliques e a última posição é a que gera menos
24:00
cliques. Quando algum time de privacidade
24:05
ou algum time é precisa colocar alguma coisa na tela de account?
24:10
Você entende que você está tornando a primeira posição, a
24:12
mais disputada, e aí você tem que, na verdade, colocar na
24:16
mesa. Todos esses times estão pedindo
24:17
pra você colocar uma coisa no teu road map, de adicionar uma
24:22
nova linha nessa discussão e falar, gente, hoje a primeira
24:26
posição, ela representa 85% dos cliques na nossa tela.
24:29
Vocês estão me pedindo 30 coisas.
24:32
Dessas 30 coisas, qual a que tem mais probabilidade de fazer
24:35
receita ou a que é mais crítica juridicamente?
24:38
Qualquer coisa. Quem que vai ganhar essa
24:41
posição? E aí você pessoa de produto,
24:43
você não precisa mais virar aquela pessoa chata, você está
24:45
virando a pessoa que está colocando os os números na mesa
24:49
pra discussão, ficar inteligente no sentido é de tipo assim, é
24:56
uma discussão que vai ser interessante assim, tipo, você
24:59
vai ver um time defendendo defender porque ele quer ali o
25:02
outro time tá, tá, tá, tá. E aí você você como produto,
25:05
você vai fazer aquele exercício de trade off na frente das
25:07
pessoas e você vai virar pra pessoa e falar, olha.
25:10
Você está me dizendo que o botão do de desligar os pedidos de CRM
25:16
deveria ser em primeiro? Porque hoje a gente está
25:19
recebendo pelo −30000 e mails por dia das pessoas reclamando
25:23
pela quantidade de mensagens ou coisas que a gente faz.
25:27
Ok? E aí o outro time é o time de
25:29
edes, que quer, sei lá, colocar alguma outra coisa ali na tela e
25:32
não sei o que. E aí o time de edes fala, olha,
25:34
isso aqui vai gerar tanto de receita.
25:37
Aí você fala, ó. 30000 usuários reclamando conta tanto de
25:41
receita. E aí, qual que é o é o dilema?
25:46
Qual que é o debate filosófico que a gente tem que ter agora ou
25:52
frustração de usuário? Olha que interessante isso.
25:56
Olha que perspicado assim, se eu colocar e aí você pode fazer até
26:02
um. Uma brincadeira com a galera
26:04
assim, tipo, se eu coloco a receita acima da frustração, o
26:07
que vai acontecer no longo prazo?
26:10
Ah, no longo prazo é isso. Ah, a gente tá em qual momento
26:15
do iFood? Assim a gente tá no momento que
26:16
o nosso market share é o maior e tudo bem.
26:19
E a gente faz o que a gente quer, embora não concorde com
26:23
essa decisão ou se o que aconteceria se a gente fizesse
26:29
isso e. Tivessem 2 grandes aplicativos
26:33
do vindos do mercado asiático com uma bolada de dinheiro com
26:38
colocando lá embaixo Oo preço, porque né, aquela coisa
26:42
realmente de dumping de mercado assim, tipo, tá, eu tô jogando o
26:45
preço lá embaixo justamente para as pessoas pegarem uma percepção
26:48
de que aqui é mais barato. Elas vão entrar quando quando eu
26:51
tiver com uma base consolidada, eu volto os preços antigos e a
26:54
pessoa já criou um comportamento.
26:55
Quando a pessoa cria um comportamento, é a coisa mais
26:58
difícil de trocar, então. Imagina que, tipo assim, eu
27:03
inventei essa reunião e espero que um dia ela esteja
27:05
acontecendo. Ela pareceu muito interessante,
27:07
tipo assim, ela apareceu muito sobre a gente, por meio da
27:11
tecnologia, tomar decisões difíceis.
27:14
E quando a gente toma decisões difíceis, a gente tá fazendo
27:17
dinheiro pra empresa, sabe? Então isso é o que eu acho
27:20
fenomenal assim. É a home de um aplicativo?
27:24
É. É a parte mais concorrida do.
27:28
Do. Do app, a pessoa de produtos
27:31
precisa estar ali falando. É o pessoal do marketing falando
27:35
não. A gente tem que colocar esse
27:36
banner primeiro aqui em que aí vem o pessoal do de de anúncios
27:42
falando não, gente. A gente fechou com a marca tal.
27:47
A gente tem que ter uma relevância que.
27:49
Tipo assim, em todas as empresas, a área que mais traz
27:52
dinheiro é anúncio, é o crédito carbono de todas as empresas.
27:56
E, de fato, como é um time que é pressionado por trazer dinheiro?
28:00
Tem essa velocidade que de trazer dinheiro que eu nunca vi
28:03
na história da minha vida assim, porque de fato, às vezes chegava
28:07
pedidos, tipo assim, chega uma conversa difícil.
28:11
No final do dia meu, a gente fechou uma campanha com marca x
28:14
ITA, né? Ela falou, espera aí, já fechou,
28:17
já fechou. Eu falei, ô louco, gente, tipo
28:19
assim, eu nem sei quanto que eu vou ter que argumentar com meu
28:23
time, né? Com time de engenharia que eu,
28:26
no qual eu trabalho junto. Que já fechou esse dinheiro,
28:29
tipo assim, você já está com esse dinheiro fechado.
28:31
E quando você fala que você está com esse dinheiro fechado, é
28:33
porque lá no seu seus force, ou lá onde você conta para alto
28:39
pelo alto escalão que o teu paipe está, já está fechado.
28:44
Está close. Esse dinheiro já está na cabeça
28:46
de todo mundo. Já entrou.
28:47
E aí você tem. Aí você entende o desafio da
28:50
pessoa de produto de Aedes, de tentar entender o que aconteceu?
28:53
Como que eu vou pegar isso aqui e talvez falar não prum dinheiro
28:57
que já entrou e tipo assim, e ele entrou filosoficamente,
29:04
porque ele só é um pai que ninguém assinou cheque ainda,
29:06
sabe? Mas quando eu estava lá no
29:08
começo. Que vi, né?
29:11
Me jogaram na cadeira de produto, narrar, eu falei meu, e
29:14
agora, como que eu vou aprender produto?
29:16
Será que eu faço um curso? EE, tento pagar esse curso com o
29:19
meu salário ainda, que é de operações, porque eu só cai em
29:22
produto. Eu ainda não fui oficializado e
29:25
aí eu comecei a YouTube e lá atrás eu conheci um carinha que
29:29
eu falei, talvez esse carinha, me ensine algo.
29:31
O nome dele é Liam bowling, ele era PM no Google Maps na época,
29:36
depois ele virou PM do gemina. E eu vi o conteúdo dele.
29:41
Ele falava sobre a diferença entre produto program e Project
29:45
manager. Ele falava sobre livros que você
29:49
deveria ler para você ter um pouco de Business, UX and tech
29:54
acchement, né? Que seria o conhecimento
29:55
acumulado disso. Esse carinha do Google me disse
29:58
uma vez quando eu tomei café com ele, porque eu descobri que ele
30:00
tinha um site que eu fui atrás dele.
30:02
No site dele, ele ele dá a mentoria.
30:05
E ele dá o jeito de mentoria mais legal que eu já vi na
30:07
história. Ele fala assim, me mande o
30:08
comprovante da doação para uma dessas entidades de Caridade, aí
30:13
você vai lá, faz a doação e aí você é liberado o Google, que é
30:17
o lembrar dele pra você falar com ele, olha que da hora.
30:20
E eu fui falar com ele que eu falei, meu, eu tenho uma visão
30:23
de machine learning aqui, eu tô tentando lá no Mercado Livre, eu
30:26
tô tentando convencer o meu diretor e sabe o que ele falou?
30:31
Ele falou assim, Do You think the Sun darpishay?
30:35
Ler os meus 15, meus 15 páginas da visão de produto.
30:42
Aí eu falei, caramba, mas e sabe o que ele falou?
30:44
Na verdade, você precisa de 3 coisinhas, o statement da visão
30:47
que seria. Ele falou Mano, uma frase
30:49
marqueteira da visão, faça geralmente muito linda.
30:53
Ele fala assim o contexto do problema e as métricas que você
30:56
quer resolver. E as pessoas tipo assim, ele
30:59
falou, geralmente você tem as pessoas certas para fazer isso
31:02
acontecer ou está faltando gente?
31:04
Em big tech, provavelmente você vai ter que mexer de 10 a 15
31:07
times, coloca os 10 a 15 times e você tem que vender muito bem
31:12
essa visão e essa ideia, porque sabe que você vai ter 10 a 15
31:16
times, que você vai ter que quebrar o road map deles.
31:19
Quando você quebra o road map deles pra eles fazerem isso com
31:21
você, eles vão ter que frustrar os stakeholders deles.
31:26
Você entende a loucura? Tipo assim do desenho?
31:28
E aí ele fechou com a frase que eu sempre achei muito bonito
31:30
assim. Gestão de produtos não é sobre
31:33
produto ou tecnologia, é sobre fazer dinheiro pra sua empresa
31:36
com melhor time. E eu falei, caramba, é fazer.
31:41
Dinheiro, entendeu? Como funciona a audiência e a
31:44
segmentação? No fester, quais tipos são, são
31:47
como é comportamental, é demográfica, é por histórico, é
31:52
como que é feito isso. Sobre a parte de audiências,
31:55
novamente os times são responsáveis por definir as suas
31:58
audiências. Isso significa que vira uma
32:01
feira da fruta, né? No sentido, cada um faz o que
32:03
quer. E aí a gente tem Os Guardiões do
32:04
bom senso, que existe um time aqui de profiles, que geralmente
32:09
são esses cientistas de dados e analistas de dados que eles são
32:13
responsáveis por pegar. As ideias e tangibilizá las na
32:18
plataforma do faster. Então é, eu realmente brinco com
32:20
eles. Eu falo, Mano, vocês são Os
32:21
Guardiões do bom senso. Tipo assim, se o time está
32:23
falando de fazer um negócio e você olha para essa audiência e
32:25
você vê aquele cálculo, fé, Mano, e fala Mano, esse cálculo,
32:28
fé Mano. Aqui já, já rolou, gente, vocês
32:30
deviam estar usando essa audiência para o seu teste.
32:33
Então Os Guardiões do bom senso é esse time de profile.
32:37
Aí um grande abraço pro jims que já não tá mais lá, pro segura,
32:40
pro risão, pro John. Essa é a galera que eu sempre
32:44
tenho ótimas discussões com eles.
32:45
E quando a gente fala de descentralizar audiências, que é
32:49
o que a gente chama do conselhão, ali eu viro e falo,
32:52
galera, se a gente descentralizar a audiência, a
32:55
gente vai cair No No, no grande dilema do índice de jacar, que é
32:58
a distância entre os 2 pontos. Quando a gente fala de jacar que
33:02
que vai acontecer? Todo mundo começa a fazer um
33:03
Monte de audiência. Imagina um Monte de bolinha ali?
33:05
Aí tem uma bolinha muito perto da outra, você está gastando
33:09
dinheiro de recurso de cloud para armazenar aquela bolinha e
33:12
aquela outra bolinha, sendo que elas são quase a mesma coisa.
33:15
A distância delas é tão pequena que você nem enxerga.
33:18
E aí que vem AA ser o guardião do o guardião do bom senso das
33:23
audiências, tipo assim, galera, vocês estão criando coisas muito
33:26
parecidas. Logo, se vocês estão criando
33:28
coisas muito parecidas, porque vocês não criam juntos a mesma
33:31
coisa, sabe? E isso é o índice de jacar.
33:35
Distância entre os. Pontos, ô, ô, gatás.
33:40
O que muda No No comportamento dos times quando eles passam a
33:45
operar com com esse loop de de de crescimento é de forma
33:51
contínua, porque é os PMs do iFood tem sorte, tem sorte, não
34:00
tem o privilégio de ter o fast, né?
34:04
Sim, não é toda empresa que tem. E qual que é a mudança?
34:07
É você. Você mencionou sobre quando você
34:09
cria um comportamento, é difícil é essa pessoa sair, né?
34:15
Do do produto, do, do, da jornada, enfim, ali.
34:20
E o faster, querendo ou não, ele cria comportamentos nos times,
34:25
ele muda comportamentos. O que que muda?
34:30
Você já percebeu alguma mudança em times que antes não, não, não
34:33
usavam fester. E quando começaram a usar o
34:35
fester, eles mudaram o comportamento dado esse loop de
34:39
crescimento? Você acabou de dar uma ideia
34:42
para para eu fazer e pesquisar, porque eu ainda não tinha olhado
34:46
isso. Quando eu falo com as pessoas,
34:47
nossa, xode, você me deu uma Bela ideia agora.
34:52
Porque assim o eu voltei, não tem nem um ano, né?
34:55
Tipo assim, e eu não Era Eu não, eu não conhecia o fester a
34:58
fundo, como eu conheço nesses abril dá um ano, enfim, tô quase
35:03
dando um ano de fester, ou então ainda tô pegando coisas assim,
35:07
tipo, às vezes eu vejo uma coisa, eu tenho, eu tenho que
35:09
chamar algum engenheiro, parar ele pra falar alguma engenheira,
35:12
é pra parar e falar com ela, é, eu tô pegando ainda, né?
35:17
O mas você acabou de dar a maior ideia de provar a importância do
35:21
letramento analítico. A importância disso.
35:24
Obrigado. Você fez uma vai sair um grande
35:28
PPT sobre a importância do faster aí, ó, obrigado o.
35:32
Faster, nada mais. Nada mais é do que uma
35:35
plataforma é enembler, digamos assim.
35:39
Invisível, digamos assim, é o que que é mais difícil engatar
35:44
em construir. Uma plataforma ragnóstica para
35:48
tanto produto e contexto, o que que é mais difícil é a é o
35:51
alinhamento entre todo mundo. Eu diria que o mais difícil é a
35:59
gente segurar a ansiedade dos da galera que a gente tá pedindo um
36:14
pouco de paz. Porque como que começa 111 ideia
36:20
no faster? A gente tá toda hora conversando
36:23
com os times, né? Tipo, pegando oportunidades.
36:25
E quando a gente vê um time com uma dor muito latente, que de
36:27
fato o faster conseguiria resolver e o faster ainda não
36:30
resolve, a gente começa com esse time cobaia e aí o time cobaia,
36:37
por exemplo, a gente, a gente fez uma funcionalidade, agora
36:39
não vou entrar em muitos detalhes, mas com o tipo de de
36:42
de logística na parte de drivers ali de aquisição.
36:46
EEE pronto. Começamos ali a ansiedade de
36:51
outros times que sabem que que estamos fazendo essa
36:54
funcionalidade é muito grande, porque eles já querem usar
36:57
aquilo. E a gente fala, gente, tá
36:58
começando aqui, tipo, eu sempre faço, eu faço a piadinha assim
37:01
com a galera. Eu falei, gente, a gente tá no
37:03
Betinho ainda, entendeu? A gente tá no nosso beta, a
37:06
gente tá aprendendo, a gente ainda não tem nem chão pra
37:10
construir a visão, sabe? Então.
37:15
A gente tem que segurar muito assim, tipo, às vezes eu sou
37:17
envolvido em grupos de não de WhatsApp, grupos de slack, 8 da
37:22
noite para falar daquela ficha que o pessoal quer acelerar.
37:24
E eu falo, gente, não tem como, tipo assim, e eu tenho que ser
37:28
duro com os times, sabe? Porque?
37:30
Assim, se se eu estou começando ali nesta área pequena, mas eu
37:34
já vou desenvolvendo o capability cross, que tipo
37:37
assim, quando o outro time pedir é só é só empurrar ali é só é só
37:40
ligar. No final das contas vai dar
37:43
certo. Né?
37:44
Mas é muito tipo assim, é muito difícil isso.
37:48
Sabe por quê? Porque o iFood quer quer
37:50
realmente fazer acontecer. E, por exemplo, essa feature que
37:54
eu te falei antes, a gente tinha pensado ali em já e já mostrar
37:59
pro outro time, só que No No, depois eu falei, meu, tá
38:02
começando, não faz sentido, mas e se a gente deixasse a porta e
38:08
torcer o rabo pra gente ver se tem realmente uso naquele outro
38:12
time? Tem tanto uso que a outra área
38:16
já fez 5 gambiarras autorizadas, obviamente, mas com essas
38:22
gambiarras elas ainda não estão 100%.
38:24
Cross só funciona pra experimentação, tem que
38:26
funcionar pra parte de promoção e pra parte de CRM.
38:31
Você não acha que é muito mais fácil agora Oo gattaz e o
38:34
Rodrigo Teixeira, que é o Andrey, manager dessa parte,
38:37
chegar nos times de plataforma de promoção ECRM?
38:42
Ei, tem os 5 casos de uso dos gambiarrentes que representam
38:46
tantos milhões de receita e não funciona nos teus sistemas.
38:52
Vamos fazer acontecer, porque assim pode ser que enquanto a
38:57
gente está tendo essa conversa, pode estar surgindo a sexta, a
39:00
sétima, porque como as pessoas conversam pelo slack, se um
39:04
descobre que o outro conseguiu a gambiarra, o outro descobre, o
39:08
outro descobre. Dito e feito, a gente já está em
39:10
7 gambiarras agora. Isso aí e eu tô aqui negociando
39:17
rede aberta para natcosta, Bianca Cruz, Dênis Castanheira,
39:23
Vítor Ávila, Mateus Santana. Vamos fazer aquela feature cross
39:27
que eu tô falando? É isso.
39:30
Ele. Ele simplesmente cobrou as
39:32
pessoas do iFood aqui. É inacreditável.
39:35
Isso aqui vai virar corte e eu vou postar, é?
39:41
É como que como que você, você é e as demais pessoas do time
39:47
decidem o que vira capability de plataforma e o que fica com cada
39:52
time de produto. Às vezes pode ser que eu vou
39:57
pegar um exemplo que está acontecendo agora, tá bem por
40:00
cima, assim como faster. É o coração dos dados.
40:04
A gente joga os dados de eventos, EAE as audiências,
40:08
barra tributos. Nos providers que os times de
40:11
marketing usam pra fazer compra de mídia, No No lá fora né?
40:16
Aquisição de usuário é consideração e conversão.
40:20
Mas não é o time de ades, é o time de growff que traz o
40:23
usuário pro app do iFood. Hoje a gente faz isso numa
40:27
integração que todo mundo faz quando a empresa é grande, que é
40:30
o server to server, o nome dessa desse produto, né?
40:33
A gente brinca que é o router, que ele tá roteando dados, né?
40:36
Pensa num canivete suíço que conecta com qualquer provider.
40:39
Assim, basta a gente saber se a gente quer aquele provider e se
40:42
a gente quer pagar a conta de usar o provider.
40:44
Essa, essa, essa o raciocínio que a gente tem que ter.
40:47
A gente joga de server to server, mas tem outras formas de
40:50
você jogar dados num provider. Você pode jogar via eventos do
40:54
app com o SD k daquele provider que geralmente você tá fazendo,
40:58
na verdade action, bast Ads. Então tipo assim, a pessoa tá
41:01
interagindo o real timery. O fester não deveria talvez ser
41:05
responsável por isso. Por enquanto vamos ver como o
41:08
time vai usar isso, vamos ver o que a gente aprende com eles e
41:10
aí talvez a gente possa pensar, será que isso faz sentido estar
41:13
dentro do router, que é o provider, que é o broker dos
41:16
providers? E essa vai ser a discussão legal
41:18
que eu vou ter com o Rafa Soares, que é o nosso engineer,
41:20
manager disso, entendeu? Então a decisão, ela é muito
41:25
mais em observar o seu entorno. Ver se já faz sentido a gente
41:30
que está começando com esse produto trazer mais um capa bit,
41:33
que não é o nosso core por enquanto, e deixar tipo assim, é
41:37
muito importante aceitar que às vezes a gente não vai abraçar o
41:41
mundo. EE talvez um dia abrace, deixa
41:45
baixo, sabe? E.
41:46
A gente está se encaminhando para o final.
41:48
A gente vai ter uma segundo episódio sobre fester, onde a
41:51
gente vai falar sobre mensageira aqui, o gatás de.
41:56
Já mencionou o nome das pessoas que eu vou vou chamar aqui.
42:01
E aí, ô, gatáz só pra gente. Dúvidas sobre sobre plataforma e
42:06
acho que é é essa, essa pergunta vai ser para o faster, mas as
42:11
pessoas que estão ouvindo quem trabalha com plataforma pode é
42:14
aprender algo que é quem manda nas decisões do faster.
42:19
Existe um modelo de produto de plataforma tipo?
42:23
Existe um road map, existe Discovery, existe priorização ou
42:28
é diferente? Olha a gente, a gente tenta
42:32
fazer tudo dentro do dos moldes do iFood, dos planejamentos
42:36
estratégicos, assim. Então, tipo, uma coisa que eu
42:38
converso muito com a Raquel às vezes é, pode, a gente tem que
42:43
construir OOA. Nossa, o que que a nossa
42:47
caixinha do que vai tanto entre? Oportunidades que a gente do
42:52
faster captou conversando com os usuários EE os e os times alta
42:58
liderança, assim, tipo eu, eu, eu gosto muito às vezes de virar
43:01
pro pro pro diretor de produto, de da parte de fudelir e chamar
43:06
ele e falar, Mano, qual que é a visão da tua área?
43:07
Aí ele fala, não, não, vamos chamar os times pra mostrar, aí
43:10
eu vou olhando ali, tá, olha todo mundo e fala, ó, faster, já
43:13
atende tudo, tá bom? Não, não tem coisa nova, eu faço
43:16
isso assim, vocês já, vocês já vão conseguir isso.
43:19
Então a gente separa muito entre essas oportunidades que a gente
43:21
vai caçando coisas que são direcionar o total do iFood.
43:26
Assim, tipo, o iFood está no momento de é redução de custos
43:31
de Infra, por exemplo, a gente fala abertamente como fazer o
43:38
iFood mais barato, cara, vai ter um Monte de feature, custo de
43:42
Infra de cloud, tipo assim. eSIM, isso não é gerar receita.
43:45
Diretamente, porque a gente tá fazendo de despesa operacional,
43:48
mas se a gente de reduz o despesa operacional, sobra mais
43:50
receita ali. Então Bora, né?
43:53
E quando vem alguma coisa, tipo assim, a prosos veio falar com a
43:57
gente, EEA, gente vai lá e faz, sabe?
43:59
Tipo, então você você entendeu o que é tipo um grande balancete
44:04
dessas coisas e novamente, tipo assim, não, não pode ser, é.
44:09
A ideia de que temos que decidir tudo é é entender se às vezes
44:14
aquela decisão que está vindo é o que vai ser o melhor para a
44:19
empresa, sabe? E aí, tipo de fato, o que é
44:23
legal do iFood, que acontece em planejamento estratégico e vai
44:26
rolando esses tempos, é entender assim que vai ter momento que
44:32
vai ser só 15% das nossas ideias e todo o resto direcional da
44:36
empresa, direcional do, né? Da empresa holandesa que coloca
44:41
dinheiro na empresa, nossa, sabe?
44:43
E aí você vai vendo assim, Oo que eu não gostaria é chegar num
44:50
ponto que a gente nunca mais está conseguindo ouvir as
44:53
pessoas que estão usando o produto.
44:54
Isso é só 1%. Então o até o que a Raquel
44:59
quando me contratou, falou, ela falou, eu quero que você seja o
45:02
contraponto. De engenharia que você vai, às
45:06
vezes você vai ser contra mim, contra os meus pares, pra gente
45:10
garantir que a gente está fazendo o produto.
45:13
Então rola isso. Isso que eu acho muito legal.
45:15
Tanto que a gente brinca que chama Raquel de nona.
45:18
É a nossa nona, nossa rede de engenharia.
45:20
Então, esse foi o episódio sobre faster, a plataforma secreta do
45:25
iFood, que faz o iFood, né? Mas é a plataforma que faz o
45:35
iFood crescer exponencialmente. Não sei quem fica nossa, mas
45:39
como que o iFood cresce todo mês?
45:43
Uma das explicações é faster. Gatas.
45:47
Muito obrigado pelo seu tempo. Muito obrigado por ter
45:50
compartilhado sobre essa plataforma mega importante do
45:55
iFood. E eu conto com você mais vezes
45:58
aqui No No no PG. Conte comigo e como eu vou fazer
46:02
mestrado vamos ter muita coisa para conversar, porque o meu
46:04
mestrado vai ser sobre a ressignificação da escrita do
46:08
software a partir do Lars language model.
46:11
Bom, bom, bom. E também eu vou querer ver OPPT
46:18
gigante sobre o que? O que mudou no comportamento dos
46:23
times de produtos do iFood com fast, um estudo antropológico.
46:29
Sobre o comportamento, então, é. Antropologia das cidades ou das
46:34
empresas, no caso, é isso. É isso?
46:37
Beijos, tchau. Fui.