Latest / Product Guru's : Produto | Negócios | Carreira / Como a XP Inc faz centenas de testes num setor altamente regulado

Transcript

Como a XP Inc faz centenas de testes num setor altamente regulado · Product Guru's : Produto | Negócios | Carreira

• 0:17
  Oi, tudo bem com você? Meu nome é paulus.
• 0:19
  Hoje você acaba de dar play no segundo episódio do programa,
• 0:23
  assinado pela XP ink em parceria com a pró juros, hoje vamos
• 0:28
  entender como AXP roda esteira olha aqui o termo bonito,
• 0:32
  esteira de testes, os tipos de testes que eles fazem, de que
• 0:38
  forma as comparações estatísticas para a tomada de
• 0:41
  decisão, ferramentas e preocupações com regula ações.
• 0:46
  Muita coisa a gente vai aprender hoje.
• 0:48
  E para a gente conversar sobre tudo isso, eu trouxe ao gay, que
• 0:54
  traz credibilidade para esse episódio, porque, se dependesse
• 0:58
  só de mim, você que já conhece o pré juras sabe que não vai dar
• 1:02
  nada aqui. Então Kevin está, está bem?
• 1:06
  Eu estou bem. Jorge, obrigado pelo convite,
• 1:08
  longe disso, de que eu estava a credibilidade.
• 1:11
  O PG por si só já é a credibilidade de produtos no
• 1:14
  mercado brasileiro, né? O que é uma coisa muito boa, mas
• 1:17
  estou super honrado. Fui feliz, está aqui com o
• 1:19
  pessoal. Vai ser um papo super legal,
• 1:21
  super bacana. Eu sou um entusiasta aí do
• 1:23
  assunto e do tema um aprendiz, então vou sair daqui aprendendo
• 1:27
  muito com essa turma muito fera aí, ó, quer ver você fazer?
• 1:30
  Há muito muitos testes e experimentações lá na exame, né?
• 1:33
  Isso na exame foi o período em que eu tive uma baita
• 1:36
  experiência, foi muito boa ali aquele momento e deu pra fazer
• 1:40
  alguns testes, algumas Experiment, ações, um produto
• 1:42
  super difícil, super tradicional, que é um jornal,
• 1:45
  uma revista, né, mas deu pra aprender um pouquinho ali também
• 1:47
  ou aí cê me ganhou muito dinheiro para os seus
• 1:49
  experimentos, é isso? Você quis dizer, acredito que
• 1:52
  sim, viu, hã, OK, enfim, o Kevin passou pelo exame hoje, está Na
• 1:58
  Na OLX é, senão parte de Minas de Zola.
• 2:00
  Então você que tá ouvindo esse episódio não está vendo, mas o
• 2:04
  Kevin está de coletinho, porque ele veio preparado para esse
• 2:08
  episódio, para esse programa. Então é isso.
• 2:23
  Apresentar a galera que está aqui com a gente deixa SP, sejam
• 2:26
  bem-vindos ao pra ti, Grossi, Bianca, Lucas, tácio e
• 2:30
  Guilherme. É o time classe a, né?
• 2:35
  Falaram, é isso, tá certo? É o que a gente mais tempo para
• 2:37
  fazer até tá certo? Livro, Os Vingadores de grof.
• 2:43
  Da x importante é que até quando você erra você acerta, né?
• 2:47
  Porque ô, começou bem. Mas tinha uma frase, achei uma
• 2:53
  frase, se se acha SP não fizer uma caneca com essa frase, eu
• 2:57
  sou um fandangos ou tá se tá certo né?
• 2:59
  Vocês são Os Vingadores da da experimentação aí na XPS, cara,
• 3:04
  eu. Eu vou pegar o gancho da Bidu,
• 3:06
  Lucas. A gente tenta bastante, cara, a
• 3:08
  gente tenta bastante, esse é o nosso mantra.
• 3:10
  Vamos tentar, vamos tentar tentar e tentar, então estamos
• 3:13
  aí eu, gay, é o cara que garante que as expectações e sejam
• 3:18
  certas, certo? Gui ou não é, a gente está aqui
• 3:21
  No No no apoio, né? Um para ser um agente
• 3:24
  transformador de de grupo, né? Então, o Pilar de engenharia
• 3:27
  forte aqui e a gente tenta, né? Como estás comentando?
• 3:31
  Então todo mundo está de mãos dadas, isso ninguém, ninguém
• 3:35
  solta a mão de ninguém aqui nesse episódio, tá bom?
• 3:38
  Então vamos começar o papo com a pergunta mais difícil que vocês
• 3:43
  vão responder na vida, olha só que responsa, qual é o que é o
• 3:46
  vai ser mentira, não vou fazer essa pergunta, o que é uma
• 3:49
  esteira de teste, porque isso é fácil.
• 3:51
  Qual é a história de vocês? Primeiramente, boa noite,
• 3:54
  galera, sou Bianca, eu sou aí o expert especialista daqui é da
• 4:00
  nossa parte de grupos de aquisição, né?
• 4:02
  Eu já trabalho com tecnologia 11 anos desde que eu era um fezes,
• 4:06
  tô brincando. Trabalho, tecnologia, 11 anos,
• 4:10
  eu tenho um background desenvolvimento, então era deve
• 4:12
  back end e aí eu comecei a trabalhar com o ex, fui para o
• 4:16
  ex design é depois. Agora eu me especializei em
• 4:18
  pesquisa, então já trabalho com pesquisa, sua pesquisa.
• 4:21
  Acho que uns 34 anos, mas eu já tenho 6 quase 7 anos.
• 4:24
  Dios já nessa brincadeira é, já trabalhei na Microsoft, já
• 4:29
  trabalhei no Itaú, já trabalhei no PagSeguro, já trabalhei com
• 4:31
  jogos para celular, né, tipo mobile, first play, então só vai
• 4:35
  pesquisa e o ex pra isso e hoje estou aqui na XP com esses
• 4:39
  maravilhosos. Com todo esse desafio de grof
• 4:42
  aquisição e trazer cada vez mais gente legal e qualificada para a
• 4:45
  gente. Ó, eu, eu fiquei, eu fiquei
• 4:48
  esperando ela falar, Maravilha, lindos, mas enfim.
• 4:53
  Quais são? Maravi lindo, olha só, vai lá
• 4:56
  pela lei de Deus, é o próximo. Eu sou o Lucas, eu sou o product
• 5:01
  manager aqui da, da escolha de testes dentro da XP.
• 5:04
  Eu meu background um mais que eu tenho maior conhecimento aqui é
• 5:10
  dados, né? Eu era especialista em digital
• 5:12
  na li ticks Ham, trabalhei por 7 anos, principalmente na
• 5:16
  indústria financeira, né? No No Itaú, o Santander,
• 5:18
  trabalhei numa startup também e naas por 2 anos e agora eu estou
• 5:24
  aqui na XP a 3 anos. E nesse último ano no espeto,
• 5:26
  atuando como PM da spa de de de testes, é testando muito,
• 5:32
  acertando menos do que errando, mas cada vez mais a gente evolui
• 5:38
  e conscientiza e espalha esse essa disputa.
• 5:41
  Bom para quem está nos ouvindo aí sou Guilherme, nascido virada
• 5:45
  em São Paulo. É muito curioso, apaixonado por
• 5:48
  tecnologia. Já estive no papel também, assim
• 5:51
  como a Bianca no desenvolvimento, mas no caso meu
• 5:55
  meu. No meu caso, não é mais de
• 5:57
  devedor from changed mesmo hoje estou liderando uma Squad grupo
• 6:01
  tecna chipe de hobbes, negócio de correr e sair com a namorada,
• 6:05
  ver filme e foi um resumo um pouquinho mais curto, mas é
• 6:09
  isso, ou homem romântico em ele ele é um homem, o último
• 6:15
  romântico ou seria ele o guia nossa Estrela de tela de nada
• 6:20
  que a gente não faça, que assim toda vez a gente fala que que o
• 6:23
  que faria nessa situação? Aí a gente vai, entende?
• 6:25
  É um negócio de lucro. No primeiro episódio, a gente
• 6:28
  teve a Roberta cavando o casamento.
• 6:31
  Agora o viajem havias Oo ia atualizações em do backlog aqui
• 6:37
  do casamento, tava lá como fato é isso.
• 6:39
  Não fala isso porque já estou, já estou enrolando.
• 6:41
  Já uns 6 anos. Então eu vi que vai me complicar
• 6:44
  aqui você, namorada do Gui caso queira que a gente levante 1#1
• 6:49
  campanha a gente faz o que? A campanha, não ele casa ali,
• 6:52
  não é bi, é que é o eterno romântico mesmo, é amor eterno
• 6:56
  porque nunca vai. A dinheiro, namorada do Gui?
• 7:02
  Estamos brincando. Namorada do Gui?
• 7:04
  Não, a parte do do que tem que casar, esse aí tem que casar,
• 7:07
  né? Tudo no seu tempo.
• 7:09
  A hora é agora, vai agora vai, ó l ó, então tá, vai lá, Estácio,
• 7:13
  boa gente, boa noite, todo mundo aqui também é, eu sou o tássio,
• 7:17
  eu acho que muito parecido com a Bia e eu já estou há uns 10 anos
• 7:21
  trabalhando com um pouco um digital com tecnologia, né?
• 7:24
  E desde 2016 eu sou 111 entusiasta de teste.
• 7:29
  Desde dessa época eu já trabalho com isso.
• 7:32
  É, poxa, já fiz bastante coisa dentro dessa disciplina e para
• 7:35
  onde eu vou? Eu gosto muito, muito de falar
• 7:39
  sobre isso. EEE levar um pouquinho que eu
• 7:41
  sei e tentar ajudar a todo o mundo AAA por testar mais e
• 7:45
  entender como é que funciona esse dia a dia aqui na XP junto
• 7:49
  com essa galera incrível aqui é, a gente tá tocando todo o nosso
• 7:53
  time de product group, tá? Então é isso aqui que a gente
• 7:55
  faz no nosso dia a dia e pegando o gancho do guia um pouquinho
• 7:58
  fundamento de mim, eu, além dos meus 10 anos aí de de de mercado
• 8:02
  digital. Da tecnologia, eu tenho uma
• 8:04
  curiosidade, maneira que que eu já tive uma vídeo locadora está,
• 8:07
  então eu sou 11 ai lander nessa nessa vida e eu vi-o, a gente
• 8:11
  criou um negócio, eu vi ele ruim e depois eu comecei a trabalhar
• 8:14
  com um produto, tá? Então eu acho que isso é bem
• 8:16
  maneiro. O gay e o tássio falaram de de
• 8:20
  hobbes óbvia, qual é o seu hobby?
• 8:22
  É sou meio chata, eu fico trabalhando, gosto da aula, mas
• 8:27
  além disso, além disso há eu gosto, eu estou num momento
• 8:31
  muito de sair, escutar música boa da voltinhas por aí.
• 8:36
  Mas eu jogo muito videogame também, gente, sou muito nerd
• 8:38
  Donna, jogo videogame para caramba.
• 8:40
  Já trabalhei com o videogame, é sou otaku, eu gosto de anime,
• 8:44
  então assim, aqui é só, né? Eu finjo, diz coladinha mas no
• 8:48
  final do dia, né? Uma nerd Ola, mas tudo bem.
• 8:51
  Fica bom no horário comercial. Eu falei ali mer e depois do
• 8:56
  horário comercial, r dólar Oo Lucas, que qual que é a sua
• 9:00
  hobby só pra é, eu sou bem viciadas em jogos online, né?
• 9:04
  Principalmente se dá pra ser alguma coisa competitiva, né,
• 9:07
  Ham? Mas ultimamente eu tenho mais
• 9:10
  focado em música, principalmente, estou estudando
• 9:12
  com mais de um é que eu gosto de tocar flauta transversal, eu
• 9:15
  gosto de cantar e também é eu gosto de fazer ou play, né, tipo
• 9:20
  jogos de interpretação e et cetera.
• 9:21
  Calma, espera aí, calma, calma, linha isso, pô.
• 9:26
  Parece que o Lucas não ouve o pródigo doce, né, cara?
• 9:29
  O cantor é novidade, então a gente nunca tinha ouvido essa
• 9:32
  essa novidade, mas vários cafezinho e que estaré CSS.
• 9:38
  A gente já fez o Joca tocar o bandolim dele lá No No evento, o
• 9:43
  Lucas vai ter que cantar aqui o Lucas dar uma palhinha aí,
• 9:46
  rápida. O não, não dá, é isso, essa
• 9:48
  parte não dá, né? Aí fica muito envergonhado a
• 9:51
  pessoa que já tem vergonha vai ficar mais envergonhada ainda.
• 9:54
  Você que está ouvindo, trabalha na XP, ouvindo, ouvindo isso,
• 9:59
  manda no slack lá da shpetim não sei, mas é loucas, canta pra nós
• 10:04
  numa reunião com Lucas, pede pro Lucas pra fazer uma palhinha num
• 10:08
  happy hour of a karaokê. Nada de barzinho mancha vai no
• 10:11
  karaokê e filma e marca a gente que a gente quer ver o Lucas
• 10:15
  cantor o já conhecemos Os Vingadores do de experimentos e
• 10:20
  testes da da XP, né? Sabemos agora a história de cada
• 10:24
  um. Todo mundo aqui é nerd.
• 10:25
  Dólar é gosta de cantar, gosta de música.
• 10:30
  É saber que gosta de dar aula, mas vamos para o tema, que é o
• 10:37
  que é, uma esteira de testes e como que ela é organizada na SP
• 10:42
  PUC SP. É grande, né?
• 10:43
  É o que é uma esteira de teste, porque muitas pessoas que estão
• 10:47
  começando na área ou é estão pesquisando sobre, pode se
• 10:52
  deparar com esteiras de teste, o que é e como que ela é
• 10:55
  organizada na XP? Eu a gente pode falar de maneira
• 10:58
  simplificada, é o sistema de teste, nada mais é que o
• 11:01
  processo. Você descobriu uma dor.
• 11:03
  É levantar hipóteses para essa dor, não é?
• 11:05
  E aí, de fato, você construir algo e testar isso, então eu
• 11:09
  acho que dando um tange Billy sandhu aqui, né?
• 11:12
  Putz, eu tenho ali 11 funil de aquisição, onde eu percebo que
• 11:15
  tem algum problema em algum lugar, eu vou lá.
• 11:17
  Entendo qual é esse problema usando dados, usando informação
• 11:20
  que o cliente me dá através de feedback, sou de NS et cetera,
• 11:24
  eu entendo também a dor das pessoas ali que gerem aquele
• 11:26
  produto a fim de levantar possíveis soluções e construir
• 11:31
  essas modificações no funil e colocar essa.
• 11:33
  Modificação em um teste onde é relativamente ela, onde ela é
• 11:37
  estatisticamente relevante e a gente ter esses resultados e
• 11:40
  conseguir averiguar os lifts, ou me me pareceu simples em Kevin.
• 11:44
  Cara, é esse. É.
• 11:46
  Esse é o pulo da questão. Esse é Oo pulo do gato shard,
• 11:48
  porque normalmente, quando a gente fala sobre testes e aí a
• 11:52
  gente começa a falar sobre a estrutura toda, tudo o que a
• 11:55
  gente tem que fazer, a gente fala sobre, poxa, análises
• 11:58
  estatísticas, normalmente as pessoas, como fala, porra, isso
• 12:00
  aí não vai dar em nada isso demora demais, isso é longo e na
• 12:03
  verdade é simples, cara, não tem, não tem, não deveria ter
• 12:07
  tanto segredo assim. A gente gosta muito de falar
• 12:09
  aqui dentro que é isso, é cara, como que a gente ouve o cliente,
• 12:12
  como a gente entende o nosso negócio e como a gente começa a
• 12:15
  pensar. De forma estruturada, quais são
• 12:18
  as hipóteses e desenvolvimentos que a gente pode fazer para
• 12:21
  tentar encontrar ganhos? Não é porque querendo ou não, a
• 12:23
  gente tem uma operação rodando e como a gente consegue maximizar
• 12:26
  isso através do no ao longo do tempo, passa por esse processo e
• 12:31
  isso sempre vai ser. A gente gosta de falar muito,
• 12:32
  né? A gente falou de esteira, mas a
• 12:34
  gente gosta de falar, pô, que é um fluxo extremamente contínuo,
• 12:37
  então como a gente vai descobrindo cada vez mais dores,
• 12:40
  como a gente vai encontrando cada vez mais oportunidades e a
• 12:43
  gente fala de de esteira, porque cara?
• 12:45
  Não tem muito como a gente fugir de e a gente vai falar disso,
• 12:49
  mas acho que ao longo da conversa, mas normalmente,
• 12:50
  quando a gente começa a montar o que a gente fala de histeria, de
• 12:53
  testes, a gente sempre vai olhar muito para o mercado.
• 12:55
  A gente vai fazer bem, te vai entender, tipo, o que que os
• 12:57
  nossos concorrentes diretos fazem, o que os nossos
• 13:00
  concorrentes indiretos também indiretos também fazem.
• 13:03
  Então, tipo, pô, o que que a gente vê de experiência legal
• 13:06
  por aí que talvez seja aplicável ao nosso negócio uma parada que
• 13:09
  a gente fala muito e esse grupo facilita demais o nosso trabalho
• 13:12
  aqui no dia a dia, como a gente olha para dados, cara dados é
• 13:15
  uma hit que traz muita informação pra gente na hora de
• 13:18
  fazer teste. Obviamente, design é, é, é o
• 13:21
  nosso ponto, um dos nossos principais braços para que a
• 13:24
  gente coloque essa esteira de pé e não menos importante.
• 13:27
  No fim do dia. Todo mundo aqui é cliente,
• 13:30
  então, tipo, você também sabe o que você curte.
• 13:32
  O quê você não curte? E na hora de pensar em hipótese
• 13:36
  o que a gente pode testar? Tudo isso faz parte, sabe?
• 13:39
  Oobe, como que você se encaixa nessa esteira de de testes como
• 13:43
  resort, né? É porque existe existe.
• 13:49
  E fora um, essa coisa de testar rápido, então sai testando e sai
• 13:55
  testando, aí sai testando, coloca a última a mais de 7
• 13:58
  palco vai, vai, vai, vai. Mas como que ressurgia?
• 14:02
  Inter nessa esteira aí, nesse processo contínuo de teste,
• 14:05
  cara, é isso. É.
• 14:07
  É uma pergunta muito legal, até porque.
• 14:10
  É, geralmente é isso mesmo, é falo da máquina.
• 14:12
  Ai a gente acha que é pra cá e aí tá, tá, tá.
• 14:15
  Tá. O mode de teste assim.
• 14:16
  E quando eu entrei, né? Um dos primeiros desafios foi
• 14:20
  esse mesmo, tá? Se falou gente, eu quero fazer
• 14:21
  com assertividade. Lucas Bianca Gui, sentem, se
• 14:25
  virem em tão foi por isso que eu fui envolvida, né?
• 14:29
  Porque existem alguns, algumas coisas que a gente consegue
• 14:32
  fazer e é aquilo pesquisa, não precisa demorar para rolar e a
• 14:35
  gente faz com que a gente tem dentro de casa, às vezes a gente
• 14:37
  tem um pedaço para a mamadeira ou pedaço de pau e uma Pedra,
• 14:41
  né, um tacape, uma Pedra, a gente faz.
• 14:43
  E é esse que é o ponto, né? A gente usa algumas, a gente
• 14:46
  fala um pouco mais de processo depois, mas a gente usa algumas
• 14:48
  metodologias, já que são de produto e que tem intersecção
• 14:51
  com pesquisa e com design para a gente pegar as hipóteses e fazer
• 14:55
  micro testes assim, micro teste, não micros investigações a gente
• 14:58
  chama de que Discovery aqui dentro, né?
• 15:00
  Que são Discovery super rapidinho se que é só pra ver ai
• 15:03
  cara, isso aqui é melhor a gente fazer isso desse jeito ou d se a
• 15:07
  gente troca a ordem e a gente descarta esse, então a gente tem
• 15:11
  um processo que é muito inspirado no processo da Teresa
• 15:13
  Torres de continuous Discovery, que a gente montou um aqui que
• 15:17
  servia para a gente. Para a gente sempre apostar nas
• 15:20
  coisas que a gente acha que vai dar certo, que tem um mínimo de
• 15:23
  embasamento para para apostar naquela hipótese, sabe?
• 15:26
  Por isso que eu estou junto com a galera.
• 15:27
  Que porra deve ser legal trabalhar com o Gui, o Gui e
• 15:32
  você, como que se encaixa nesse? Nessa esteira boa, acho que é
• 15:36
  válido comentar, né? Assim, se todo esse trabalho a
• 15:39
  gente sempre faz a 48 a com 2 mãos dele, né?
• 15:42
  Então, quanto mais opiniões assim a gente gosta de envolver
• 15:46
  todo o time, a parte engenharia também nesses Discovery pra
• 15:49
  gente descobrir realmente em conjunto.
• 15:51
  Ouvir, né? O cliente, então, a gente tem um
• 15:53
  foco muito grande no cliente, então, pô, sempre que a gente
• 15:56
  tem uma informação relevante, que a gente entenda, a gente
• 15:58
  coloca todo mundo na mesa, vai desenhar ali as possíveis
• 16:02
  hipóteses que a gente vai conseguir é de alteração de
• 16:05
  fluxo. Entender aí o time de engenharia
• 16:07
  já está envolvido para a putz, talvez é mais rápido.
• 16:10
  Se a gente fizer de um jeito à de um jeito b talvez se a gente
• 16:13
  recortar esse pedaço que a gente tá pensando, a gente vai ser
• 16:16
  mais assertivo no em relação a algum ponto, então a gente tenta
• 16:19
  trazer a diversidade, né? Na Na de opiniões também.
• 16:22
  Na hora dos testes e que é o super importante.
• 16:24
  E aí o time está no próximo, né? A gente consegue, é ter essa
• 16:29
  proximidade e ver o com com qual é viável ou como que vai demorar
• 16:33
  mais ou menos, dependendo do tipo de solução que a gente for
• 16:36
  testar, né? Então acho que é válido comentar
• 16:39
  isso do meu lado ou Kevin. Ele anotou várias perguntas ali,
• 16:44
  mas eu quero trazer 2.2, não sei alguns pontos que é que que o
• 16:50
  que que ó que que Discovery? Ham é o nosso nosso jeitinho
• 16:55
  carinhoso que a gente ama, que a gente tem um nominho para ele.
• 16:59
  Ou seja, você que está ouvindo você não precisa ficar 3 meses
• 17:03
  fazendo Discovery. Olha só, é depende da demanda,
• 17:07
  mas não, meu amor, não precisa. Esse que é o ponto.
• 17:10
  Alguns vão querer me matar, vão, mas seu trabalho é aquisição e
• 17:13
  groff galera, a gente tem que fazer funcionar no final do dia.
• 17:17
  Então o que que acontece, né? A gente pegou alguns processos,
• 17:20
  né, de tipo da Teresa Torres, mesmo que ela tem um processo
• 17:23
  super robusto de tipo. De identificação de dor e
• 17:26
  geração de hipóteses. E ela sempre tem contatos, é
• 17:30
  semanais com o cliente para gerar mais mais hipóteses e
• 17:33
  testando esse formato para a gente não funcionaria, porque
• 17:37
  justamente a gente tem alguns pontos de tipo de recrutamento.
• 17:40
  Esse processo leva, tem que ter toda uma parte de operação bem
• 17:44
  formulada. Está num processo aqui de
• 17:46
  educação. A gente tá, a gente tá no na,
• 17:49
  na, no processo assim, mas ainda não.
• 17:52
  Não dá pra fazer 100% assim, então aí depois a gente vai
• 17:55
  falar do processo inteiro, mas. Poxa, a gente descobriu que meu
• 17:59
  a gente consegue fazer uma lista, juntar a galera que fazer
• 18:02
  uma lista de hipóteses e priorizar isso aqui não precisa,
• 18:04
  Discovery. Isso precisa de um micro.
• 18:06
  Descobri isso aqui, precisa um pouquinho mais.
• 18:07
  Então a gente vai desovando desaguando, né?
• 18:10
  Os que não tem. E aí, os que têm a gente tem
• 18:12
  tipo, uma semana para fazer tudo, então eu acho que é uma
• 18:15
  coisa que é importante de falar, da metodologia, é que a gente
• 18:18
  construiu uma coisa nossa que nem a gente pegou, alguma coisa
• 18:20
  aí embasada, encaixou no nosso dia a dia, né?
• 18:23
  Eu acho que essa é a parte mais importante, porque se a gente
• 18:24
  pegasse uma coisa chumbada, quisesse trazer aqui para
• 18:27
  dentro. Minha roda de verdade, direita,
• 18:28
  essa é o outro ponto que eu gostaria de de frisar nesse
• 18:32
  episódio. Adaptação de framework,
• 18:35
  metodologia, seu contexto hurum, né?
• 18:39
  Não seja aquela criança que pega a estrelinha e tenta encaixar no
• 18:43
  nos No No círculo não vai dar, não vai dar, é adapta, tá bom,
• 18:49
  adapta, é o Xande, isso é muito legal, cara, porque o que o
• 18:53
  Lucas falou e você acabou de comentar é, é exatamente o nosso
• 18:57
  dia a dia aqui. Como eu falei, tipo, pô, eu já
• 18:59
  trabalho com um teste há bastante tempo e eu tenho 1111
• 19:03
  plano na minha cabeça, uma metodologia de como eu gosto de
• 19:06
  fazer testes EE normalmente, tipo assim, é um, é um caminho
• 19:09
  de se fazer, mas quando a gente tentou rodar desse jeito aqui a
• 19:12
  gente viu que não funciona. Inclusive foi um teste, né?
• 19:15
  Então a gente já foi otimizando o nosso processo, então acho que
• 19:19
  no fim do dia, para todo mundo, que que que for criar programas
• 19:22
  de otimiza ção, esteiras de teste, você pode chamar do que
• 19:25
  você quiser, esteira de ser o esteira de teste AB.
• 19:28
  Fluxo de otimização de experiência o nome que você
• 19:31
  quiser dar é o importante. É exatamente isso, você entender
• 19:34
  como funciona o teu, o teu ecossistema, como como está
• 19:38
  funcionando, poxa. As 2 principais linhas de
• 19:40
  negócio onde você está inserido, o que que você tem que fazer e
• 19:43
  para onde você aponta? A gente gosta muito de falar
• 19:46
  aqui que quando a gente começa a rodar algum ciclo, a gente tem
• 19:49
  um objetivo e a gente começa acertando esses objetivos.
• 19:52
  O que que a gente quer trabalhar, então tem formas e
• 19:55
  formas. Cara, você pode sim sair
• 19:57
  testando desenfreadamente. Fazer teste a torto, pô, vou
• 20:01
  fazer um Monte de teste. Abe, no fim, eu vou ver como é
• 20:03
  lá na frente. Vou ver como essas coisas se
• 20:05
  conectam ou você pode trabalhar de uma forma um pouco mais
• 20:08
  estruturada e tentar contar, montar um filme de verdade, né?
• 20:12
  Então a gente, pô, eu tenho um funil inteiro para otimizar.
• 20:15
  Vou começar a trabalhar a minha parte de cima do funil.
• 20:18
  Vou começar a falar um pouquinho mais de estratégia de atração,
• 20:21
  como que eu trago mais tráfego, vou para o meio do funil, poxa,
• 20:24
  como que eu faço o cliente fluir um pouquinho melhor como eu
• 20:26
  torno isso é um pouquinho mais, pô.
• 20:29
  Né? Foi de verdade, acho que fluído
• 20:31
  é a melhor palavra. Vai para a parte final do funil.
• 20:33
  Então quando você chegar num num final de ciclo, num final de
• 20:36
  ano, seja lá qual for Oo período que você definiu esse teu plano,
• 20:40
  você vê que você consegue contar uma história muito grande, sabe?
• 20:43
  Fica muito agosto assim. Oh, Kevin, seu ELO mais que eu
• 20:47
  visse essa parte agora aqui, do do nosso papo, teria evitado
• 20:51
  muitas coisas, não é? Ou ia demitir todo mundo, né?
• 20:54
  E pegar os engenheiros da Tesla e mando faz aí 80 horas por
• 20:58
  semana. Vai sair alguma coisa, um
• 21:00
  Twitter blue aí que vai causar algum incômodo no mercado, mas
• 21:04
  tem um ponto, hã charge, que eu queria destacar que eles falaram
• 21:08
  aquilo que o PG sempre tá falando.
• 21:09
  Nós somos pagos para gerar resultado e não para dominar
• 21:12
  frameworks, né? É adaptação que é, é os o
• 21:15
  importante, né? É, vocês pegaram, é algo super
• 21:18
  robusto, não é? Ali OOA árvore de oportunidade
• 21:21
  da Teresa Torres e adaptaram para a realidade de vocês, o que
• 21:24
  fez muito sentido estar gerando os resultados e eu tenho um
• 21:27
  ponto que eu queria é que vocês pudessem abordar, então o
• 21:30
  seguinte, a gente sabe que o mercado financeiro gera
• 21:32
  resultados muito rápido, né? A gente pegou esse caso aí que
• 21:35
  aconteceu do duelo. Musk no Twitter blue aquelas
• 21:39
  contas feike é, é verificadas que fizeram um tuíte lá da Eli
• 21:43
  Lilly, as ações caíram, então os resultados, elas eles geram
• 21:46
  muito rápido. São muito rápidos que acontecem,
• 21:48
  não é? Mas no caso de vocês aí
• 21:50
  trabalhando com teste, com experimentação, atuando nesse
• 21:53
  indústria, que o resultado é super rápido, como que foi a
• 21:55
  adaptabilidade de vocês no dia a dia?
• 21:58
  Como que vocês? Quais são esses desafios que
• 22:00
  vocês enfrentam? Estão enfrentando todos os dias,
• 22:03
  né? Na nessa construção de uma
• 22:04
  cultura de uma empresa baseada em testes, de experimentação, aí
• 22:08
  para que vocês possam gerar esses resultados, eu acho que um
• 22:11
  ponto aqui que é muito importante citar é o ambiente
• 22:15
  que a própria XP cria para os seus colaboradores ali, né?
• 22:18
  Então, acho que ela traz muito uma visão assim, putz, você está
• 22:22
  livre para você criar o que você quiser.
• 22:24
  Você, cara, tem que ter espírito empreendedor, tem que ter mente
• 22:27
  aberta. Vamos lá, vamos fazer pilares
• 22:28
  culturais da XP, né? Foco no cliente.
• 22:31
  Bora lá, Ham? E aqui a gente, a gente até
• 22:34
  estava brincando hoje mais cedo, assim tipo, putz, a gente é
• 22:36
  maluco, faz o que a gente quiser, mas também não tanto.
• 22:40
  Então ali, muito que a gente fala dessa parte de não tanto, é
• 22:43
  lógico que quando eu vou fazer um teste a gente precisa validar
• 22:46
  com jurídicos, eu estou mudando alguma coisa de texto.
• 22:48
  Se eu estou mudando alguma coisa que impacte ou que coloque em
• 22:51
  risco a marca ou coisa do tipo, então, por mais que os testes
• 22:55
  entrem aqui e a gente é, tenta fazer de maneira mais rápida
• 22:59
  possível, a gente sempre vai esbarrar em como estar seguro de
• 23:02
  que nós não estamos destruindo alguma coisa, né?
• 23:05
  Por mais que a gente tenha esse lema de vamos rápido para para
• 23:08
  aprender, a gente se assegura que a gente não vai quebrar mais
• 23:11
  do que deveria. A gente gosta de falar que que é
• 23:14
  que a gente é maluco? Com um pouquinho de
• 23:16
  responsabilidade, tem coisas que a gente fala, vamos embora,
• 23:19
  então tipo assim, puta, vamos mudar a cor de um botão?
• 23:21
  Vamos embora. Mudou a cor do botão mudar a
• 23:23
  ordem de um passo vamos mudar a ordem de um passo, vamos
• 23:26
  redesenhar uma experiência inteira.
• 23:28
  OPA, espera aí, vamos entender como isso funciona.
• 23:32
  Não é? Então, aí a redesenhar a
• 23:35
  referência interrail só vai precisar de um Discovery de 3
• 23:37
  meses. Tá aquela aí, você vai usar, mas
• 23:42
  não é meter o louco. Porém, como responsabilidade que
• 23:45
  nem eu faço, falou. E uma das coisas que é bem
• 23:47
  difícil, assim que a gente sempre é o desafios, né?
• 23:50
  Não é difícil, a gente está ali para enfrentar.
• 23:52
  No final das contas, é é tipo, justamente é definir o nosso
• 23:55
  processo, o processo que a gente montou acreditar nele terá ele
• 23:58
  sempre, né? Então, assim, por exemplo, é
• 24:02
  quando a gente gera as nossas hipóteses, a gente vai colocar
• 24:04
  lá nossa listinha. Nessa listinha bonitinha do que
• 24:06
  que a gente vai fazer, que a gente vai deixar de fazer, a
• 24:09
  gente vai dando uma estudada e vai organizando e priorizando as
• 24:12
  coisas e conforme a gente vai mexendo com as coisas das outras
• 24:15
  pessoas, afinal, a gente está testando para um, para uma tribo
• 24:18
  toda, né? É, a gente faz questão que o
• 24:21
  processo seja transparente para todos, que todo mundo conheça o
• 24:24
  que está acontecendo, que saiba se foi priorizado ou não, porque
• 24:28
  assim, quando a gente faz esses testes assim, a gente junta a
• 24:31
  galera, faz ela workshop para priorizar as demandas e depois a
• 24:35
  gente faz entre nós para gerar as hipóteses, a galera fica
• 24:37
  tipo. Meio que vocês vão fazer com meu
• 24:39
  produto, cara, eu tô muito ansioso porque o resultado aqui
• 24:43
  não sei o que e às vezes a priorização que saiu ali a gente
• 24:45
  e depois a gente vai ver porque essas coisas são vivas, né?
• 24:47
  As coisas vão mudando e aí as pessoas às vezes podem ficar
• 24:50
  ansiosas, então é um dos maiores desafios trazer transparência
• 24:53
  para isso, que as pessoas saberem como o processo
• 24:55
  funciona, para ninguém ficar ansioso e falar, putz, mas cadê
• 24:58
  meu resultado de cada um? Não sei quê lá então é uma
• 25:01
  preocupação que a gente tem aqui que é justamente para a gente
• 25:04
  não perder o fio da meada e perder credibilidade, então a
• 25:06
  gente sempre está ali. Defendendo nosso processo,
• 25:09
  melhorando nosso processo e deixando tudo transparente para
• 25:11
  todo mundo. É isso?
• 25:12
  E aí que nós feito também, não é?
• 25:14
  Acho que tem Oo lance da de governança.
• 25:17
  Não é porque a gente é uma empresa aberta, né?
• 25:19
  Na nasa, que é aberta, então tem, aliás, o leite, só que por
• 25:23
  trás tem algumas questões corporativas que a gente tem que
• 25:27
  seguir, né? Então, por exemplo, quando a
• 25:28
  gente vai fazer uma alteração em produção, a gente tem um
• 25:31
  processo que não é robusto, validado, já para as questões de
• 25:35
  auditoria e esse processo é acho que é legal comentar que.
• 25:39
  Né? O espírito da espécie sempre a
• 25:41
  gente questionar o status quo, tentar buscar evolução e
• 25:44
  melhorias. E eu estou aqui na espera a
• 25:48
  quase 4 anos, não é de de desse. Desse tempo pra cá já evoluiu
• 25:51
  bastante coisa em relação a isso.
• 25:53
  Então antigamente a gente tinha um processo ali que a gente
• 25:57
  chama de g mode na gestão de mudança, onde a gente tem que
• 26:00
  ele relatar e documentar algumas coisas que estão sendo
• 26:03
  alteradas, né? Então, sempre que a gente faz
• 26:06
  alguma alteração, a gente submete esse arquivo e assim.
• 26:10
  Levava algum tempo antigamente para fazer esse tempo já está
• 26:14
  menos a metade já sofreu uma automatização desse processo.
• 26:17
  Então acho que a empresa como um todo também corroborou, né?
• 26:21
  Pra gente chegar onde a gente está hoje, né?
• 26:23
  Então hoje a gente consegue submeter um teste muito mais
• 26:26
  rápido, então é. É uma junção de pessoas que, né,
• 26:30
  é, é independentemente da onde estão.
• 26:33
  Acabam sempre questionando o status pouco para pensar em
• 26:35
  evolução com foco no cliente, porque a gente quer entregar
• 26:38
  sempre o resultado mais rápido, né, então.
• 26:40
  Pô, um algo burocrático que impacta ali nas entregas do dia
• 26:43
  a dia, também, sempre sendo questionado todo esse processo
• 26:47
  aí que a gente sempre nos questiona em cada um,
• 26:50
  questionando um pouquinho, a gente sempre chega no resultado,
• 26:52
  melhor, não é? E até complementando, é por isso
• 26:54
  que a gente tem a possibilidade de fazer o que a gente tá
• 26:56
  fazendo hoje, que se não a gente não ia conseguir, então isso é
• 26:59
  muito legal porque AXP abriu espaço e a gente também foi
• 27:02
  atrás, né? Tá se rede tipo, eu cheguei a
• 27:05
  galera falando, não vamos, vamos, vamos, eu falei, então
• 27:08
  vamos, já que é para ir, então vamos, vamos.
• 27:12
  E tem um, e tem um negócio de louco aqui.
• 27:14
  Que, tipo, o que vocês falaram é verdade?
• 27:16
  EEE tipo, pô, você fala de teste, tem?
• 27:19
  Tem um. Acho que tem um, tem 11 ponto
• 27:21
  que é muito importante e eu acho que é uma das paradas que a
• 27:24
  gente mais discute aqui a gente tem sempre essa ideia de tipo,
• 27:27
  vamos testar e a gente vai descobrir muito rápido as
• 27:30
  coisas. EE esse é um negócio de erro que
• 27:32
  eu já vi, tipo, diversas operações, muita gente fazer que
• 27:36
  é tipo, você começa a rodar um teste, você desde cara que
• 27:39
  separação de tráfego errado, mas nem vou entrar nessa Seara.
• 27:42
  Tipo, você começa a fazer um teste ABC, dar 23 dias e você vê
• 27:46
  que atua, que que a tua experiência desafiante está
• 27:49
  melhor, você vai lá e rolou ter. Então, esse é um tipo de coisa
• 27:52
  que a gente se tenta segurar aqui ao máximo, então tipo, a
• 27:55
  gente adaptou framework para fazer, OA gente adaptou modelos
• 27:58
  para fazer o nosso o nosso funcionar, mas tem partes de
• 28:02
  processo que a gente defende muito.
• 28:04
  Então, poxa, por quanto tempo a gente vai rodar um teste é
• 28:06
  quanto o quanto a gente precisa de conversão, quais são os
• 28:09
  limites que a gente está buscando.
• 28:10
  A gente investe muito em documentação.
• 28:12
  Para que esses nossos aprendizados?
• 28:14
  E isso é 11 parada fundamental. Documentação, porque a gente
• 28:18
  categoriza tudo que a gente tá fazendo, porque como, como a
• 28:21
  parada é muito viva, né? Ela, ela é contínua e constante,
• 28:25
  vira e mexe a gente já se deparou com a gente trabalhando
• 28:28
  aqui já um aninho nessa brincadeira, um pouquinho mais,
• 28:31
  a gente fez um teste lá atrás é, mas e se a gente fizer tal
• 28:34
  parada? Você tem isso sempre para te
• 28:36
  ajudar, né? Então, acho que uma das coisas
• 28:38
  que a gente sempre busca aqui também é como a gente realmente
• 28:41
  coloca um processo e um modelo que funcione nos Amparo ao longo
• 28:45
  do tempo. Acho que ele puxa pegando esse
• 28:47
  gancho aí do tássio antes, quando eu fiz teste em outros
• 28:50
  lugares, sempre OA coisa mais difícil é como que a gente vai
• 28:53
  criar um repositório pra esse conhecimento.
• 28:56
  E como que a gente vai? Não vai deixar isso preso Na Na
• 28:58
  gente que fez o teste. Como que a gente dissemina isso
• 29:01
  dentro da companhia para que todo mundo tenha as melhores
• 29:04
  práticas, né? Para que os testes, eles têm os
• 29:06
  melhores resultados e aqui a gente está avançando nessa
• 29:09
  frente, está conseguindo criar ferramentas para para, para as,
• 29:12
  para as áreas que criam, para que elas tenham estejam sempre
• 29:15
  atualizadas ali, das melhores práticas que nós descobrimos no
• 29:18
  tempo. Eu vou colocar um negocinho.
• 29:20
  Eu sei que está tá mais assim. Mas o Flu um bate bola aqui, mas
• 29:23
  é esse negócio de gestão, de conhecimento que o tássio Lucas
• 29:25
  puxaram. É extremamente importante,
• 29:27
  principalmente quando a gente fala desse nome que a gente deu,
• 29:29
  né, do que que Discovery, por que que acontece?
• 29:32
  Ele acaba sendo rápido porque a gente tem as ferramentas certas
• 29:36
  de é de contato com o cliente, forme coisas bem azeitadas para
• 29:40
  disparar super rápido e outra a gente usa o nosso conhecimento
• 29:43
  que a gente já gerou e conhecimento gerado por outras
• 29:46
  pessoas que a gente cortar caminhos, porque é justamente a
• 29:48
  gente não está aqui para refazer a roda, a gente tá querendo.
• 29:50
  Humilde, embasamento para apostar numa hipótese, então a
• 29:53
  gente, por isso que é rápido, entendeu?
• 29:55
  Não é porque a gente faz de qualquer jeito, é porque a gente
• 29:57
  usa a informação que a gente tem dentro de casa.
• 29:59
  O não podemos confundir API dês com qualquer jeito, né?
• 30:04
  Como desleixo é, né? É o Kevin.
• 30:09
  Olha, olha aula, hã, aula de experimentação e testes, essa
• 30:14
  aula grátis, cara. Quem ouve isso aqui vai
• 30:17
  conseguir fazer muito teste experimental noite novato, é
• 30:20
  muito bom. Eu tenho 11 ponto, né?
• 30:22
  Vocês vocês mencionaram que vocês hoje estão num time focado
• 30:26
  em testes? Experimentação a gente sabe
• 30:28
  também que a XP é dividida em várias BIOS, tem de centenas de
• 30:31
  escravos ali rodando, né? Mas como que essa autonomia para
• 30:35
  os times não é, é hoje todo o teste precisa passar por vocês
• 30:39
  ou os times das outras wils. Podem realizar experimentação,
• 30:42
  tá tudo nesse grande repositório, né?
• 30:44
  De de teste, resultados que está sendo gerado como que é o
• 30:47
  processo hoje de vocês? Assim é que vocês montaram, né?
• 30:51
  Nesse time que vocês atuam hoje, como que está sendo, como que
• 30:54
  foi disseminado isso para a empresa e como que essa
• 30:57
  autonomia não é gerei uma hipótese, quero fazer um teste,
• 31:00
  quero levantar aqui evidências para poder ver esses resultados
• 31:03
  como que funciona hoje dentro da XP, cara, é esse teu ponto, é
• 31:08
  bem bom, Kevin, é, acho que a primeira parte da resposta é
• 31:12
  sim, a gente tem autonomia. E tal EE, só que assim essa
• 31:16
  nossa autonomia, ela começa um pouco dentro do nosso time, que
• 31:20
  que eu quero dizer com isso? Como você falou a XP, ela é o
• 31:23
  repleta de BOS, então a gente tem diversas estruturas olhando
• 31:27
  diversas linhas de negócio. É, e o que que a gente
• 31:30
  descobriu, principalmente ano passado, quando a gente tentava
• 31:33
  colocar a nossa esteira de teste dentro dos times de produtos que
• 31:37
  estão ali cara, desenvolvendo as features, as funcionalidades,
• 31:41
  tudo o que a gente vai lançar. Nem sempre você consegue de fato
• 31:44
  avançar. Agenda de testes, porque você
• 31:46
  está muito ocupado com a com a robustez do seu desenvolvimento,
• 31:49
  você está lançando uma fit muito nova.
• 31:51
  Isso vai tomar tempo, vai tomar tempo do PM, vai tomar tempo do
• 31:54
  designer e, principalmente do time de desenvolvimento.
• 31:57
  Então aqui a gente a gente foi para um, para um modelo em que a
• 32:00
  gente começou a separar um pouco as nossas esteiras numa linha
• 32:04
  entre velocidade e complexidade. Tudo que é um pouco mais
• 32:08
  complexo. A gente gosta de falar isso de
• 32:10
  fato, está embarcado nos times de produto e aí a gente criou
• 32:13
  essa camada aqui dentro de casa. A gente fala group tech.
• 32:16
  Porque a gente está dentro de uma plataforma de gruppe do de
• 32:18
  uma BO de grof e a gente começou, a gente criou esse essa
• 32:22
  camadinha que a gente fala, de trazer mais agilidade dentro
• 32:25
  dessa nossa esteira e a gente foi pioneiro aqui dentro de
• 32:28
  casa. Então, tipo, foi uma parada que
• 32:30
  a gente começou a construir junto.
• 32:31
  A gente começou a trazer todo esse processo e metodologia é
• 32:35
  existe autonomia, existe. Só que desde que a gente garanta
• 32:38
  também alinhamento com as nossas lideranças de grupos, com as
• 32:41
  nossas lideranças de produto, uma parada que a gente fala
• 32:44
  muito aqui é que a gente não pode, tipo.
• 32:47
  Também pensar em hipóteses da nossa cabeça e começar a testar
• 32:51
  umas paradas e depois de apresentar para o time de
• 32:52
  produto não é para os esquadros. Ele de produto fala, porra, isso
• 32:55
  aqui que eu descobri e a galera tá virando uma experiência em 23
• 32:58
  semanas com base em alguma descoberta que eles fizeram.
• 33:01
  Então a gente tem todo esse processo de autonomia, mas a
• 33:03
  gente sempre faz isso, com com bastante alinhamento, a gente
• 33:06
  busca ter isso é o ponto de transparência da Bia e meio.
• 33:10
  A gente começou a fazer isso de tal forma que aí Oo Lucas trouxe
• 33:14
  essa parte de de de documentação e como a gente expande.
• 33:18
  Agora a gente está começando a expandir um pouquinho mais para
• 33:20
  a companhia. O modelo que a gente criou, que
• 33:23
  ele é funcional, a gente está divulgando para todo mundo,
• 33:25
  então a gente está criando. É por um roteiro de testes para
• 33:28
  que todo mundo possa utilizar gente está colocando em toda
• 33:31
  essa documentação disponível e a gente fica ali também superar
• 33:34
  disposição para, tipo, pô, como é que funciona?
• 33:36
  Histeria de testes e tal, mas isso aqui é um, é um
• 33:38
  conhecimento que hoje está um pouquinho centralizado conosco e
• 33:42
  a ideia que a gente consiga expandir para a companhia toda o
• 33:45
  meu sonho grande está o meu sonho, grande pessoal de verdade
• 33:47
  assim. É que todo o time de Porto do
• 33:50
  esquadro, focado em produto, consiga internalizar também é
• 33:53
  uma esteira de testes. Hoje a gente ainda não está lá,
• 33:55
  mas a gente vai chegar. Ô um ponto autonomia ela.
• 34:01
  Ela partisse essa palavra, autonomia?
• 34:03
  Ela, ela está constantemente em toda a conversa com quem
• 34:07
  trabalhar na XP. Não é porque estou gravando e
• 34:10
  fazendo um programa assinado pela SP que eu estou falando
• 34:13
  isso, mas é é uma palavra bem, é o que me chama bem atenção.
• 34:18
  Quando a gente, quando eu, por exemplo, converso com pessoas
• 34:21
  que trabalham SP é em off. Claro que existe.
• 34:25
  Não, não existe lugar perfeito, mas sempre é a qualidade.
• 34:30
  É autonomia, não aqui na XPA gente tem um ambiente que nos dá
• 34:35
  autonomia da gente. Se a gente acredita em algo, a
• 34:38
  gente pode ir até não sei quem fazer é isso, Paulo gato, é bem
• 34:45
  interessante, né? É isso, né algo?
• 34:49
  Todo mundo aqui tem, eu não, né? Mas vocês são mais velhos do que
• 34:53
  eu. Não queria falar isso dos
• 34:55
  convidados, é o. É isso, senhor é ou vocês são
• 35:00
  mais experientes do que eu tenho décadas aí de experiência, hã?
• 35:05
  Não vou falar quem é é que eu vou falar 11 anos, estou muito
• 35:09
  arrependida. Errado ou não, encontrar uma
• 35:15
  empresa em um ambiente que é vá além da do discurso de
• 35:20
  autonomia. Não eu posso dar meu testemunho
• 35:22
  de fé aqui sobre autonomia é? Eu já trabalhei em empresas bem
• 35:27
  grandes assim, né? E você sabe que é um
• 35:31
  transatlântico. Quem já trabalha o tá
• 35:33
  trabalhando em saúde, seja trabalhando Itaú ou 6 que tem o
• 35:37
  Gui não, mas o Lucas também. Então assim é um transatlântico
• 35:40
  para se mover, né, tipo quando você chegar na XP se toma um
• 35:43
  soco assim, é outra. Extremo oposto, então, quando é
• 35:46
  a tipo nas entrevistas, meus amigos falavam tipo, autonomia,
• 35:49
  autonomia? Falei, tá bom, é financeiro,
• 35:51
  agente financeiro ou não funciona assim.
• 35:54
  Quando eu entrei, eu falei, é, é para bem e para mal no sentido
• 35:59
  de tipo, você tem Liberdade? Sim, para propor qualquer coisa,
• 36:02
  desde que faça sentido, você traça, traga as métricas, é você
• 36:06
  pode fazer o que você quiser. Só que o ônus e o bônus é seu.
• 36:09
  Então assim, AXP é, é realmente muito autonomia quando ela fala,
• 36:13
  espírito empreendedor é isso mesmo assim.
• 36:16
  Então assim é. É muito doido porque, tipo, eu
• 36:20
  olhava assim, né? Eu falava tipo, putz não né
• 36:23
  financeiro nada a ver, mas meu, eu tomei um choque, eu tou um
• 36:27
  ano e pouco aqui, um ano e 4 meses, um ano e 5 meses.
• 36:29
  Na XPE, eu tenho completo controle sobre o meu, o meu
• 36:33
  backlog. Eu converso, Claro que é aquilo
• 36:36
  que nem eu tava MT são Diego, porém, não tanto que nem ele
• 36:38
  falou, então eu estou alinhado com todo mundo.
• 36:41
  Eu converso com todo mundo, todo mundo sabe os projetos que eu
• 36:43
  estou fazendo, mas o como o quando?
• 36:45
  Oo eu tenho Liberdade para fazer?
• 36:48
  Tanto que foi o que eu fiz quando eu cheguei com os meninos
• 36:50
  para mostrar que estavam montando as 3 teses.
• 36:52
  Eu falei, já viram essa metodologia aqui da Teresa
• 36:54
  Torres? Eles falaram não e aí, muito
• 36:56
  engraçado que na mesma semana que a gente falou isso a Teresa
• 36:58
  Torres veio da palestra na XP. E aí eu falei, ela aí ó gente,
• 37:03
  assistam e a gente assistiu, todo mundo ficou animado e
• 37:06
  propôs, e foi, e aí a gente foi iterando o processo.
• 37:09
  Então, assim, aonde que tipo normalmente você consegue fazer
• 37:13
  esse tipo de coisa? E eu tinha o que?
• 37:14
  É 2 meses de casa, então assim é vai quase testemunho de fé aqui,
• 37:19
  então, autonomia na XP é uma realidade bem grande na real, eu
• 37:24
  acho que até um ponto é esse tipo existe, né?
• 37:26
  Se a gente não tivesse autonomia, esse time aqui acho
• 37:28
  que nem existiria, a gente estaria tentando.
• 37:31
  Colocar a metodologia de testes dentro das áreas de produto.
• 37:35
  Então esse time nasceu quase com fosse uma prova de conceito ali,
• 37:38
  então, cara, funciona isso, vamos testar, é o teste do
• 37:41
  teste. Vamos é, e aqui a gente tem
• 37:44
  também a essa essa parte de conversa, não é?
• 37:47
  Não é, não é? Eu vou falar com o meu líder que
• 37:50
  o líder vai falar pro líder se Eu Acredito na Kia em alguma
• 37:53
  coisa ou por que não eu chegar, falar pro pro tássio que é, né?
• 37:59
  Ou pra alguém tá mais mais acima?
• 38:02
  Que bom, a gente tem total autonomia para a gente
• 38:05
  conversar, independente do nosso nível hierárquico, né?
• 38:08
  Então, assim, a gente tem um nível hierárquico, mas é
• 38:11
  totalmente a comunicação totalmente fluida, é totalmente
• 38:14
  livre, por isso que as coisas acontecem da maneira que
• 38:16
  acontece tão rápido, né? Então eu acho que isso é muito
• 38:18
  legal e não tem aquilo, né? A gente tá sempre há um times de
• 38:21
  distância, a gente gosta de brincar assim, então a gente é
• 38:24
  só a gente olha e vê 11 ponto ali que a gente acredita que
• 38:28
  realmente o carro, né, ter grandes mudanças para melhor.
• 38:32
  A gente pode chegar, falar com o PM, falar com o GPM, falar com
• 38:37
  quem for para fazer acontecer. E se todo mundo gostar da ideia,
• 38:41
  comprar ela vai acontecer. Então isso que é isso que é
• 38:44
  bacana, ninguém fica. No âmbito das ideia, se morre
• 38:46
  por ali, né? Pessoal, tem uma força ali que
• 38:49
  pô, todo mundo gostou da ideia, comprou a ideia, então vamos
• 38:52
  executar, né? Não vamos ficar parado porque
• 38:54
  tem para dinheiro. Não é uma frase do mercado
• 38:58
  financeiro, não é. Existe 111.
• 39:01
  Frase, 2 frases de Diego ex Diego, esse deveria e fazer uma
• 39:07
  palestra na XP, nossa, ele adorar essa coisa de ser rápido.
• 39:13
  Mas o Diego, eis ele. Ele diz a seguinte maneira, a
• 39:16
  seguinte coisa que eu fui buscar aqui nos arquivos do PG, que é
• 39:20
  alinhamento sem autonomia, é autoritarismo e micro
• 39:23
  gerenciamento. Autonomia sem alinhamento é
• 39:26
  anarquia e decipher deseo de energia.
• 39:30
  Fazer uma camiseta disso já já vale não, cara.
• 39:33
  Eu. Eu acho que você, se você achou
• 39:36
  um produto, viu? Não sei se você achou uma
• 39:37
  oportunidade aí, tá? Vamos testar isso daí é, vamos
• 39:41
  fazer um fui dá pra gente, ó um. Aqui, ó.
• 39:43
  Vamos testar. Então a gente pega, definiu a
• 39:45
  frase. Agora a gente começa a testar a
• 39:47
  cor mesmo. A frase difundidas corte fundo
• 39:50
  amarelo, por que que, que, que vem demais depois vamos trocar a
• 39:54
  fonte, ó, sempre importante travando as variáveis, não
• 39:57
  testar tudo de uma vez, tá? São negócio que a gente acredita
• 40:00
  bastante, essa importante tá pó, testou tudo de uma vez só, é
• 40:04
  difícil saber o que que te deu aquele resultado, porra, Kevin,
• 40:08
  olha isso ó só essa parte aqui eu eu vou tirar do ipê, eu vou
• 40:12
  vender. Essa parte que eu dei, como que
• 40:16
  curso, hã? O leão curse, em inglês, por
• 40:21
  estar melhor, tá melhor que muito rasta Brasil é isso, pô,
• 40:24
  pô, o Kevin aula não, pô. A aula aula e tá melhor que
• 40:28
  muito curso, viu? Calma, calma, calma, polêmicas,
• 40:32
  ai já vai, já vai cortar isso, calma, calma, chupa Teresa
• 40:37
  Torres, o pode segue aí que a musa não fala assim dela não há
• 40:42
  desculpa, desculpa, tia Tetê. Desculpa.
• 40:45
  Muito bom, é pessoal, eu vejo uma coisa muito é importante,
• 40:50
  principalmente nas empresas que eu passei nas literaturas.
• 40:53
  Quando a gente olha, né, que é a questão cultural, né?
• 40:56
  No livro, a cultura da experimentação do do Stefan tom,
• 41:00
  que ele traz um caso muito icônico, né?
• 41:02
  A gente sabe que a booking é uma empresa que tudo faz baseado em
• 41:06
  testes, experimentação, e eles. Ele trouxe um exemplo de um CEO
• 41:10
  que assumiu uma determinada região do mundo é, e ele tinha
• 41:14
  uma ideia de. Mudar a cor de um novo, de
• 41:17
  alguma coisa muito específica. E quando ele chegou no time, ele
• 41:20
  trouxe essa ideia e as pessoas falaram assim, legal, vamos
• 41:22
  testar e aí assim a gente sabe que em outras empresas em que a
• 41:26
  cultura de experimentação ela não existe, né?
• 41:28
  Isso não aconteceria se vem o pedido de um.
• 41:31
  Se o é, as pessoas vão fazer, vão acabar fazendo, né?
• 41:34
  Então vocês também enxergam essa questão cultural dentro da XP,
• 41:38
  essa Liberdade que eles deram ao vocês, de poder experimentar,
• 41:41
  testar. Como Lucas mencionou o time
• 41:42
  existe hoje. Se não é taria deriva.
• 41:45
  Que vocês vêm que essa questão cultural é desde o início, não
• 41:49
  é? Da XP até hoje.
• 41:50
  Ela faz. Ela é muito importante para que
• 41:53
  vocês possam testar cada vez mais Ideas que vem de todos os
• 41:56
  lados, de todas as pessoas. Como que é para vocês isso?
• 42:00
  Cara, tem, tem o Lucas falou isso já não é, mas tem uma frase
• 42:04
  que a gente fala muito aqui dentro de casa, que é Bora
• 42:07
  errar, mas Bora errar rápido e a gente vive muito em cima dela,
• 42:11
  porque querendo ou não, esse é o nosso.
• 42:13
  Acho que o nosso principal alicerce, tal Kevin, mas a gente
• 42:17
  sempre toma. Acho que um pouco de cuidado com
• 42:19
  a parte do errar muito rápido, porque se espera muito, muito,
• 42:23
  muita velocidade da gente, né? Então sim, cara, tipo tudo é
• 42:29
  acho que dá pra contar, certo? Luquinhas hoje a gente falou
• 42:31
  quantas vezes hoje, ao longo do dia, tipo, que surgiram
• 42:33
  hipóteses? Que a gente falou, vamos testar,
• 42:36
  pera aí, vamos testar e cara, é. A gente vive muito com isso, tá
• 42:40
  EE eu falei, acho que é um mais no começo do nosso papo.
• 42:44
  Tem uma parada que nos ajuda bastante aqui no dia a dia, que
• 42:48
  é todo nosso backlog de Ideas, todo o nosso plano de testes.
• 42:51
  A gente gosta de falar que ele é muito vivo, então, cara, a gente
• 42:55
  vai errar, testar, erra, inclusive isso aqui é uma
• 42:58
  parada, eu eu vou, a gente ia falar mais, acho que pra frente,
• 43:01
  mas quem for começar a trabalhar com o teste tipo.
• 43:04
  É importante em algum momento é começar a trabalhar.
• 43:07
  Automotivação, o que que eu quero dizer com isso?
• 43:10
  Se erra muito cara, se erra muito, você começa a testar as
• 43:13
  coisas não dão certo e você pode ter.
• 43:16
  É. Você pode se frustrar, então é
• 43:18
  sempre importante, você é porra se manter engajado naquilo ali,
• 43:22
  porque meu agente vai errar tanto, errar tanto, mas quando
• 43:25
  você começa a acertar e descobre, as coisas começam a
• 43:28
  fluir cada vez mais. Então a gente gosta muito de ir
• 43:30
  por esse caminho que você acha aí, luquinhas eu acho que é um
• 43:33
  ponto, também é que o teste acaba virando uma ferramenta de
• 43:37
  comunicação não violenta assim. Porque se alguém chega aqui,
• 43:42
  falou assim, não, porque tem que ser assim.
• 43:43
  O negócio é esse, o produto tem que ir para esse caminho.
• 43:45
  Você fala, tá bom, vamos testar. E aí você meio que desmonta
• 43:49
  aquela, aquele, aquela autoridade, aquele top down.
• 43:52
  E aí você de fato fala assim, tá bom, vamos colocar a prova
• 43:55
  contra o que tem? A gente faz aqui 11 conceito de
• 43:57
  teste e se for alguma coisa muito grande, a gente recorda só
• 43:59
  um pedacinho, eu vou me encaixar aqui na nossa jornada e vamos,
• 44:02
  vamos botar isso aqui para ver se essa ideia funciona, né?
• 44:05
  De fato, Claro que aí, entendendo a dor do produto,
• 44:08
  entendendo tudo, colocando em uma lista de prioridade.
• 44:10
  EE é isso que gera uma ferramenta aqui para a gente,
• 44:14
  não é de conseguir de fato ouvir todo mundo, mas também falar,
• 44:17
  olha o que você está me falando aqui é importante ou não é tão
• 44:21
  importante assim quanto isso? Olha o jornada toda e aí a gente
• 44:25
  consegue é justificar, fala assim.
• 44:27
  Não só isso daqui, agora não vai ser feito, a gente vai ser
• 44:30
  feito, vai fazer depois a gente tem outras coisas maiores no
• 44:31
  meio do caminho e avaliar de fato o que realmente entrega.
• 44:35
  Resultado, né? Porque não adianta nada a gente
• 44:37
  ter autonomia e fazer uma coisa que não entrega resultado, né?
• 44:40
  Eu acho que é isso. Gente, aí pegando o gancho,
• 44:42
  rapidinha que só pela fase do tássio não é a questão da nossa
• 44:46
  mentalidade, que a gente tem que estar ali bem é bem alinhada,
• 44:51
  né? Que a gente vai errar bastante.
• 44:52
  A gente aqui de engenharia, né? Desenvolvimento a gente tem um
• 44:55
  apego muito grande com o que é desenvolvido, então geralmente o
• 44:58
  pessoal não gosta de retrabalho, não gosta de é, né, fazer a
• 45:03
  mesma coisa por por às vezes a gente está fazendo um teste, tem
• 45:06
  uma hipótese, tem, às vezes tem 11, teste que tem 34 hipóteses,
• 45:10
  então a gente vai pegar um fluxo de como é hoje.
• 45:12
  Que faz ele é de 4 formas diferentes, não é?
• 45:15
  Então, pô, é dá uma sensação que você não está entregando nada,
• 45:19
  EOE essa mentalidade que eu acho que a gente trabalha bastante,
• 45:22
  trabalhar bastante com a com OP sol, porque a gente não pode se
• 45:26
  apegar, né? Esse essas coisas, por mais que
• 45:30
  a gente esteja errado, a gente tá aprendendo com aquele erro,
• 45:32
  então é não é um desenvolvimento, não é algo
• 45:35
  perdido, né? Então a gente tem que tentar
• 45:37
  usar sempre essa essa mentalidade para a gente também
• 45:40
  não se frustrar, pô. Aprendeu que não fazer é muito
• 45:45
  importante, mas tipo, não existe erro, sabe, tipo você aprender
• 45:48
  por isso aqui não vai dar certo, é muito rico, é então, mas é
• 45:53
  justamente por isso que a gente tenta se munir, principalmente
• 45:55
  de fazer uma dinâmica mesmo de priorização, voltar bonitinha as
• 46:00
  hipóteses, fazer pequenos, né? Discovery, pequenas cobertinhas
• 46:04
  ali para tentar embasar ali, para para falar tipo a, mas não
• 46:08
  deu certo. Mas ó, a gente aprendeu isso e
• 46:10
  só que a gente não estuda mais a gente guarda pro próximo, né?
• 46:13
  Para tentar realmente tirar esse apego, porque meu, vocês
• 46:17
  trabalham com o produto, vocês sabem como é a galera.
• 46:19
  Tive uma ideia genial, meu Deus, isso vai ser incrível.
• 46:23
  Vou transformar esta empresa e aí a galera se abraça naquilo e
• 46:28
  meu não quer soltar. Então, com a esteira de testes e
• 46:32
  a gente fazendo que nem falei antes de transparência do
• 46:35
  processo, a galera vendo como que funciona e participando do
• 46:38
  processo, isso dá 11, porque aí de minimiza a frustração.
• 46:42
  Fica aqui na Estácio, fala meu aprender.
• 46:44
  Que deu errado é muito legal, porque a gente sabe que a gente
• 46:46
  não vai fazer isso. A gente não vai gastar 3 meses,
• 46:49
  4 meses desenvolvendo um negócio que não vai dar dinheiro pra
• 46:52
  gente que a gente tá no mercado financeiro, né, galera?
• 46:54
  Outra frase é muito boa e nesse sentido é, a gente vai testar o
• 46:57
  fio da da guilhotina com o dedinho, né não com a cabeça.
• 47:01
  É isso, é isso que cara tem? Tem um dado muito legal.
• 47:05
  Eu falei com a gente, tava falando hoje mais cedo, até por
• 47:07
  dinâmicas nossas aqui do dia a dia.
• 47:10
  E poxa, faz tempo, tá que eu que eu levantei esse número, eu
• 47:13
  nunca acabei não conseguindo atualizar, mas quando eu vi
• 47:17
  tinha um dado muito interessante que é o seguinte, no geral é
• 47:21
  todo mundo. Está trabalhando com um teste
• 47:22
  AB, com um processo estruturado de teste.
• 47:24
  AB tinha uma taxa de acerto tipo de 10 a 14%, é baixo, é baixo,
• 47:29
  tipo acerto, é baixo. Está sempre importante.
• 47:32
  Como você lê esse número? Não é tipo, pô, eu estou
• 47:34
  acertando 14, mas eu estou aprendendo o que não fazer no
• 47:38
  restante, sabe? Eu acho que isso é isso é muito
• 47:40
  relevante para o nosso dia a dia.
• 47:42
  Isso é um norte muito maneiro, porque é conforme você vai
• 47:45
  trabalhando você com contar este você ganha a casca, então você
• 47:49
  vai começar. Ando muito no começo, tipo, você
• 47:51
  vai começar a desenhar hipóteses que sei lá, elas podem ser mais
• 47:55
  absurdas, mas em alguns momentos você já começa a entender o que
• 47:59
  que é mais assertivo, então, junto com o quick Discovery que
• 48:02
  a Bia falou, tem o seu Queen. Você sabe que, tipo, você
• 48:04
  colocar um botão de determinada cor vai gerar mais engajamento,
• 48:07
  você começa a aprender que é importante você ser muito fiel
• 48:10
  com um teste, então não adianta você fazer uma mexida na tua
• 48:14
  home page, esperar que ela vá converter muito mais no final do
• 48:17
  teu funil que tem por mais 8, 9, 10 etapas.
• 48:21
  Então você começar a falar tipo, pô, esse botão que eu tô mexendo
• 48:25
  na minha home, ele ele vai. Ele deve levar mais gente para
• 48:27
  uma vitrine. Por exemplo, você começa a ser
• 48:30
  fiel ao teste, aí você começa a gerar mais tráfego.
• 48:32
  Esse mais tráfego vai gerar mais conversão para você ao longo do
• 48:35
  tempo. Então são coisas que você vai
• 48:37
  desenvolvendo e a tua esteira, ela começa a ficar mais
• 48:40
  eficiente aí esse 1014 por cento se torna 2025.
• 48:44
  Você nunca vai ter uma esteira de teste ou dificilmente você
• 48:47
  terá uma esteira de teste que você acerta a metade.
• 48:50
  Se tivesse, tem muito Mato alto, mas no geral, tipo meu, você
• 48:53
  rodar nessa linha é Superinteressante.
• 48:56
  Se tiver, tem que chamar aqui para contar e chamar nós para
• 48:58
  assistir, porque é, quero conversar é se você sabe que vai
• 49:03
  dar certo, não precisa testar, não é?
• 49:06
  Aí eu já, o que é ser ter infarto?
• 49:08
  Assim? Como assim?
• 49:09
  O Kevin, o Pablo, ouvindo essa essa parte aqui?
• 49:13
  Ele ficou feliz porque o Pablo Silva, rede de produtos do
• 49:16
  iFood, ele adora isso. Ele é contra testes inúteis.
• 49:21
  É se sabe que vai dar resultado, para que gastar tempo e dinheiro
• 49:26
  fazendo Discovery e testando onde coloca no ar, viveu o que
• 49:31
  acontece, isso é bem interessante, Kevin, não é exato
• 49:35
  EE. E é isso.
• 49:36
  Acho que um ponto importante é aprender a lidar com as
• 49:39
  frustrações de que a grande maioria dos testes vão falhar.
• 49:43
  Não é? A gente vai levantar inúmeras
• 49:45
  hipóteses, testar muita coisa e vários testes vão ser
• 49:47
  invalidados ali no processo, né? Mas tem um ponto que eu acho que
• 49:51
  eu queria ouvir de vocês, porque eu sei que vocês atuam com teste
• 49:54
  há muito tempo. A gente sabe que existe um
• 49:55
  termo, né? No mercado, que é o ano redor e
• 49:58
  a two way doors, aonde é basicamente AA uma porta é
• 50:02
  aquele caminho que você vai não volta, né?
• 50:05
  Aquele teste AB que a gente coloca no ar e ele dá aquele
• 50:07
  pipi. E se não tem, então a gente sabe
• 50:10
  que vai ser muito difícil da gente poder tirá-lo, porque ele
• 50:13
  gerou resultado. O resultado está sendo muito
• 50:15
  mais impactante para o negócio do que a gente imaginava.
• 50:18
  E aquele teste AB que vai dar o pico vai voltar.
• 50:20
  EEA gente pode reverter, né? Aquela situação já aconteceu na
• 50:25
  XP, né? Com vocês?
• 50:26
  E vocês colocarem algum teste no ar e aquele teste da opico e não
• 50:30
  voltar a cair, manter e vocês falarem caramba, a gente não
• 50:34
  imaginava que ia ter esse resultado e que esse teste agora
• 50:37
  vai ter que ficar no ar. Porque de fato, o usuário gostou
• 50:40
  daquilo. Usuário, valor, naquilo e
• 50:42
  aquilo, vai ter que permanecer como é.
• 50:45
  É o que a gente colocou no ar. De fato, né?
• 50:46
  Já aconteceu isso com vocês no algum produto que vocês rodaram,
• 50:50
  algum experimento que vocês fizeram aí na XP?
• 50:53
  Cara, cara, eu. Eu acho que tem alguns aqui,
• 50:55
  viu? Tipo o luquinhas conta aí, cara,
• 50:58
  você tipo você e o Gui abp, o que que que vocês já viram nessa
• 51:01
  linha de crédito? Teve um que deu certo, mas que a
• 51:04
  gente teve teve que tirar né, que foi ali do.
• 51:09
  É do, do modelo conversacional? Quer contar o posso contar é nós
• 51:15
  sob criamos ali, um ali no na partir de formulário de abertura
• 51:18
  de conta. Não é?
• 51:19
  A gente pegou toda a experiência ali do do da primeira etapa,
• 51:23
  dessa abertura de conta, que era um formulário padrão,
• 51:26
  preenchimento, EEA gente transformou toda essa
• 51:28
  experiência que eu toda, uma árvore conversacional, Ham de
• 51:31
  fato colocou ali uma experiência como se fosse tivesse falando
• 51:34
  com o chat bote para abrir para abertura desse, dessa, dessa
• 51:37
  funil, desse funil de aquisição, sabe?
• 51:40
  Estou feito feito o desenvolvimento teve uma taxa de
• 51:42
  conversão muito acima, teve um Lift de gigante Ham, mas ali com
• 51:47
  algumas mudanças que estavam acontecendo no produto, eu acho
• 51:50
  que é até um dos um dos primeiros testes que a gente
• 51:52
  fez. Enquanto a área é porque era
• 51:54
  uma, foi um dos primeiros sites que a gente fez.
• 51:56
  E quanto a área Ham? A gente ainda estava meio que se
• 52:00
  encaixando em como se alinhar com todo mundo e aí a gente teve
• 52:03
  que tirar isso do ar, mas aí, mas ainda está com um
• 52:06
  conhecimento adquirido e será encaixado aqui no.
• 52:11
  Na esteira de produto de fato, não é o luquinhas.
• 52:14
  E trocou minha faz também, né? Se transformou em outras coisas.
• 52:17
  A gente pegou diversos aprendizados, isso acaba aqui,
• 52:20
  isso aqui acaba aqui, isso aqui acaba aqui, então é tipo o gerou
• 52:22
  conhecimento. De qualquer forma, mesmo com a
• 52:24
  tristeza de ter que tirar ele do ar, só EE Bia tipo eu vou até
• 52:28
  expandir um pouquinho essa o tema do conversacional aqui
• 52:33
  porque Kevin rolou um negócio que é muito louco, a gente
• 52:35
  começa a testar as paradas e a gente descobre, por exemplo, na
• 52:39
  jornada de abertura, no preenchimento do formulário.
• 52:42
  Se mostrou uma ferramenta interessante, uma opção
• 52:44
  interessante para o usuário, mas a gente fez um outro teste aqui
• 52:47
  dentro que a gente tinha uma experiência conversacional.
• 52:50
  No momento da ativação do usuário, quando a gente fala
• 52:52
  ativação, a gente tá falando, pô, Kevin veio, entrou no site
• 52:55
  da XP, abriu, conta ele vai começar a investir, né?
• 52:57
  Acho que pra deixar um pouco mais, mais, mais explicadinho e
• 53:02
  a gente tinha uma experiência conversacional.
• 53:03
  Nessa etapa da jornada e ela ajudava a gente como um negócio
• 53:08
  a resolver 11 problema que temos aqui é, mas a gente via que, pô,
• 53:11
  tinha mais espaço para o cliente começar a ativar mais.
• 53:14
  Para as pessoas começarem a investir, é uma parada legal.
• 53:17
  A gente poe o nosso objetivo é facilitar a vida das pessoas.
• 53:21
  O nosso objetivo é ajudar todo mundo a dar o primeiro passo em
• 53:24
  direção à Independência financeira.
• 53:27
  Então, a gente questionou, essa experiência conversacional a
• 53:29
  gente criou é 111. Outro fluxo que a gente a gente
• 53:33
  criou um fluxo na verdade guiado, e um fluxo game ficado
• 53:37
  do que que o cliente precisa fazer para que ele comece a
• 53:40
  investir com a gente. Quando a gente colocou isso para
• 53:43
  rodar, a gente começou ativar. 20 e 30%, 20 e 30% mais.
• 53:48
  A gente começou ativar 100% mais rápido, então tipo o pessoal que
• 53:51
  passava por esse fluxo trazia começava a investir.
• 53:54
  Dava esse primeiro passo muito mais rápido.
• 53:56
  Então é louco, porque, tipo, a gente tem a mesma ferramenta, a
• 54:00
  mesma funcionalidade, funcionando de forma diferente
• 54:03
  em diferentes etapas da jornada que a gente cuida.
• 54:06
  Isso é muito legal e eu acho que é um ponto que também é um,
• 54:09
  voltando até um pouquinho aqui. Falando de frustração, Ham por
• 54:13
  mais que a gente teve que tirar esse, esse teste do
• 54:15
  conversacional do ar. A gente utilizou essa
• 54:17
  metodologia dele para criar todo um outro fluxo no na.
• 54:21
  No momento, antes do funil, sabe?
• 54:22
  Então eu peguei um aprendizado aqui, estou aplicando ele em
• 54:25
  outro lugar, vão, vai, vai ser testado pra gente conseguir de
• 54:28
  fato entregar valor é a mesma funcionalidade em momentos
• 54:31
  diferentes, com resultados, né? Obviamente diferentes.
• 54:35
  Eu gostaria muito de estar presencial tomando um café com
• 54:40
  leite de amêndoa num copo, Stanley ali na externa café ali
• 54:45
  na faria Lima, não, ó dentro do, do, do, da nossa área na XP,
• 54:49
  tomando uma rola e Garden. No seu copo, e Stanley rother
• 54:53
  dever não ficando mais, se quiser tomar uma original Zinho
• 54:57
  num boteco com o abraço com americano, a gente vai também
• 55:00
  inteira. Fica?
• 55:00
  Dica, não é frigideira, é atrás da XP, ali e passa a VR.
• 55:05
  Então assim eu creio. É, de preferência, onde estiver.
• 55:12
  Karaoke para o Lucas cantar para nós, cara, eu eu queria
• 55:16
  aproveitar essa sua deixa de tomar uma.
• 55:18
  Eu queria, se você me permitir fazer 111 dedicatória aqui para
• 55:22
  o meu amigo Bruno Sakamoto trabalha comigo.
• 55:24
  Show de partir de hoje. Toda vez que você tomar umas e
• 55:27
  vai virar para o teu, para o teu amigo falar, Bora tomar uma em
• 55:29
  pé. Bora tomar uma em pé é o maior
• 55:32
  convite você tomar uma cervejinha gostosa, trocar uma
• 55:35
  ideia e por esticar num porra no rolê.
• 55:38
  Maravilhoso é com essa dica de vida.
• 55:43
  É de Estácio aqui pra você, convidar aquele seu amigo para
• 55:47
  tomar uma, então tomar uma em pé é Ozzy essa essa frase aí para
• 55:53
  convidar uma frase jovem, né, de estás tão você caminhando para o
• 55:58
  final dessa conversa que é uma aula sobre experimentação e
• 56:01
  teste com Os Vingadores. De testes e experimentação da XP
• 56:05
  vai ficar, vai colar isso, esse, esse, essa.
• 56:08
  Isso vai colar. A gente já falou sobre esteira
• 56:11
  de teste, como que funciona a organização de teste?
• 56:15
  Já vimos como que é lidar com frustrações.
• 56:18
  Pegamos alguns cases de de testes agora que o Kevin Kevin
• 56:22
  mencionou, falamos sobre autonomia legal, falamos sobre
• 56:26
  Discovery que não é de 3 meses, né?
• 56:30
  Favor pelo amor de Deus, mas vamos para uma parte muito.
• 56:34
  Acho que acredito que quando fala de teste e experimentação,
• 56:37
  é sempre um gargalo para quem está começando ou até mesmo para
• 56:41
  quem já está na área que está no piloto automático.
• 56:43
  Às vezes alguém faz essa esses tipos de pergunta e meio que dá
• 56:48
  uma travada, que é o lance da estatística.
• 56:51
  Qual é AAA importância da estatística e como que ela é
• 56:55
  usada. É em todo, em toda a etapa, de
• 56:58
  uma experimentação. Claro que existe a estatística
• 57:01
  ali pra você pegar 11 base, né? Fazer um recorte que tem a
• 57:05
  validação estatística, et cetera.
• 57:07
  Mas como que é esse processo? Porque muito se fala, não é não
• 57:11
  usar calculadora, lado server Monkey pra você definir a sua
• 57:16
  rede local à o tem a gente mete o louco aqui, ó Xande é, eu acho
• 57:21
  que o Lucas é uma boa pessoa para começar a conversar um
• 57:25
  pouquinho com a gente sobre isso, porque tem uma curiosidade
• 57:27
  aqui que ele não falou, que o Lucas é físico, ponto Lucas é
• 57:30
  maluco. Com essas paradas, ele pode
• 57:33
  realmente começar. A única coisa que eu gostaria de
• 57:36
  dizer é que cara é a metodologia que você tem por trás da sua
• 57:40
  esteira é tipo discussão de futebol, cara, é religião.
• 57:44
  Assim é um negócio louco, então tem quem vai para uma abordagem
• 57:47
  frequentista, tem quem vai para uma abordagem base Ana.
• 57:50
  São majoritariamente esses 2 modelos, você escolhe um e vai e
• 57:54
  não dá para convencer o outro que um é melhor maluquinhas
• 57:57
  conta aí cara, como que a gente faz aí?
• 57:58
  Então a gente está entrando em um ambiente polarizado, é isso,
• 58:01
  Lucas é está entrando no ambiente que pode ser
• 58:04
  polarizado. Mas a gente tem que desarmar
• 58:07
  toda essa polarização, né? A gente tem aqui que do mesmo
• 58:10
  jeito que a gente falou de modelo de framework, tem que se
• 58:12
  adaptar a nossa realidade. A gente tem que entender que o
• 58:15
  modelo estatístico também tem que se adaptar as nossas
• 58:17
  ferramentas, né? É muitas vezes a gente, por mais
• 58:20
  que a gente queira falar, não. Eu preciso da ferramenta lá que
• 58:22
  vai fazer o teste, vai sair o resultado vai integrar com a
• 58:25
  minha métrica lá No No, no meu data Lake não sei o que vai sair
• 58:29
  tudo lindo, às vezes não consegue, então é aqui, a gente
• 58:34
  está discutindo 2 modelos estatísticos, né?
• 58:36
  Eu frequentista. Que a gente analisa os dados a
• 58:40
  posteriori, né? Então, depois que esses dados já
• 58:43
  foram coletados, a gente faz cálculos estatísticos normais de
• 58:47
  p valor e et cetera para conseguir definir ali as curvas,
• 58:50
  né? De de probabilidade para saber
• 58:53
  se aquilo é estatisticamente relevante ou não, né?
• 58:56
  É? E o no modelo base?
• 58:57
  Ano a gente discute uma estatística, há a priori, né?
• 59:01
  Então como que eu faço um recorte da minha base?
• 59:04
  Entendo a distribuir distribuição, como que eu vou a
• 59:07
  fazer toda essa análise? Ham, acho que é importante falar
• 59:10
  aqui neste espaço que a gente segue um modelo frequentista
• 59:12
  para fazer essas análises. Muito é pelo pelas ferramentas
• 59:16
  que a gente dispõem aqui dentro. Ham e com a gente conseguiu de
• 59:20
  uma maneira bem interessante ali, junto com o time de dados,
• 59:24
  desenvolver todo um arcabouço de, de um arcabouço ferramental
• 59:28
  ali, que pega automaticamente o dado lá do Google Analytics, já
• 59:31
  mistura com as métricas de de de de resultado do nosso back in
• 59:35
  and ali já pega tudo isso e já consegue cuspir de maneira
• 59:39
  rápida. Os resultados e análises para a
• 59:41
  gente ter um segundo passo, uma análise mais aprofundada, né?
• 59:45
  Então a gente tem ali resultados rápidos que falam assim, OPA,
• 59:49
  tem alguma coisa que eu preciso olhar mais, então a gente
• 59:51
  distribui ali nas nossas é é dimensoes classificatórias para
• 59:55
  conseguir de fato entender se houve algum outro tipo de de
• 59:59
  Lift Gold, oportunidade que a gente enxerga dentro dos
• 1:00:03
  públicos analisados. Xande eu gosto muito de falar
• 1:00:05
  cara aqui que que não é um bicho de 7 cabeças, né?
• 1:00:08
  Eu sei tipo, a gente começa a falar de estatística.
• 1:00:10
  Normalmente você fala, cacete, é tipo um negócio, é denso, mas o
• 1:00:14
  que você falou é super verdade, cara.
• 1:00:15
  Todas as ferramentas que estão disponíveis hoje elas ajudam
• 1:00:17
  muito a você tomar decisão EE dependendo do caminho que você
• 1:00:20
  escolhe, é, tem de ser até mais fácil, né?
• 1:00:23
  Tipo como o Lucas falou, se você, se você vai para uma linha
• 1:00:27
  de teste na metodologia base, Ana, você vai ver no resultado
• 1:00:30
  acontecer com o teste rolando e tal, e você toma decisão em cima
• 1:00:33
  daquilo a gente, no geral a aborda essa essa postura mais
• 1:00:37
  frequentista, porque ela é uma postura até um pouco mais
• 1:00:40
  previsível, mas você indo por esse caminho você vai ter, cara.
• 1:00:43
  É o blog do poeta do papel que tipo, do do do Neil Patrick, ele
• 1:00:47
  te ajuda AA fazer esses cálculos?
• 1:00:50
  Então você tem ferramentas disponíveis online, super de
• 1:00:52
  graça que você vai é cara descobrir qual é o nível de
• 1:00:55
  confiança do seu teste, você vai descobrir na abordagem
• 1:00:58
  frequentista. Isso é super importante, né?
• 1:01:00
  Tipo, você só vai concluir o teu teste a partir do momento de
• 1:01:03
  tamanho de amostra, então você tem que deixar o teste rolar até
• 1:01:06
  conseguir 11 determinado volume de tráfego, e você tem isso tudo
• 1:01:11
  muito, muito fácil, é o que é importante, é assim.
• 1:01:14
  Indo para uma abordagem frequentista que é que a gente
• 1:01:16
  normalmente trabalha aqui? É, poxa, a gente gosta de falar
• 1:01:19
  que a gente trabalha com nível de significância alto, né?
• 1:01:21
  Tipo de amputa. O teste tem que ter um alfa de 5
• 1:01:24
  ou um nível de confiança de 95% que a gente quer garantir que os
• 1:01:28
  falsos positivos não estão dentro.
• 1:01:30
  Mas você citando esses parâmetros, as ferramentas estão
• 1:01:33
  todas disponíveis para você e aí eu gosto muito de falar que é, é
• 1:01:37
  o ponto de você ter casca conforme você vai trabalhando
• 1:01:40
  cada vez mais com o teste, eu já vi isso, tipo, pô, já discuti
• 1:01:43
  isso No No produto campo uma vez.
• 1:01:45
  É você trabalhar num teste que vai te dar um nível de confiança
• 1:01:49
  de 95%. É muito importante.
• 1:01:51
  Você sabe que você acertou. Caso aquela hipótese se
• 1:01:53
  confirme, mas às vezes, cara, você está fazendo um teste em
• 1:01:56
  uma jornada do teu fluxo que ela ou é muito específico ou não têm
• 1:02:00
  1 o volume muito grande. E aí, por tamanho de amostra
• 1:02:03
  você vê que aquilo vai tomar muito tempo.
• 1:02:05
  Então você começa a diminuir o nível de confiança, você aceita,
• 1:02:08
  você assume mais risco. Você aceita édipo que tenha mais
• 1:02:11
  falso positivo, mas aí você nunca pode descuidar do teu
• 1:02:14
  indicador a posteriori, né? Então, tipo ser, olá alta.
• 1:02:16
  Você lança a parada e continua acompanhando, não é um bicho de
• 1:02:20
  7 cabeças, não, eu acho aqui também que você não pode
• 1:02:23
  congelar na tomada dessa tomada decisão, você tem que entender o
• 1:02:26
  que você está mais com, é seguro em fazer, porque fazer errado
• 1:02:30
  também é um problema. Então você está confiante em
• 1:02:32
  fazer um cara, não, não pensa muito, pega ele, coloca em baixo
• 1:02:35
  do braço e faça funcional, sabe? É o teste, ele é feito para
• 1:02:39
  ajudar, não para te atrapalhar, então não tenta congelar na
• 1:02:42
  frente daquilo EE ficar ali discutindo o sexo dos Anjos de
• 1:02:47
  estatística. Para para fazer essa tomada de
• 1:02:49
  decisão e se você a entender que em algum momento você não gosta,
• 1:02:53
  se você tiver como é criar um ferramental que vai te ajudar
• 1:02:57
  num outro modelo é ótimo, cara, e o louco é que a gente a gente
• 1:03:01
  começa a falar disso. Mas gente, vocês começam a
• 1:03:03
  trabalhar com o teste parada, vira, é tipo pra, dependendo da
• 1:03:07
  situação e tipo estilo de vida, tá aqui em casa.
• 1:03:11
  Minha esposa sempre fala, bom, isso aqui não teste AB que você
• 1:03:14
  tá fazendo e tal, não sei o que e tipo, pô, eu virei pai
• 1:03:17
  recentemente, né? Tenho gêmeas.
• 1:03:19
  Cara, vira e mexe eu estou tentando fazer a rotina
• 1:03:22
  funcionar, encaixar as paradas, fala isso é um, colocá-las para
• 1:03:24
  dormir. Acontece.
• 1:03:25
  Aí eu faço isso por um tempo. E se eu apagar tal luz, vou
• 1:03:28
  deixar uma luz vermelha no quarto?
• 1:03:29
  Eu faço isso por tanto tempo, cara, você, você começa a trazer
• 1:03:32
  isso para o dia a dia. É bem legal também, não é?
• 1:03:34
  E as gêmeas é 11, é variável, até controle, né?
• 1:03:37
  Então vai, ué, coitado dos livros, então vai ter.
• 1:03:42
  Ou a esposa do tássio, que tiver ouvindo esse episódio, não faça
• 1:03:47
  um menino do emina no sofá após essa esse episódio, por favor,
• 1:03:53
  Oo Kevin, você é de qual lado? Aí, cara, eu sou muito a favor
• 1:03:58
  de testar tudo, viu muito a favor, é testável testa, acho
• 1:04:02
  que basicamente é isso, não, mas com linha da da estatística que
• 1:04:06
  é, não quer 6 tal modelo é na saída da transe, você está
• 1:04:10
  saindo da polêmica Kevin. Qual que você é?
• 1:04:13
  Eu vou, vou ou vou me abster à não quer ninguém fazendo
• 1:04:18
  manifestação na sua casa, é isso?
• 1:04:21
  Cara, a gente tem conflito dentro de casa, está o Lucas
• 1:04:23
  falou que a gente ia frequentista, mas tem um, tem 11
• 1:04:26
  colega nosso aqui que ele é do ele, é do bem.
• 1:04:29
  Siano quando a gente começa a falar de teste, ele fica
• 1:04:31
  alucinado? Não, Caíque.
• 1:04:33
  Oh, okay cão, essa é pra você, Hein?
• 1:04:35
  Ó Caíque, desculpa, mas eu, PG tem lado, é o lado do Lucas o ou
• 1:04:42
  a gente está se caminhando para o final do do do episódio agora
• 1:04:45
  mesmo, mas antes você que está ouvindo ou vir até aqui todos os
• 1:04:49
  links é de ferramentas de dicas, de de, de conteúdo sobre
• 1:04:54
  experimentação em teste. O pessoal aqui, Os Vingadores de
• 1:04:58
  da experimentação e testes da SSP, vão passar pra gente essa
• 1:05:03
  essa lista? A gente vai compartilhar nossas
• 1:05:05
  redes sociais, vai estar na descrição que o episódio também,
• 1:05:08
  vocês links, link dos perfis deles para vocês irem lá nem
• 1:05:12
  falar, só frequentista à sei o quê?
• 1:05:16
  O Lucas canta aí, entendeu? Tá aí pra nós, tá senhor, tem um
• 1:05:21
  g MS também faz esse teste? Bianca, você é uma vergonha para
• 1:05:27
  ressarcir. Essas coisas é ver, vão bater na
• 1:05:31
  porta da minha casa, não lá, amor de Deus, eu faço todo tipo,
• 1:05:36
  eu faço, pisca, pisca tribo inteira, mas grupo até que a
• 1:05:38
  gente precisa criar um processinho diferenciado, OK é,
• 1:05:43
  traiu o movimento então do do Gui também, o Gui embora e
• 1:05:47
  acelerar essa esteira, sei o manda Pra Ele lá, manda pra eles
• 1:05:52
  todo mundo quando fala de teste e experimentação e que para
• 1:05:55
  fechar Oo nosso nossa conversa. Quando a gente fala assim, você
• 1:05:59
  faz teste, você faz a experimentação, todo mundo vem,
• 1:06:03
  fala, não é, vem na cabeça e fala.
• 1:06:05
  Teste AB é o único tipo de teste e experimentação, aparentemente
• 1:06:10
  90 e aos 110% da população, conhece?
• 1:06:15
  Ou é aquele é igualzinho comercial de creme dental, não
• 1:06:18
  é? É todos os 9 dos 10 dentistas
• 1:06:22
  recomendam todas as pastas, todos os cremes.
• 1:06:25
  Entendi todos 9 dos 10. Recomendo a todos, incrível que
• 1:06:29
  pareça é que coisa, não vamos entrar nesse caminho calma
• 1:06:34
  porque o Lucas já tá não foi estatisticamente calma, Lu,
• 1:06:37
  calma, calma, Lucas, calma, é. Quais são os tipos de testes?
• 1:06:43
  E tem como a gente definir o tipo teste AB é para esse modelo
• 1:06:47
  de de de experimento? Esse teste é mais indicado para
• 1:06:51
  esse tipo? Tem ou não é?
• 1:06:53
  Eu acho que tem que pensar muito na fase do seu produto.
• 1:06:57
  Se você tem um produto em construção, se você tem um
• 1:06:59
  produto que está alcançando uma certa maturidade ou se você tem
• 1:07:03
  um produto que já é bem Maduro, já está em um nível de
• 1:07:06
  maturidade, maturidade alta, então se você é uma construção
• 1:07:09
  de produto, você tem que ter um teste de conceito, então você
• 1:07:11
  sai de um teste ali, é teste AB digital, produção.
• 1:07:15
  E leva ali para um teste com com o cliente muito ali, junto com o
• 1:07:18
  surto. Com design.
• 1:07:20
  Ham, você está ali num teste de maturação.
• 1:07:22
  Muitas vezes você vai colocar até algumas coisas direto em
• 1:07:25
  produção e assim, com distribuição de de fluxo, é, e
• 1:07:30
  eu acho que é que um teste ali, mais uma 11 certa maturidade
• 1:07:33
  maior, você vai ali fazer um teste.
• 1:07:35
  AB, um teste multivariado, né? Eu acho que é isso que me vem na
• 1:07:38
  mente agora, sim, e até falando da parte inicial, quando a gente
• 1:07:43
  está construindo um produto, a gente precisa fazer pesquisa,
• 1:07:45
  sim. Porque se não, a gente tá
• 1:07:47
  gastando dinheiro a toa. Fazer pesquisa é fechar a
• 1:07:52
  torneira de dinheiro. Assim falam isso.
• 1:07:54
  Então, por exemplo, a gente tava com um produto que a gente tava
• 1:07:58
  muito mal das pernas. Era uma campanha que virou um
• 1:08:01
  produto que ela deu muito certo. Foi tipo esses teste AB que você
• 1:08:04
  faz e dá muito certo e ninguém quer desligar.
• 1:08:06
  Foi exatamente aconteceu com essa campanha, colocaram a
• 1:08:08
  campanha no ar meu, deu muito certo, vamos deixar e deixar e
• 1:08:12
  deixar. Ela começou a capotar
• 1:08:14
  alucinadamente porque. Era uma campanha feita para
• 1:08:18
  durar pouco tempo, e aí, tipo, ai, reclamação é um top ofensor
• 1:08:23
  de atendimento tipo super crítico.
• 1:08:26
  A gente entrou, né? Tipo, entrou junto com os PM e
• 1:08:29
  tal. Entrei também para aí.
• 1:08:30
  A gente fez teste de conceito, desenho de serviço Na Na Na, na,
• 1:08:34
  na. A gente acabou de subir esse
• 1:08:36
  fluxo a gente não teve reclamação de atendimento até
• 1:08:39
  agora. Está rodando mais 1 mês, um mês
• 1:08:40
  e meio. A gente começou a trazer uma
• 1:08:42
  captação de dinheiro que a gente tava trazendo antes, então assim
• 1:08:45
  é fases do produto, né? Tipo, você tá numa fase muito
• 1:08:48
  inicial. Teste de conceito e desenho de
• 1:08:50
  serviço até stico usuário. Aí depois que está indo para a
• 1:08:53
  rua, aí a gente fala mais no. No teste em produção, um teste
• 1:08:57
  Abe, sempre muito embasado o que é o que a gente tenta fazer o
• 1:09:00
  máximo aqui a gente não tenta tomar a decisão assim, ó, olha,
• 1:09:04
  é tipo o menu dele pousando, poder pra pro céu, sabe, pra ver
• 1:09:07
  pra onde o vento está soprando, a gente tenta buscar dados
• 1:09:10
  porque aquilo foi o que eu falei, é a gestão de
• 1:09:12
  conhecimento, né? A gente tem uma empresa enorme
• 1:09:14
  com, sei lá, são 6 7000 funcionários, galera, eu não sei
• 1:09:17
  é por aí, né? Sem 7000 funcionários que geram
• 1:09:20
  conhecimento todos os dias. A gente tem que usar essas
• 1:09:23
  coisas. A gente tem que falar com os
• 1:09:24
  clientes, ele tem que usar os nossos processos e a gente está
• 1:09:27
  aqui para fazer isso, para tirar, para tentar apostar nos
• 1:09:30
  cavalos certos, entendeu? Boa também a na parte de
• 1:09:34
  engenharia, não é? A gente não é bem.
• 1:09:37
  Esses tipos de testes, né, de produto, mas que também trazem
• 1:09:41
  resultados. Então a gente tem alguns testes
• 1:09:43
  por teste de performance. Se a gente já está mais do que
• 1:09:46
  provado, acho que em todo o mundo deve estar careca de saber
• 1:09:48
  que, pô, se a gente tem 11 site que tá carregando mais rápido
• 1:09:53
  para o usuário, tem, a gente tem algo mais otimizado, a gente vai
• 1:09:57
  trazer maior engajamento, vai trazer o maior resultado no
• 1:09:59
  final. Então, pô, tenha um lado de
• 1:10:02
  engenharia, alguns testes também que o pessoal faz.
• 1:10:04
  Testes de conteúdo, né? OSO, como que agente está
• 1:10:08
  otimizado ou não para trazer mais engajamento, trazer
• 1:10:11
  aumentar o nosso, né? O ter um grupo hacking, né,
• 1:10:14
  daquela daquela experiência, daquele produto, então não tem
• 1:10:17
  na parte de engenharia também tem diversos tipos de teste que
• 1:10:20
  dá para fazer para gente também ter uma melhoria de resultados,
• 1:10:23
  não é? Não é só testes, experiências,
• 1:10:26
  testes, produtos que aumenta o engajam mais ao a parte de
• 1:10:29
  engenharia também anda de de lado a lado com o produto,
• 1:10:33
  chegamos ao final do do episódio.
• 1:10:35
  Uma aula de de sobre experimentação e teste, pelo
• 1:10:38
  amor de Deus, você que ouviu esse episódio, siga, se conecte
• 1:10:43
  com cada um deles. Mande uma mensagem para eles,
• 1:10:46
  chamem eles para conversar, chama Bianca para entender como
• 1:10:50
  que a sorte é tão importante. É muito importante como que você
• 1:10:53
  consegue otimizar e surt pra, pra, pra, pra testes e
• 1:10:59
  experimentação. Onde você está, que ela é a
• 1:11:02
  referência nisso, ok? Research para teste de
• 1:11:04
  experimentação Bianca Lima. Pronto há mais tempo falando não
• 1:11:08
  tem não esquece isso pode esquecer Bianca Lima a partir de
• 1:11:12
  hoje, a maior referência em teste e experimentação de x URT
• 1:11:16
  é isso, pontua. Bugueiro é que se minuta me
• 1:11:18
  botando. O restante chama, chama o Gui
• 1:11:21
  para falar, Gui, como que eu otimizo aqui?
• 1:11:23
  O mistério, desenvolvimento para experimentação para teste, chamo
• 1:11:27
  o tássio aqui OEO Lucas para conversar sobre sobre
• 1:11:32
  experimentação, teste, conceito, metodologia, como organizar os
• 1:11:37
  times? O Lucas para falar sobre é
• 1:11:40
  música para cantar também. Toda está aqui.
• 1:11:43
  É tão chame eles, é essas. Essas pessoas precisam ser
• 1:11:48
  ouvidas e precisam ter mais espaço para compartilhar o
• 1:11:52
  conhecimento. Olha esse papo, olha esse papo
• 1:11:54
  de 1 hora, o cão agregou pra mim pelo menos agregou muito.
• 1:11:58
  Tem Kevin não de mais uma aula, você vai sair já amanhã você já
• 1:12:02
  vai sair fazendo teste e experimentação, né?
• 1:12:04
  Lá na OLX, ok, com certeza testar muito você vai chegar lá
• 1:12:08
  na OLX, já chega lá e fazer o quê?
• 1:12:10
  Frequentista aqui. Para chegar a ser avô, quem é
• 1:12:12
  aqui? Já já é exatamente já tira do
• 1:12:15
  time, né? Mentira quer trabalhar na XP?
• 1:12:18
  Quer vivenciar essa cultura de autonomia, de experimentação, de
• 1:12:23
  teste, de gerar dinheiro, de coletinho, de leite, de café, de
• 1:12:27
  amêndoas e tudo mais ou também tomar cerveja no boteco?
• 1:12:32
  Um tomar uma de pé você quer tomar uma de pé, contasse não é?
• 1:12:37
  É link da desse link na descrição das vagas, ó, olha,
• 1:12:41
  eu. Tudo errado?
• 1:12:43
  Link das vagas na descrição do episódio, tem muita vaga lá.
• 1:12:47
  Tem muita vaga, vai lá trabalhar com eles, é isso?
• 1:12:51
  Esse foi o segundo episódio do programa assinado pela AXP ink,
• 1:12:55
  né? Beijo, tchau.
• 1:12:56
  Fui. Para.