Latest / Entre Chaves / Entre Cases #23 Martins: Implementando Data Lake para recomendações B2B efetivas

Transcript

Entre Cases #23 Martins: Implementando Data Lake para recomendações B2B efetivas · Entre Chaves

0:02
Está começando mais uma entre chaves, o seu podcast de
0:06
desenvolvimento de software. Eu sou a Fernanda Vieira e hoje
0:09
a gente vai falar sobre um case aqui da DTI, né?
0:12
Um projeto que marcou aí a história de dados de machine
0:16
learning do grupo Martins. E pra isso eu estou aqui com a
0:19
Rafa, minha companheira de bancada de sempre, né?
0:22
E aí, Rafa? E aí, ó, só pra falar que eu
0:24
estou aqui como host, mas eu participei, né?
0:27
Um pouco do. Projeto do case que a gente vai
0:30
falar aqui hoje, então vou ser suspeita.
0:33
Perguntas enviesadas. Exatamente.
0:35
Estamos aqui também com malagute, que é um cientista de
0:38
dados aqui, né? Arquiteto cientista de dados.
0:41
Da DTI, que também é participante do projeto, né?
0:44
Malaga já participou aqui dentro, chaves várias.
0:45
Vezes exatamente. Eu participei de alguns
0:48
programas. Estou aqui na DTI já faz 6 anos
0:51
e também esse é um dos projetos que eu participei do passado.
0:54
E como convidado especial, estamos aqui com o Pablo
0:57
Freitas, que é gerente de data Science do grupo Martins.
1:00
E aí, Pablo, seja bem-vindo. Boa tarde, pessoal, é prazer
1:04
falar com vocês. Como falei um pouco desse case,
1:06
né, que foi bem legal que a gente desenvolveu.
1:08
Estou aí há quase 8 anos no grupo hoje na posição de de
1:12
cuidar, né? Da toda a nossa área de ciência
1:14
de dados e a e a engenharia de dados e.
1:17
Isso é um prazer aí falar com vocês.
1:19
Então, pra contextualizar vocês aqui o Martins é um dos maiores
1:22
atacadistas e distribuidores do marketplace do Brasil, são mais
1:25
de 70 anos conectando aí fornecedores ao pequeno EE média
1:30
várias brasileira, atendendo então hoje mais de 100000
1:33
varejistas em todos os municípios do país.
1:36
E com um cada um catálogo bem extenso de produtos, né?
1:39
E aumentar a conversão, né? De vendas é um desafio que
1:43
atravessa vários e vários segmentos de negócios, seja um e
1:46
Commerce, be to see, um marketplace, um varejista físico
1:50
e até, né, um varejista físico e digital.
1:52
Então, todo mundo quer que os clientes comprem mais, que eles
1:55
comprem melhor, que eles encontrem com mais facilidade o
1:58
que eles precisam. Um desafio aqui, né?
2:01
Um dos desafios desse projeto aqui que a gente vai falar hoje
2:05
é justamente. Lidar com vasto volume de dados,
2:08
né? Transacionais, que foram gerados
2:10
por milhares de operações de áreas espalhadas pelo país.
2:14
Então, como personalizar mesmo a experiência de compra pra esses
2:18
diversos setores, né? Pra diversas localidades, cada
2:21
um com necessidades totalmente diferentes.
2:24
E foi justamente então. Esse desafio que deu origem a
2:27
esse projeto, né, que é o motor de recomendação do Martins, né,
2:31
que é o primeiro grande projeto de dados do da empresa, né?
2:34
E nesse caso de uso, várias coisas impressionam.
2:37
O resultado é bem impressionante que a gente vai falar aqui daqui
2:40
a pouco, mas também o jeito que ele foi construído, né?
2:42
A forma evolutiva? Que ele foi construído, que
2:45
também é bem interessante. Então a gente vai falar sobre
2:48
tudo isso aqui, mas para a gente começar a entender um pouco mais
2:51
do que de como que aconteceu isso tudo, vamos começar do
2:54
início, né? Que é justamente qual que foi.
2:56
É o primeiro passo, né, para traduzir esse desafio que eu
3:00
falei aqui da conversão desse problema, de que quero aumentar
3:03
a conversão no motor de recomendação, né?
3:06
Quais foram as primeiras hipóteses que fizeram isso
3:09
acontecer? Só.
3:11
Contextualizando, né? 11 pouco mais sobre esse projeto
3:14
é o pano de fundo. Foi ali o pós pandemia, né?
3:18
Na verdade ainda um pouco de pandemia em 2021.
3:21
Historicamente o Martins vende através da da força de vendas,
3:26
né? Que são os nossos representantes
3:27
comerciais que. Visitam os clientes em campo,
3:30
né? E oferecem os produtos.
3:31
Mas justamente aí, na pandemia, um pouco antes, a gente começou
3:35
a investir muito e evoluir muitos dos nossos canais
3:38
digitais, que é o nosso aplicativo marketplace, nosso
3:41
portal web, né? Que os clientes podem comprar
3:44
vários outros meios de de vendas.
3:46
Então nesse momento a gente. Precisava, né?
3:49
Aumentar a conversão nesses canais e personalizar a
3:52
experiência dos clientes nesses canais, né?
3:54
Então foi daí que surgiu nessa sua iniciativa, né?
3:58
Essa hipótese de como eu consigo personalizar?
4:02
A experiência, a jornada do cliente ali no momento da
4:04
compra, com mais inteligência, usando dados, usando modelagem,
4:09
sabendo que o que a época, né? A gente tinha mais de 20000
4:12
produtos disponíveis para o cliente comprar.
4:14
Então tornar ainda mais é relevante nesse desafio de levar
4:19
uma recomendação mais próxima e personalizada para o cliente.
4:23
Então foi daí que surgiu. É esse desafio e essa e essa
4:26
iniciativa. Bom, mas a agora que a gente
4:28
entendeu melhor, né? O contexto é de negócio do do
4:32
produto é, vamos para o tecniques, né?
4:34
O que que o que que é um sistema de recomendação malagute?
4:38
Para a gente entender um pouquinho do sistema de
4:39
recomendação que a gente utilizou lá no início.
4:42
Bem no início do projeto mesmo, a gente primeiro está a entender
4:45
o que que a gente tinha disponível no início do projeto.
4:48
Já existia dentro do Martins um daytoy House com uma série de
4:52
informações disponíveis que era feito já em modelagem Estrela,
4:57
com fatos de dimensões. Tudo isso já sendo construído e
5:00
disponibilizado ali internamente, porém, para um
5:03
sistema de recomendação mais complexo ainda, existia uma
5:07
série de gaps. Quando a gente vai lidar com
5:09
esses dados. Então a gente optou por começar
5:13
com o sistema da maneira mais simples possível.
5:16
Então, qual que seria a interação mais simples que
5:19
existe hoje com Martins? Seria uma compra.
5:22
Então você tem um usuário, você tem um item e o usuário ele vai.
5:25
Efetuar essa compra, essa informação, ela está sempre
5:28
disponível dentro do quando você é uma empresa como Martins, é
5:32
muito claro que você vai ter essa informação disponível.
5:34
Histórico de compras, que que cada usuário comprou, uma lista
5:38
de produtos, uma lista de usuários.
5:40
Então, quando a gente trabalha com o sistema de recomendações,
5:42
tem uma série de algoritmos que a gente poderia utilizar.
5:46
Mas quando a gente vai fazer o primeiro modelo, a ideia é que
5:49
você faça uma base. É por isso que inclusive a gente
5:51
normalmente chama de base online, que seria qual que é a
5:54
base que a gente vai usar como venda hoje, né, que é um
5:56
algoritmo de recomendação, deve usar.
5:59
Então foi isso que a gente fez. A gente primeiro pegou essas
6:01
informações de uma maneira que fosse muito mais fácil pra gente
6:04
trabalhar. Então era uma lista de clientes,
6:06
uma lista de produtos, qual cliente comprou, qual produto.
6:09
E isso é uma coisa extremamente simples de você aplicar dentro
6:13
dos algoritmos. No nosso caso de escolha, como a
6:15
gente trabalhava muito com big data dentro do Martins, a gente
6:18
optou por um modelo que já tivesse bem adaptado AA
6:22
tecnologia do pais Park, que já era utilizado dentro do
6:24
databrics. Então a gente utilizou OALSOALS.
6:27
Ele é 11 modelo não. Você pode pensar de uma maneira
6:30
bem simples, né? Essa questão de venda é, ele vai
6:33
procurar por dado a lista de compra dos usuários, né?
6:37
Se eu tenho um usuário semelhante?
6:39
Ele vai ter um perfil de compra semelhante.
6:42
Então, se o meu cliente a comprou o item um e o meu
6:45
cliente b é parecido com o item AE não comprou o item um, talvez
6:49
recomendar o item um seja uma boa escolha para ele, então não
6:52
precisa de muita informação. É extremamente simples de se
6:55
utilizar e funciona muito bem com uma quantidade de larga de
6:57
dados. Então a gente conseguiu puxar
6:59
essas informações. Vamos começar de uma maneira
7:01
simples, amperar todos esses usuários, todas essas compras.
7:04
Vamos treinar o nosso modelo, pegar um resultado é se tem um
7:08
problema. Quando a gente trata e compras,
7:12
a gente tem que itens tem um identificador único e às vezes
7:16
esses itens são muito semelhantes.
7:18
Então vamos supor que você comprou uma sandália.
7:21
Essa sandália é um pode ser um item único, dependendo de qual é
7:24
o modelo, cor e uma série de outras coisas.
7:28
Então, às vezes, se você não tem um histórico muito grande de de
7:31
compras ou se o modelo não conseguir identificar,
7:35
basicamente vou te recomendar 10 produtos.
7:38
Eu sei que você gosta de sandálias, então eu vou te
7:40
recomendar 10 novas sandálias que são iguais ou extremamente
7:45
semelhantes, basicamente mudando a cor ou mudando pequenos
7:48
aspectos. Qual que é o problema disso?
7:50
Você provavelmente não vai querer comprar todos
7:52
normalmente. O que você quer fazer,
7:53
principalmente quando você vai usar um algoritmo de
7:56
recomendação, é que você tem objetivos, você quer aumentar
7:59
normalmente a cesta. Você tem 2 objetivos claros, um
8:02
é a facilidade. Eu vou te recomendar algo que
8:05
você quer, então você tem um ganho ali de utilização daquele
8:09
modelo que é, você não precisa buscar ele dentro do meu
8:11
aplicativo, você vai abrir meu aplicativo, ele vai te mostrar
8:14
exatamente o que você quer. Então você consegue montar suas
8:16
6, você consegue comprar aí e existe um segundo ganho que você
8:20
procura quando você faz esse tipo de recomendação, que é, eu
8:23
quero te recomendar o que você quer, mas que talvez você não
8:25
saiba o que você queira ou que talvez você nem saiba que a
8:28
gente vende, então você não compraria, talvez nesse primeiro
8:31
momento, mas se a gente te mostrar isso.
8:34
Aí você isso normalmente é um ganho direto de venda.
8:37
É uma algo extra que está sendo adicionado no carrinho, um
8:39
faturamento extra que está sendo adicionado dentro do carro.
8:42
Então você normalmente tem esses 2 objetivos.
8:45
E se eu te recomendo das sandálias, você provavelmente
8:49
não vai a direcionar todas elas. Então a gente percebeu muito
8:51
cedo que esse tipo de utilização simples, ele vai ter uma série
8:56
de problemas dados aos dados que a gente tem.
8:58
Então a gente começou a enriquecer esse sistema, a gente
9:00
começou a trazer não só qual é o produto, mas qual a
9:04
subcategoria, a categoria, como é que esse produto se relaciona
9:08
com outros. Então, do mesmo jeito que você
9:09
procura relações entre os usuários e.
9:13
Produtos que eles compram você começa agora a buscar uma certa
9:17
distância entre os produtos que você recomenda.
9:19
Eu acho interessante o que você falou no começo, né, que vocês
9:22
pegaram, vocês tinham date for House, já é, mas que ele não foi
9:26
utilizado. Aí eu queria entender, Pablo,
9:29
quais foram os desafios, né, que vocês tinham com esse DWEO que
9:33
que levou? Principalmente a gente é optar
9:35
por uma outra arquitetura, pro modelo.
9:39
O Francisco falou, a gente tinha um grande histórico de dados,
9:43
né? Bem estruturados no nosso, só
9:47
que isso era totalmente one premes estava no nosso banco.
9:50
E aí a gente tem novos dados aí nesse contexto de canais
9:54
digitais, por exemplo, dados de eventos do Google, analyks.
9:58
Que são originados e armazenados em nuvem, né?
10:01
Então acho que esse foi o primeiro grande desafio, né?
10:04
Que foi como a gente conseguiria juntar as 2 coisas, que são 2
10:08
dados relevantes para entregar e modelar no nosso algoritmo de
10:12
recomendação? Então a decisão ali, né, de a
10:16
gente começar ali com data, lei, com datapon de criar algumas
10:20
camadas, origem de dados, né? Raw truster de refine modelar,
10:24
né? A unificação desses dados, né?
10:26
Dado o vinho no prêmio, se dado vindo do do Google Analytics, eu
10:29
acho que foi. É fundamental, né?
10:31
Não só para esse projeto, mas pelo que a gente evoluiu depois
10:35
nessa nessa frente. Bacana assim.
10:37
E o primeiro ponto que eu que eu posso comentar como engenheira
10:40
de dados que atuou nesse projeto, é que é os d WS.
10:44
Eles também possuem algumas limitações quando a gente vai
10:47
atuar com projetos de machine Lane de AI.
10:51
Principalmente por questões técnicas, os algoritmos que a
10:54
gente utiliza, eles muitas vezes precisam de um dado carregado em
10:58
memória, então acaba que o dado é em formato de arquivo.
11:03
Ali no data Lake, ele fica mais acessível, ao invés de você ter
11:06
que fazer, por exemplo, consultas jdbc no banco e ficar
11:09
carregando em memória. Então que muitos.
11:12
Muitas pessoas fazem quando estão utilizando um DW, é
11:14
justamente você extrair o dado e salvar no CSV e rodar o modelo.
11:18
E aí o segundo ponto que eu vejo que foi talvez um dos fatores
11:22
que contribuiu para o sucesso, né?
11:24
Desse desse motor, foi a forma como a gente começou AA
11:29
construir essa arquitetura que viabilizou ele, né?
11:32
Ou seja, um data Lake, mas não foi bem um data Lake, como você
11:36
até mencionou aí, o data ponte. É.
11:38
A nossa ideia era começar como quase um MVP ali, um data Lake
11:43
pequenininho, focado pra um propósito único.
11:47
Isso é numa arquitetura simples. Que entrega somente o necessário
11:53
para o que o motor precisa. Então a gente não vai se
11:56
preocupar aqui com o data Lake, que vai ter governança robusta,
12:01
controle de acesso, catálogo de dados, pipelines, né, robustos,
12:06
que são tolerantes a variações, a variabilidade.
12:10
Mas a gente vai entregar o que o modelo precisa para a gente
12:14
validar esse modelo. Então acho que a gente já
12:16
conseguiu colocar um modelo é em produção muito rápido, né?
12:20
Foi o que foi. Quanto tempo que a gente
12:22
conseguiu ter algo funcional? Ah, não há o treinamento modelo
12:26
foi razoavelmente rápido, a gente conseguiu em em meses
12:29
teatro e tudo pronto para rodar ele.
12:32
A disponibilização, inclusive, foi como a gente começou depois
12:36
a ver como era a melhor forma EE tudo mais, porque a gente
12:39
disponibilizou de várias maneiras diferentes.
12:41
Mas eu acho que OA base de tudo isso é quando a gente pensou No
12:45
No dataput ou no datapoint foi qual que é a mínima arquitetura
12:49
que a gente conseguiria fazer para ter todos esses dados?
12:51
Igual eu falei no modelo inicial, era simplesmente
12:54
compra. Modelo de recomendação tem como
12:56
objetivo pegar um usuário e recomendar coisas Pra Ele nesse
12:59
cenário que a gente está trabalhando.
13:00
Então a gente pegava aí uma compra, ela tinha valor, só que
13:04
isso não era suficiente. Então, com a criação data ponte,
13:06
a evolução dessa infraestrutura mínima, a gente começou a
13:09
trazer. Essas informações relevantes,
13:12
que antes não estavam disponíveis antes era
13:14
basicamente binário. O usuário comprou ou não comprou
13:17
alguma coisa? Quando a gente começa a trazer
13:18
informações extras, aí o cálculo começa a ficar mais complexo.
13:22
A gente começa a ter. É um funil de vendas mais
13:25
definido. O usuário acessou a plataforma,
13:27
não acesso a plataforma, ele ele procurou por uma categoria, por
13:31
um produto, por algo semelhante, ele chegou a ver esse produto,
13:35
ele clicou para adicionar esse produto, esse produto no
13:38
carrinho, e aí sim, ele comprou. Então tudo isso é um indicativo
13:42
de um de uma busca, de uma pesquisa, de uma necessidade que
13:46
existe, inerente AAA ao uso do do usuário ali dentro, que você
13:50
quer captar e transformar isso num numa.
13:53
Recomendação efetiva, né? O quanto o usuário quer aquilo?
13:56
Se ele não quis, porque que ele não quis?
13:59
Qualquer alternativa que a gente vai trazer, então você quer
14:02
embutir todos esses dados que você vai trazendo de diversas
14:05
essas Fontes, que começou sendo basicamente uma estrutura
14:08
extremamente simples que a gente basicamente copiava do do leitor
14:13
de House para trazer eventos do do gear, criar agregações sobre
14:17
as relações. Fazer link com relação à ação
14:21
que ele tomou, se ele comprou ou se ele não comprou, se ele
14:24
compra aquilo com frequência não, ou se ele visualiza com
14:27
frequência não. E se ele acessa o aplicativo ao
14:29
longo do tempo ou não? Tudo isso acaba sendo um insumo
14:33
que você vai acabar de alguma forma incorporando ali por lá,
14:36
dentro da informação do usuário. Ou do produto.
14:39
Não é à toa, inclusive, que a gente separa e a ter não só as
14:42
categorias do dos itens procurados, como também dos
14:45
usuários. O que que o usuário está
14:47
consumindo é 11 item de informática.
14:49
É algo de de varejo. O qual é o consumo dele, né?
14:54
Qual é o grupo que ele se encontra?
14:56
Em cima disso que você falou, né?
14:57
Tem 11, coisa que deixou o nosso desafio um pouco mais difícil e
15:03
até a solução, né? Consequentemente, ficou mais
15:06
robusta por causa disso. Quando a gente fala de
15:08
recomendação no universo b to b, né, que foi o nosso caso, é,
15:12
pelo menos na minha visão, bem mais difícil de se fazer do que
15:15
no universo b to c, porque é é bem factível pensar que no b to
15:20
c, né? Para pessoa física, quando você
15:22
entra no site ou vai na loja, está olhando o mouse ou
15:25
computador, é razoável pensar que faz sentido eu te recomendar
15:30
um mousepad, um teclado ou um acessório no b to b?
15:34
É diferente, né? Não tem essa relação direta
15:37
entre os produtos. Ou seja, se o meu cliente está
15:39
me comprando o leite ninho, pode ser que não tenha nenhuma
15:42
relação com ele querer comprar o toddy ou não, porque ele na
15:45
verdade está comprando um produto para revenda e não para
15:48
consumo. Então essas relações entre
15:50
produtos, entre categorias, fica mais difícil, né?
15:54
De não são tão explícitas. Então acho que isso deixa esse
15:57
desafio, né? Dentro desse universo que você
15:59
falou, ainda mais mais difícil. Eu quero entrar um pouco mais em
16:03
detalhe, Pablo, nisso que você acabou de falar, né, que eu
16:05
fiquei bem curiosa em como que é a recomendação, né?
16:08
Esse desafio da recomendação em marketplaces b to b, né?
16:12
Já como você disse, né, que é um desafio bem diferente de um b to
16:15
c mas antes eu só queria reforçar que eu acho que tem um
16:17
negócio bem legal que vocês foram falando sobre a fundação
16:19
de dados, né, em como que as coisas evoluíram, né, que
16:22
realmente foi tomada uma decisão de começar pequeno, né, pra
16:26
depois ir evoluindo aquela estrutura de dados.
16:28
Pra ir habilitando o caso de uso mais robusto, como se fosse
16:32
assim. Isso tem tudo a ver com o que a
16:34
gente já falou aqui no entre chaves algumas vezes sobre é a
16:39
fundação, né? A evolução mesmo da fundação de
16:41
dados e uma arquitetura. Ei, ired, né?
16:44
Que a gente chama aqui. Claro que eu tenho 11
16:47
arquitetura, que é a ideal, mas é óbvio também que eu não
16:50
consigo chegar no que é ideal de primeira, porque senão eu vou
16:54
ficar evoluindo tecnicamente pela tecnologia, né?
16:57
Simplesmente sem que o negócio esteja do meu lado para falar
17:00
assim, ó, eu estou vendo valor, eu estou vendo valor na entrega
17:03
e pelo que vocês foram falando. Desde o início já tentaram
17:07
habilitar o valor de ser entregue, claro.
17:10
No início, talvez foi um valor que foi um MVP, né?
17:13
Talvez um MVP de verdade, né? Mas foi um valor talvez um pouco
17:16
menos assertivo do que poderia, mas já foi um valor.
17:19
E aí, né? Enfim, é aquela coisa, né, que a
17:22
gente também pode falar que quando eu vou melhorando a minha
17:25
fundação, eu vou habilitando casos de uso mais complexos.
17:29
Quando eu vou habilitando casos de uso mais complexos, eu vou
17:31
vendo possibilidades de melhorar minha fundação.
17:33
Então isso é acho que é bem legal e tem tudo a ver com muita
17:36
coisa que a gente já falou aqui no entre chaves.
17:38
Sobre essa arquitetura, né? EI, Red, né?
17:41
E é nesse ponto que Eu Acredito que é a razão de que muitos data
17:46
lakes falham, né? Porque é justamente porque
17:48
querem começar. É já implementando toda a
17:52
arquitetura, né? Robusta, com catálogo, com
17:55
governança, com muitas. Do que é dado, né?
17:59
Todo mundo de dados, e. Pensando de forma corporativa.
18:03
E aí você acaba atrasando, né? Muitas das entregas de valor,
18:08
porque você vai gastar muito tempo ali construindo a fundação
18:11
antes de validar se essa fundação tá fazendo sentido.
18:14
Então acho que foi aí que é que eu acho que foi uma decisão
18:17
acertada de ter começado. Com o datapudo e aí só
18:21
conceituando. Talvez pra ficar um pouco mais
18:23
claro, o datapudo. Ele seria um data Lake e focado
18:27
em um caso de uso. Então ele é ele é um propósito
18:29
específico. Então normalmente você não vai
18:32
se preocupar tanto com a robustez, a sua arquitetura com
18:36
AO data surving, porque você só vai servir um caso de uso.
18:40
E aí quando você começa a ter mais casos de uso, né?
18:44
O seu data poodle começa a gerar valor.
18:47
Você vai ter, naturalmente, usuários pedindo mais dados,
18:49
querendo implementar mais casos de uso.
18:52
E aí você é tem o data ponte, que seria um conjunto de data
18:56
pudles com mais usuários utilizando o seu data pudo.
18:59
Você precisa se preocupar com governança, catalogação, com
19:03
modelagem, com variação, com tolerância a falhas.
19:07
A medida que você vai ingerindo dados até que não não vão ser
19:11
utilizados de forma imediata. Você começa a se preocupar com
19:15
self service porque vai ter muitas pessoas consumindo e aí
19:19
sim você tem o nascimento de um data lei que de forma.
19:22
Orgânica. Então eu acho que se a gente
19:24
tivesse caído nessa armadilha, né?
19:26
De ter, vamos começar um data Lake corporativo para o Martins
19:29
para poder construir o nosso motor de recomendação.
19:31
A gente vai ficar talvez um ano trabalhando nisso e não IA ter
19:34
um motor de recomendação. Funcionando.
19:37
Que exatamente o que se você descreveu foi a nossa jornada,
19:40
né? Aqui no Martins, esse modelo de
19:42
recomendação foi o primeiro grande caso de uso, né, que a
19:45
gente desenvolveu nessa arquitetura para validar.
19:48
Deu tanto certo que depois a gente começou a criar outros
19:51
casos de usos internos, até chegar num momento que a gente
19:54
falou, ó, agora a gente realmente precisa de uma coisa
19:57
mais robusta, né? Foi aí que a gente fez, Ah,
20:01
criou. O projeto do nosso data, lei que
20:03
a gente estabeleceu, o nosso data lei que de forma oficial,
20:06
com todos esses pontos que você mencionou, né, de governança e
20:09
tudo mais, mas foi nasceu, né? Por isso que eu falo que esse
20:13
projeto ele entregou para a gente é não só o modelo de
20:16
recomendação, mas todo legado ali do início de uma criação, de
20:20
uma arquitetura mais Moderna que a gente nos permitiu, né?
20:24
Trabalhar em vários outros casos de uso dali para frente.
20:27
Achei muito interessante. Esse era justamente o que eu
20:29
estava falando no início, né? Da da arquitetura evolutiva.
20:32
Quando a gente vai vai evoluir na fundação, a gente vai
20:34
habilitando novos casos de uso, igual o Pablo cabo de falar, né?
20:38
Quando a gente vai vendo novos casos de uso, a gente vai.
20:41
Precisando de olhar para a fundação de novo e talvez
20:44
melhorando ainda mais a fundação, né?
20:46
Mas eu queria voltar um pouquinho nesse assunto lá do
20:50
dos algoritmos de recomendação b to b, né?
20:52
Que eu fiquei bem curiosa em tentar entender um pouco mais
20:56
desse desafio de como determinar correlações, né?
21:00
Que não são óbvias. Dentro de produtos que estão
21:03
sendo comprados por varejistas, queria que vocês contassem um
21:06
pouquinho mais sobre. Você pode parar pra pensar que,
21:09
de certa forma, você ainda assim está fazendo uma recomendação?
21:12
Não tem final, porque o objetivo do varejista também vai ser ter
21:17
111 venda melhor, né? Conseguir muito que o quem
21:20
compre nele tenha uma cesta maior, que faça mais sentido
21:23
nesse ponto, quando você vai é levar isso para dentro do seu
21:27
modelo, na forma que você vai trabalhar.
21:29
Ele, o ideal seria que você conseguisse de alguma forma
21:32
trazer. É essas informações que são
21:35
tomadas de decisão, pontos de atenção que teriam que ser
21:38
levados em consideração quando o próprio varejista vai fazer uma
21:42
pra. A isso você tem que pensar que
21:44
você quer não o item, não só o item final, mas também é o
21:48
estoque que eu tenho. Se eu estou fazendo uma compra
21:51
para pegar algo novo, para para refazer um estoque ou uma compra
21:54
frequente, qual que é a margem que eu vou ter na minha venda?
21:58
Então, não, eu estou vendendo para o varejista, mas varejista.
22:01
Ele tem um objetivo com essa venda, que é ter uma margem
22:03
menor ou maior, o quanto aquilo sai, onde que ele está situado.
22:08
Então não é à toa que quando a gente foi lidar muito com isso,
22:12
colocar esse modelo na rua, a gente efetivamente começou a
22:17
fazer controles e separações relacionadas à região, grupos
22:21
AB, pra gente ter uma noção melhor de qual algoritmo ou qual
22:26
feater que estava performando melhor, porque entre você.
22:30
Gerar uma predição e avaliação no modelo e o desempenho real do
22:33
modelo existe uma clara diferença, então a ideia é que
22:37
você consiga de alguma forma trazer todos esses pontos de
22:40
interesse, tomada de decisão pra dentro do seu modelo.
22:43
E nem sempre você vai ter isso tão fácil quanto você teria no
22:47
seu usuário final, seu usuário de acesso, porque você tem uma
22:50
informação que você precisa trazer.
22:52
Que ela não é sua. Quando você vende, você sabe o
22:55
que o usuário comprou, mas você não tem uma noção direta de como
22:58
o usuário vende. No caso do do Martins, como e o
23:02
Martins tem alguns outros pontos de venda, inclusive b to CA
23:06
gente consegue trazer um pouco dessa informação para dentro,
23:09
que inclusive serve de insumo para coisas que a gente vai
23:12
extrapolar e utilizar no b to b, mas a ideia é que você consiga
23:15
de alguma forma nesses. Treinos, testes e validações e
23:20
avaliações. Segregar esses grupos de acordo
23:24
com os objetivos e trazer essas informações.
23:26
Gerar essa informação extra para o seu produto, para que você
23:30
gere uma cesta muito mais atrativa, seja para uma
23:33
reposição de estoque, seja porque um produto tem uma margem
23:37
maior do que a outra, eles têm 11 custo de venda e um produto
23:41
final semelhantes, apesar de que talvez ele valha, mas a pena
23:44
você comprar um do que outro no Martins.
23:46
Seja porque ele é um produto sazonal, seja porque você está
23:49
numa região que ele vende mais ou menos.
23:52
Seja, por exemplo, é muito mais comum você ter vendas de
23:55
chinelos na praia do que talvez você teria numa região de
23:59
interior, ou por aí vai, ou num na cidade grande.
24:02
Todas essas informações tomadas de decisão e de de venda é o que
24:06
você quer levar ali para dentro do seu modelo.
24:08
Você comentou do teste AB, né? E eu lembro, teve isso.
24:12
Mesmo assim, é, dá para você entrar mais em detalhes, como
24:15
que foi? O que que vocês tentaram
24:16
validar? Acho que se me lembro bem, eram
24:19
eram 2 listas, era uma vitrine e modelo.
24:23
Inicialmente, quando a gente começou a trazer mais
24:25
informações do uso do aplicativo do do site para para as nossas
24:30
análises. A gente começou a identificar
24:33
alguns pontos de interesse. Por exemplo, poucas pessoas
24:36
chegavam onde inicialmente a gente fazia as recomendações.
24:38
Então, talvez vamos trazer as recomendações, talvez numa
24:41
gôndola, num na entrada do Apple, de uma entrada do site,
24:46
de uma maneira muito mais acessível pro pro usuário final.
24:49
Mas quando você vai tomar esse tipo de decisão que ela é, de
24:53
certa forma disruptiva, todo toda a forma como você vai
24:56
montar um Apple, um aplicativo, do mesmo jeito que você.
24:58
Você está num supermercado, qual é a.
25:01
Posição que você vai colocar determinado produto é
25:03
irrelevante. A mesma coisa acontece no num,
25:05
num AP e num site. Então como é que você toma essa
25:07
decisão? Como é que você justifica pegar
25:09
uma coisa, uma iniciativa de dados nesse nível e falar, tá
25:13
bom, vamos colocar na home. Do aplicativo, que é
25:15
literalmente AA cara da sua empresa.
25:18
No na parte virtual você precisa ter alguma coisa que justifique
25:22
isso, alguma informação que valorize essa tomada de decisão.
25:27
E foi aí que a gente começou as análises do teste Abi, porque
25:30
não adianta fazer uma recomendação que ela é 100%
25:32
assertiva, mas que você já IA comprar ela de qualquer jeito.
25:35
Como eu disse, tem um ganho de facilidade, mas não altera no
25:39
valor final. Não gera 1 BRL a mais de
25:42
faturamento. Então, se eu vou trazer essa
25:45
isso pra frente, eu tenho que ter um ganho com isso.
25:47
Então como é que a gente vai fazer essa valoração?
25:50
Foi quando a gente começou as questões do teste abrir, separar
25:53
grupos que sejam significativamente semelhantes e
25:56
que vão que a gente conseguiria fazer uma análise onde um vai
25:59
receber uma outra forma de gôndola já existente, feita
26:03
talvez internamente por especialistas ou serviços
26:06
terceiros ou. Qualquer outra forma, e esse
26:09
sistema de recomendação, isso vai dar pra gente ao longo do
26:12
tempo uma diferença de valoração de qual é o impacto, real,
26:16
positivo ou negativo? Daquela aplicação.
26:20
E é exatamente a operacionalização dessa tomada
26:22
de decisão, inclusive, que viabilizou, depois poder
26:25
comparar modelos, o meu modelo passado e uma versão mais nova
26:28
dele é melhor ou pior do que a versão passada.
26:30
Então o que a gente faz é, gera 2 grupos.
26:32
Primeiro a gente segmenta de acordo com uma série de
26:35
características elevantes, seja o tamanho da cesta, o quanto de
26:40
gastos que os usuários têm, a região que ele tá, qual que é o
26:43
setor que ele atua, uma série de informações que a gente tem como
26:46
objetivo gerar grupos AEB que eles são.
26:49
Populacionalmente semelhantes. Isso significa que se eu
26:52
colocasse numa sprint inteira, vamos supor 2 sprint, um mês,
26:57
até 2 meses ali, esses caras ao longo do tempo, eles deveriam
27:02
ser muito semelhantes. Eles precisam ter consumos
27:04
semelhantes. Eles têm que estar próximos.
27:06
Porque o que eu quero é que quando eu colocar um fator de
27:09
alteração em um desses grupos, a diferença entre eles, quando ela
27:12
for estatisticamente diferente, ela implica que AA diferença
27:16
entre os grupos, seja minha gôndola, seja o que eu estou
27:18
aplicando. É resultado disso e não
27:21
simplesmente de qual usuário coloquei no grupo A ou no grupo
27:23
B então a gente leva em consideração, forma os devidos
27:28
grupos, deixa eles um tempo em paralelo ou pega valores
27:30
históricos para poder avaliar que os grupos são semelhantes.
27:34
E a gente começa agora a comparar qual é o impacto real
27:38
da da nossa gôndola, comparada a outra condola que já existe lá
27:42
dentro. Mensagem do aplicativo em grupos
27:45
específicos, em uma parcela menor, até que a gente
27:47
efetivamente aplique isso no todo.
27:49
Com isso, depois de um certo tempo, começa se uma análise,
27:52
quantos produtos novos foram comprados por esses usuários?
27:56
Quantos produtos novos comprados por esses usuários vieram de
28:00
dentro desse, desse sistema de recomendação, dessa gôndola que
28:03
a gente botou lá na frente? Isso permite não só que essa
28:06
alteração, que talvez seria muito disruptiva de mover a
28:09
lista para home não afete todos os usuários, mas sim uma parcela
28:12
que talvez a gente tenha mais noção e que não vai gerar um
28:15
impacto tão grande, ao mesmo tempo que isso sendo positivo e
28:19
a gente tenha uma noção complexa disso, a gente consiga um.
28:22
Publicar isso no resto para garantir que essa melhora vai
28:25
ser reaproveitada em todos os outros grupos e usuários.
28:28
Como também avaliar de maneira muito mais palpável qual que é o
28:32
ganho real que você tem quando você está utilizando esse
28:34
sistema de recomendação. Porque, como eu disse, nem todo
28:37
clique que vem ou toda a compra que vem da da gôndola do sistema
28:41
de recomendação é uma compra. Isso é, no máximo, um indicador
28:44
de facilidade. Então a minha pergunta é bem
28:46
nesse caminho aí e eu queria te perguntar, Pablo, justamente
28:50
sobre os resultados, né, dessa do meu?
28:52
De fato, porque eu estou entendendo que pelo que o
28:55
malaguti explicou aqui, o teste AB foi justamente o que
28:58
possibilitou a gente a medir com um pouco mais de clareza o que
29:02
que o motor de fato, né? De recomendação influenciou em
29:05
conversão, né? De venda, então quais foram para
29:08
os resultados? Enfim.
29:09
O mais relevante para nós na época, né?
29:12
Dos testes AB, foi um aumento de 7% na conversão.
29:17
Então, dentro desse contexto que o que o Mário de falou?
29:20
Os grupos, né, que tinham ali os modelos mais expostos, né?
29:24
Em todos os testes eles tiveram essa conversão maior do que os
29:29
grupos que não recebiam, né? Socorrem dações hoje, né?
29:33
A gente tem 11 mensuração contínua, né?
29:36
Desse modelo e a gente vê uma outra médica que a gente olha é
29:40
quantos produtos novos os clientes estão comprando que são
29:44
oriundos das da lista recomendada.
29:46
Ou seja, é um produto que a gente nunca havia comprado, mas
29:50
comprou porque estava na lista de recomendação.
29:53
A gente tem hoje, né? Atualmente, em média, um melhor
29:56
e meio de venda adicional desses produtos.
30:00
Então, comparativamente a um percentual pequeno em relação ao
30:03
nosso faturamento total. Mas considero relevante porque é
30:06
uma venda que vem é, vamos dizer assim, orgânica pelo modelo, né?
30:10
Não tenho nenhum custo a mais ou nenhum esforço adicional para
30:13
ter essa venda, então é um valor considerável, fora os ganhos
30:17
subjetivos, né? Que que a gente não tem uma
30:19
métrica bem definida para eles, mas que a gente sabe que ajuda
30:23
no dia a dia. Como esse modelo hoje ele está
30:25
presente em todos os nossos canais de vendas.
30:27
Pensa, por exemplo, num vendedor, um representante
30:31
novado. Ele acabou de de começar no
30:33
Martins hoje e aí amanhã ele já vai visitar alguns clientes.
30:37
Aí ele vai lá na mercearia do João e tem lá.
30:41
Hoje, né, com o nosso marketplace, 200000 produtos
30:44
para ele oferecer. Por onde ele começa, né?
30:46
Qual? Como que ele vai começar a
30:48
atender a mercearia do João? E aí o modelo de recomendação
30:52
tem grande valor para ele, porque ele ali já sai de cara
30:55
com 3050 itens para ele começar a oferecer para o João.
31:00
Sabendo que esses 30 itens são os mais prováveis do João
31:03
comprar, né? Então traz essa facilidade, né?
31:06
Que é subjetivo. A gente não consegue mensurar,
31:08
mas a gente sabe que tem um grande valor.
31:10
Então esses foram os 10 aí que a gente mensurou, né?
31:13
A época do teste e que a gente mensurou ainda hoje.
31:16
É assim, eu acho que talvez esse seja um dos fatores que também é
31:20
contribuíram para o sucesso. Do do motor, né?
31:24
Que é muito mais do que ter bons resultados.
31:26
É você saber os resultados, né? Então eu lembro que o produto já
31:29
nasceu com essa preocupação e eu lembro que a gente tinha um
31:33
dashboard funil de vendas. E aí eu queria entender como que
31:36
evoluiu esse monitoramento, o que que vocês têm hoje pra poder
31:40
continuar a validar esse essa entrega de valor?
31:43
A gente precisou, né, começar a traquear mais eventos dentro do
31:48
nosso aplicativo e sites, né? Então, por exemplo, a gente
31:51
começou AA criar eventos, né? Para saber quando o cliente
31:55
visualizava a vitrine ou quando ele clicava na vitrine, quando
31:58
ele entrava no produto pela vitrine e tudo mais.
32:01
E aí a gente começou a ter outras variações de de
32:04
recomendações nessas vitrines, né, que é ali na entrada do do
32:09
nosso aplicativo. Então isso resultou No No que a
32:11
gente chamou hoje de dash de vitrines.
32:13
Então é um dashboard que a gente cruza todos esses eventos, né,
32:17
onde o que o cliente faz dentro do aplicativo, mais
32:20
especificamente nas vitrines, com os resultados de vendas, né,
32:24
se o cliente comprou ou não, ou quando ele comprou valores e
32:27
tudo mais, então essa hoje é a nossa bússola, né?
32:29
Então a gente consegue ver uma linha do tempo, do faturamento
32:33
total dessas vitrines, né? Quanto está faturando?
32:35
Um total, o quanto a gente fatura só de produtos novos,
32:39
quantos que que a gente tem e consequentemente a gente
32:41
consegue então mediar essa. Conversão, né?
32:44
De relação de eclicks versus compras.
32:47
A gente divide isso por estado o negócio.
32:50
Então a gente consegue ver quando na vitrine ou quando a
32:54
recomendação está está performando melhor em estado em
32:56
relação ao outro, ou para um tipo de negócio de cliente em
32:59
relação ao outro. Então hoje, né, esse é o é o
33:02
principal principal fonte ali que a gente não só nós de dados,
33:05
né, mas o time de marketing também.
33:08
Monitora com frequência pra gente acompanhar, né?
33:11
Esses resultados EEA performance, da dos modelos.
33:14
E aí a gente tem também, né, outros déficits mais técnicos,
33:18
né, que fica com o nosso time para medir alguns parâmetros ali
33:21
mais específicos tecnicamente do modelo, por exemplo, a
33:24
diversidade das recomendações, né?
33:26
O quão diverso estão sendo as recomendações que a diversidade
33:30
basicamente é? Uma medida que a gente tem aqui,
33:33
de quantas categorias ou subcategorias distintas estão
33:36
indo numa recomendação, como nosso subjetivo é, é dar mais
33:40
opções para o cliente, né? De de produtos que ele.
33:43
Não, não só apresentar produtos que ele já comprou, né?
33:46
Mas colocar coisa nova é uma métrica que é importante aqui
33:49
pro time acompanhar, né? Se essa métrica está estável ao
33:52
longo do tempo ou se ela está saindo ali dentro do que a gente
33:55
espera. E aí o pessoal vai fazer nesses
33:58
ajustes técnicos, no modelo. Então a gente tem algum um
34:01
déficit, né, com essas métricas mais técnicas também.
34:03
Uma outra coisa que eu fiquei bem curiosa aqui, vocês até, né?
34:06
No nosso decorrer aqui da conversa você falou, Pablo, que
34:10
essa fundação toda desse caso de uso, né?
34:13
Do? Do do motor de recomendação
34:14
habilitou novos casos de uso de inteligência artificial.
34:18
Dentro do Martins e, claro, aqui no entre chaves a gente tem
34:21
falado muito sobre LLMSE agenerativa, né?
34:25
EEA gente aqui na dti mesmo também tem visto muito a
34:30
demanda. Crescendo dos nossos clientes,
34:33
né? De poxa, agora eu quero casos de
34:36
uso de agenerativa também. Aí no Martins vocês também estão
34:40
vendo isso? E você?
34:41
E mais, né? Você acha que essa fundação que
34:44
foi criada nessa época e, claro, evoluída e ao longo do tempo,
34:47
foi importante para esse momento que estamos hoje, né?
34:50
Da do boom aí das e agenerativas.
34:53
Sim, foi, foi. Bem importante, né?
34:55
E como eu disse, só habilitou a gente a ter novos casos de uso,
34:59
né? Tem uma estrutura ali mais
35:01
robusta de data Lake de ferramentas, né?
35:03
Inclusive a gente usa muito data brics foi a ferramenta que a
35:06
gente começou a usar por esse projeto, inclusive é
35:10
interessante, hoje a gente tem 11 assistente de inteligência
35:13
artificial, né? Baseado em e agenerativa, que a
35:16
gente chama aqui de Mari, que ela atende, tem uma parte que
35:19
atende dos nossos clientes diretamente e tem uma interface
35:22
que. Conversa com nossos vendedores
35:25
dentro do Olivia, WhatsApp e uma das thules, né?
35:28
Dessa, dessa da Mari, né? Que se a gente pensar que ela é
35:31
um sistema ali de de agentes, de de inteligência oficial, uma das
35:35
ferramentas que a que esses agentes usam é o modelo de
35:38
recomendação. Então quando o cliente está
35:40
conversando querendo comprar e diretamente com o nosso agente
35:43
de IAE, ele pede uma recomendação ou o próprio agente
35:46
vai recomendar alguma coisa adicional ao pedido, ele aciona,
35:50
né? Essa essa tour que lê
35:52
diretamente dessa. Ações geradas pelo pelo motor de
35:55
recomendações. Então, está totalmente integrado
35:58
também com essas jornadas que a gente tem hoje de e a
36:01
generativa. Bom, gente, acho que foi bem
36:03
legal esse papo. A gente conheceu bastante aí
36:06
sobre o case, né? Do motor de recomendações do
36:08
Martins, como ele habilitou outros cases que também foram
36:12
bem relevantes, né, para o Martins?
36:14
Fenomenal assim. Você vê na prática, né?
36:17
Um data Lake surgindo de forma orgânica, exato, de forma
36:20
saudável e que possibilitou todos esses casos de.
36:23
E ainda acredito que tenha colocado, né?
36:25
O Martins é a um passo à frente. Quando veio o boom da da com
36:30
certeza das e agenerativas, né? Que foi depois, né?
36:33
Do nascimento desse projeto. Bom, então é isso gente.
36:37
Muito obrigada, Pablo. Obrigada malaga, obrigada.
36:41
Até a próxima pessoal, tchau, tchau, tchau, tchau.
36:43
Obrigado pessoal, até mais.