Latest / Product Guru's : Produto | Negócios | Carreira / Scraping com IA: Como Agentes Autônomos Estão Mudando Tudo! | Jeff Andrade @ rpc

Transcript

Scraping com IA: Como Agentes Autônomos Estão Mudando Tudo! | Jeff Andrade @ rpc · Product Guru's : Produto | Negócios | Carreira

0:00
Ela poderia tentar resolver, ela pode resolver, né?
0:02
Com com o uso de de agentes autônomos, com o uso de
0:06
navegação autônoma, com o browser, eu já fiz isso, já
0:09
consegui. Ela consegue resolver esses
0:11
puzzles que que nós clicamos nos é sei lá, clique No No nos gatos
0:15
e aí você tem várias imagens EE, ela consegue resolver isso com a
0:18
facilidade, mas é, existem as questões éticas e ilegais, né?
0:24
Na, na minha profissão, No No meu trabalho hoje é.
0:29
AAAAA. Lei diz que eu não posso fazer
0:33
extração do dado. Se é, se For Me apresentado 11
0:39
tela que diga que eu não posso, é no caso o caputer, por
0:43
exemplo, né? Se disser que aquilo ali não é,
0:47
não pode ser extraído com com uma automação, então eu não
0:52
posso infringir isso. É nesse caso, é o abandono.
0:55
A extração e, né? É, mas existem muitas vezes
0:59
maneiras de se contornar. Oi, tudo bem com você?
1:06
Meu nome é Paulo schrodi e você está ouvindo a praia de guru?
1:08
O podcast carvais por trás de 2 produtos, mas que também aborda
1:12
negócio, tecnologia e carreira. De peito aberto e seguindo a
1:18
saga, vamos falar mais de a hoje, só que um assunto
1:24
interessante de a. Mas antes está ouvindo pelo
1:27
Spotify e app podcast, que clique no botão seguir e deixe
1:31
suas 5 estrelas. Isso é muito importante pra
1:33
gente. E também no Spotify e no app
1:36
podcast dá pra você fazer um comentário sobre o que é show do
1:41
nosso episódio ou sugerir ou fazer perguntas que a gente
1:45
compartilha com nosso convidado. E o nosso convidado responde No
1:48
No LinkedIn dele, enfim, ele ou a gente mesmo responde nas
1:52
nossas redes sociais. Tá assistido pelo YouTube?
1:55
Se inscreva no canal, deixe seu joinha, comente também e
1:57
compartilhe, por favor. Dados recados mais importantes
2:03
do episódio, um dos mais importantes, estou com ele.
2:07
Ele é o maior especialista em screping e agentes de a do
2:14
Brasil. Ele é palestrante Internacional,
2:17
só isso. Ele vai para Bolonha, Itália.
2:21
Não sei quando que vai esse episódio ao ar.
2:23
É bem capaz que ele já tenha ido para a Bolonha, Itália para
2:27
falar sobre isso. Um brasileiro indo viajando o
2:31
mundo para falar sobre AE, sobre scrap.
2:34
Seja bem-vindo ao proit gurus. Jeff, obrigado o.
2:37
O Jeff, a primeira pergunta é, o que é scraping?
2:41
Bom scraping é a extração de dados, né?
2:45
AA raspagem de dados que seria AA tradução literal.
2:50
E é basicamente algum algoritmo algum, algum script que que vai
2:57
até um site, vai até uma plataforma, uma API, é faz a
3:02
leitura daqueles dados ou de documentos, é transforma aquilo
3:06
em dados e guarda num banco de dados, faz a extração daquilo.
3:10
EEE transforma é em em algum dado estruturado, algo assim.
3:15
Qual que é a diferença? Como que era feito antes essas
3:20
essa extração de dados e como que é feito hoje com EAE agentes
3:26
de a, como que é feita essa evolução?
3:29
É de porque aí com certeza era manual, né?
3:32
Sim, sim, é. Os scrips eram manuais.
3:35
É bom até as as próprias proteções quanto quanto a isso
3:41
mudaram com o tempo. É, sei lá, há poucos anos atrás,
3:46
10 anos apenas de 10 anos atrás. É, não haviam tantas proteções
3:52
nos sites, nas, na, nos próprios navegadores, né?
3:56
Que passaram a se identificar melhor enquanto é agentes de de
4:03
automação. Então, a extração de dados, ela
4:06
mudou muito de 10 anos para cá? Há menos de 10 anos atrás era
4:11
muito fácil criar 11 script desse extrair dados.
4:15
Não haviam muitas proteções, muitas defesas e isso foi vem
4:18
sido, vem vem sendo trabalhado através de de haters específicos
4:24
de serviços, né, como cloud front, serviços que que existem
4:29
para detetar e pedir a extração de dados porque.
4:34
É, é uma ferramenta estratégica, né?
4:36
É quem tem dados, tem decisões baseadas em dados.
4:39
Hoje em dia é, é crucial, é essencial, é.
4:42
Então eu já já comecei há há um tempo atrás com um bote simples
4:48
pra pra fazer automações. Ali fazia votação em reality
4:52
show, esse tipo de coisa, e era muito simples, não tinha nenhuma
4:54
defesa, não tinha nenhuma proteção e com o passar do tempo
4:57
se se tornou 111 Fortaleza. Esse tipo de serviço é com.
5:03
Começou a ficar muito importante ter compra medidas é pra
5:09
bloqueios, pra detecção de desses agentes, então Oo
5:14
tradicional já é complicado assim já não, já não é tão
5:17
simples hoje em dia é passar por esses serviços, né?
5:21
É EAA segunda pergunta foi se é. O que mudou, né?
5:29
Do da da extração estática pra pra estação por por agentes, né?
5:35
Então é, eu trabalho pra pra uma empresa, é trabalho No No no
5:42
setor de dados, trabalho pra uma empresa da Alemanha e nós
5:46
extraímos é em torno de 100 100 sites por 3 vezes por semana.
5:52
São um dia e meio de extração cada.
5:55
Cada turno, né? Cada sessão.
5:58
E imagino manter 100 sites em várias línguas diferentes,
6:04
porque são de várias origens em vários países.
6:09
Então você precisa, durante a extração de dados, identificar
6:14
Oo campo, identificar qual o dado vai ser extraído, né?
6:20
Para tornar aí o dado bruto do do site e um dado estruturado.
6:24
Então você tem lá um texto. No No site, você quer extrair
6:28
aquele texto. Ele está em um elemento, né?
6:31
Do HTML, da da linguagem de marcação.
6:34
Ali ele tem um atributo AD, por exemplo, que vai definir, sei
6:39
lá, Oo texto vai ser Oo, sei lá, o título, o ADI vai estar title.
6:47
Você quer extrair os títulos de uma notícia?
6:49
Você precisa então fazer uma referência a esse ADI, o title.
6:53
E quando você trabalha com sites de vários países diferentes e
6:57
várias línguas diferentes, muitas vezes esses
7:00
identificadores eles são locais, são regionais, né?
7:05
Regionalizados eles têm. Eles são baseados na própria
7:09
língua e também com com o surgimento do dos frameworks.
7:14
É dinâmicos, né? React é o angler EE view JS né?
7:21
Que alguns desses. Ou alguns componentes desses
7:24
geram é classes dinâmicas. Ou seja, a classe já não é algo
7:28
que você pode se basear para fazer.
7:29
A referência a um conteúdo, a um conteúdo que você pretende
7:35
extrair, se tornou muito complexo manter esses sistemas.
7:42
É principalmente sistemas grandes de extração, né?
7:46
Trabalhei em um projeto também há há uns anos atrás.
7:50
Que fazia a extração de preços de de vários hotéis, né?
7:54
É um exemplo booking a trivago em em várias plataformas e nos
7:59
próprios sites dos hotéis. E era 11 ferramenta para que os
8:04
donos de hotéis ali, os gerentes de hotéis, pudessem precificar
8:08
dinamicamente, né? Basicamente, é o que eu faço
8:11
hoje. Também trabalho com a extração
8:13
de dados para para definição, dinâmica de preços, para
8:17
estratégia de criação de produtos e tal.
8:20
Oo meu cliente hoje principal é é ABMW.
8:24
Ela se baseia nesses dados que que eu e a minha equipe
8:28
extraímos para desenvolver o os os próximos carros, é planejar a
8:34
distribuição desses desses carros é de acordo com a demanda
8:38
de cada país, né? O país vai ter uma preferência
8:41
maior por um SUV e outro vai ter.
8:43
Preferência pro esportivo? Então ela ela se baseia mais ou
8:46
menos AA precificação de acordo com com essas informações.
8:50
Então é, é, é mudou muito? É, é muito difícil se manter.
8:57
É 100 sites, a equipe já já precisou ter mais de quase 30
9:02
pessoas pra se manter porque o site se atualizam todo ano.
9:06
Já deve ter entrado no site da Mercedes, da BMW, da.
9:10
É, não sei daqui, é, et cetera. As montadoras, elas trocam de
9:14
site o tempo inteiro, imagina manter é pra 100 websites pra em
9:20
em vários países, sei lá, em dezenas de países, é, e alguns
9:24
com essas características regionais.
9:27
Chega a um ponto que é impossível ter o controle disso,
9:31
né? Nós chegamos a esse ponto que
9:32
nós precisamos criar níveis de abstração.
9:36
É pra. Para configurar ali, deixar 11
9:43
cluster ali homogêneo de de extratores EE.
9:46
Aí definir em arquivos de configuração separado para
9:50
tentar diminuir ao máximo essa manutenção.
9:53
Mas ainda assim chega um ponto que que é inviável e aí entram
9:57
os agentes de a porque um dos principais problemas da da
10:02
extração de dados do screping. É, são essas são as classes
10:07
dinâmicas, as as as identificações dinâmicas, né?
10:10
Desses conteúdos. E é a manutenção de de grandes
10:15
plataformas que é realmente inviável.
10:17
É se manter quando quando é pontual, né?
10:21
Quando é um é. São poucos sites, é tudo bem,
10:24
mas é quando se chega nessa casa aí de centenas, é é bem
10:28
complicado. O você, você, você tem falado
10:31
bastante sobre. É extração de dados para tomar
10:34
de decisão, né? Você falou que a BMW usa isso
10:37
até mesmo pra construir os próximos modelos de carros e tal
10:42
quais são é os setores que dependem de screping de dessa
10:50
extração de dados para tomada de decisão.
10:52
Porque é bem interessante, né? Isso o que você tava falando, eu
10:56
tava pensando, faz sentido, né? Tipo, como que?
11:01
Como que Oo hotel vai saber se pode aumentar ou diminuir o
11:05
preço se de de forma dinâmica tem que fazer alguma coisa,
11:11
ninguém vai entrar lá no todo dia ebook.com Airbnb é algo tipo
11:17
para poder é ver, né? Então, quais, quais setores eles
11:23
são? Eles são dependentes da extração
11:26
de de do scrap de da extração de dados.
11:29
Não é toda a empresa, né, que precisa.
11:30
Não. Mas eu diria que a maioria sim.
11:36
Quando quando se tem essa questão da precificação
11:38
dinâmica, né? É, é uma área da área de dados.
11:42
Existe uma área específica para isso?
11:47
Oo meu, o meu então chefe, inclusive ele tem doutorado em
11:51
em especificação dinâmica, é bem específico, especialista nisso.
11:56
E então todas essas áreas que tem onde tem uma competição
12:00
muito dinâmica, né, de preços, uma competição muito.
12:05
É uma competição muito, muito voraz ali, que né?
12:10
As empresas brigam o tempo todo pra pra ter o melhor custo
12:14
benefício, melhor preço. É, pode ter certeza que todas
12:18
elas é o fazem uso de de inteligência, de de precificação
12:23
dinâmica e de desse tipo de plataforma de extração de dados.
12:26
E aí você tem supermercados, né? Redes de supermercados, você tem
12:30
farmacêutica da farmacêutica, é gigante nessa área também faz
12:34
trabalha muito com extração de dados.
12:36
É hotéis, né? Como já falamos nessa área toda
12:41
de turismo, tem, tem isso. É passagens aéreas, et cetera.
12:44
Tudo isso tem tem utiliza muito? É essas ferramentas de de, de
12:51
inteligência de dados, de de extração de dados.
12:54
Você preparou 11 demonstração, né, Jeff?
12:58
Pra gente aqui você consegue compartilhar?
13:01
Sim, até foi, foi, na verdade é. Eu eu acabei concluindo hoje 111
13:14
implementação aqui, que ficou bem interessante.
13:17
É, existe o maior firmework hoje, eu acho de de agentes de
13:22
a, né? É open soci é chama se Lang
13:26
chain é mantido por uma comunidade com milhares de
13:29
pessoas. E a parte específica ali de
13:33
extração de dados de navegação autônoma, estava um pouco
13:36
abandonada. É, estava desatorizada EE não
13:39
funcionava muito bem com play right, né?
13:42
Claro que você tem, você tem é AAPIS, você tem serviços
13:48
terceiros ali que você pode se conectar e fazer a extração de
13:51
dados, mas. Se você quer uma solução de self
13:56
host, né EEE ou pessoal se ali que que você mesmo vai manter é
14:03
não existem tantas opções, é nós temos hoje o browser.
14:09
Eu até já fiz algumas contribuições corrigi bugs, né?
14:13
É fui convidado para fazer parte dos Insiders, né, que que a são
14:18
as pessoas que que contribuem ali no com o projeto.
14:22
E participa da participa das discussões, né, das
14:25
implementações. Então hoje acho que a principal
14:29
ferramenta é, é é o browsey Youse, nesse nesse sentido de de
14:34
automação. É open source, né?
14:37
É. E estão surgindo a Microsoft,
14:40
que lançou uma recentemente, estão surgindo outras outras
14:44
ferramentas humanos. Tem, até tinha, não sei se ainda
14:47
tem, mas tinha no reading deles até 111.
14:50
Agradecimento lá ao próximo Youse, porque eles parece que
14:53
eles se basearam bastante ali, né?
14:55
Na tecnologia do próximo Youse utilizaram pra construção do
14:58
humanos. Então é, é, é, acho.
15:03
A biblioteca é hoje mais conhecida, e aí eu é.
15:08
Eu fui olhar as tools de ling chain pra pra um projeto da da
15:12
empresa e percebi que estava desatorizado e que precisava de
15:15
de uma manutenção ali e acabei construindo ali é no ling chain
15:21
as tools pra pra que funcionaria, né?
15:24
Como o Brothers funciona? Então eu vou, deixa eu
15:30
compartilhar aqui. Enquanto isso, o Jeff
15:35
compartilha a tela recado. O futuro dos produtos digitais
15:40
já começou e a inteligência artificial é parte do time.
15:43
APM 3 acaba de lançar a formação em gestão de produtos dia, um
15:48
curso pensado para a proit manager que querem criar,
15:51
delegar e inovar com mais inteligência.
15:55
Muito além dos prompts, você vai aprender a liderar produtos
15:58
baseados em a dominar temas como machine learning de pilone e a
16:02
generativa e aplicar novas formas de Discovery e
16:05
experimentação e validação. Prepare se para o mercado que
16:09
mais cresce no mundo e torne se OPM que lidera a transformação.
16:13
Acesse o link aqui na descrição e saiba mais.
16:17
Tem que pôr o desconto, Hein? Para arte e gurus, tudo junto.
16:20
Então é essa estrutura básica de um agente, né?
16:25
De Lang chain. Essas são as tools.
16:28
Eu desenvolvi. Já já havia para para clicar em
16:31
um, em um, em um elemento e. E pra navegar pra pra uma URL.
16:39
Mas era tudo bem básico, é eu, eu desenvolvi entre ontem e
16:44
hoje, né? É algumas algumas ferramentas,
16:48
como pra extrair a estrutura toda da da página, é uma
16:52
ferramenta pra pra inserir textos, né, pra rolar a página.
16:58
Então o você cria ferramentas, né?
17:01
Cria. São basicamente funções, né?
17:05
Classes com funções. Do Python, nada de muito
17:10
diferente. Você define quais parâmetros
17:16
essas funções vão receber, como um seletor, né?
17:19
Que é a identificação daquele conteúdo da página que você quer
17:23
extrair, ou por por texto, por exemplo, para identificar um
17:27
botão, por exemplo. Para aceitar os cookies, né?
17:32
Posso definir? Clique em aceitar.
17:34
E aí? Ele vai usar o texto pra
17:37
encontrar aquele elemento na página.
17:39
O problema é quando você tem mais um elemento com o mesmo
17:41
texto, né? Por isso que às vezes é é mais
17:44
utilizado 11 seletor do CSS ou o expf também, que que é o caminho
17:51
pra se chegar naquele elemento, né?
17:53
Que o navegador é identifica é. E aí basicamente eu faço uma
17:59
descrição, é construo o seletor. E aqui está a parte que seria Oo
18:06
atuo em si, né? É é o que Oo agente de Ah vai
18:11
enxergar pra pra executar, carrego a página, et cetera,
18:16
enfim, esses sons pormenores aí do do código.
18:20
O interessante é ver em ação é, eu estou aqui nesse exemplo, eu
18:25
estou usando a chave da jam, né? Tenho, tenho utilizado.
18:31
AA Google gemna pra isso é testei inclusive você pode ver
18:36
aqui a gente falou hoje lá do no seu LinkedIn, do do comentário
18:41
do do, do da versão 2.5 estou usando ela.
18:44
A flash preview é da 2.5 pra esse exemplo é, eu vou dei um
18:51
exemplo aqui hoje da no site da youcon, é basicamente é.
18:59
Eu eu só pensei em uma loja que tivesse produtos, né?
19:02
Pra pra testar a navegação é e aqui basicamente ao invés de
19:08
passar 11 prompt Pra Ele, eu eu usei o arkpass pra receber esses
19:13
comandos, um comando, um promptzinho No No diretamente
19:17
aqui no terminal que ele fica mais fácil testar, né?
19:21
Não tem que reescrever Oo prompt aqui toda hora e é basicamente
19:27
isso aqui. É, então eu não sei se eu
19:32
carreguei o ambiente, acho que sim, então eu executei esse
19:36
prompt. Basicamente ele vai abrir o site
19:39
da uncon, ele vai procurar acessórios, vai procurar um
19:42
boné, se não me engano, e o primeiro boné ele vai, ele vai é
19:49
tirar 11 print da tela, né? Um screenshot é, nós podemos
19:54
acompanhar o raciocínio do. Do, do, do agente.
19:58
Enquanto isso. Então, aqui ele está tentando
20:01
clicar no aceitar e fechar, né? Do do aqui, do do navegador, é.
20:14
Acho que ele vai falhar, inclusive, porque não já, já
20:16
não, não tem aqui no caso, o os hulks, eu vou.
20:22
Eu, essa é a parte complicada de se trabalhar com agentes também
20:26
de a, porque tudo depende do prompt, né?
20:29
O prompt ele precisa ser bem escrito.
20:31
Então se eu disse Pra Ele que ele precisa navegar o site da
20:34
youcon e ele precisa clicar e aceitar os cookies, ele ele vai
20:39
tentar. É anão ser que eu descreva que
20:43
se caso seja necessário, né? Então, ou remova essa parte,
20:48
senão ele vai, ele vai tentar várias vezes, ele vai tentar
20:51
outros. É outras estratégias, até porque
20:56
essa é uma vantagem também do do agente de AE quando ele encontra
21:00
11 problema quando ele não consegue clicar em algo aqui
21:03
agora tem uns cookies, ele aceitou.
21:05
É quando ele não consegue clicar em algo, ele ele automaticamente
21:10
já tem um raciocínio, né? São são modelos de reasoning,
21:14
então é ele percebe no, no. Naquele loop que que ele não
21:20
encontrou, que ele não clicou No No botão esperado, que ele não
21:23
encontrou um componente do site que precisava encontrar.
21:26
E ele já tenta outra alternativa, né?
21:30
É automaticamente ele vai chamando aquelas funções que eu
21:32
mostrei aqui, por exemplo, click element, ele ele identifica o
21:37
que ele precisa clicar, o que ele precisa fazer.
21:41
Ó aqui ele chamou de novo outra tour, que é AAA, que extrai OA
21:46
estrutura do site. E ele chama automaticamente pra
21:50
saber o que que ele tem de elemento interativo no site.
21:54
Essa ela ela vai expor, né? Num num num formato de dados
21:59
estruturados é tudo que ele pode interagir no navegador, botões,
22:04
é tudo que é clicável no site. E aí no caso ele, ele fez isso
22:08
pra encontrar a parte de acessórios e já, já achou aí a
22:11
parte de bonés, né? É?
22:15
E aí ele continua esse loop até ele conseguir concluir ou ou
22:17
falhar, né? Esse, esse, esse prompt, que que
22:22
eu essa requisição que eu fiz, né?
22:26
É, é basicamente isso, ele tá, ele tá aqui tentando encontrar
22:34
um elemento e tal. EE, ele vai assim, é, às vezes é
22:37
tentativa e erro, quanto mais ferramentas nós damos pro pro
22:40
agente. É, mas mais sucesso ele vai ter,
22:44
né? Se eu se eu dou 11 fonte de
22:48
dados ali, os dados estruturados Pra Ele, Pra Ele saber onde
22:51
clicar com as informações que ele precisa, ele ele resolve
22:55
isso mais fácil, se não ele vai na tentativa e erro EE até
22:58
chegar exausto. Não, eu posso limitar a
23:00
quantidade de de de tentativas, mas agora agora ele achou algum
23:04
outro componente que reordenou esses bonés e provavelmente ele
23:09
ele vai conseguir agora achar o. O produto que que está definido
23:15
no prompt? É muito interessante acompanhar
23:18
um agente funcionando. Eu Acredito que quem está
23:21
assistindo você que está pelo Apple podcast ou qualquer outra
23:24
plataforma de podcast, é bem interessante assistir esse
23:29
episódio no YouTube ou no Spotify que tem o vídeo.
23:33
Porque ver um agente funcionando é interessante, porque um.
23:40
A gente viu aqui que não é não é um não é mágica, né?
23:45
É o prompt ingerir, como a galera fala, tem que ser muito
23:51
bom, né? Tem.
23:52
Você tem que saber o que você tá pedindo, porque se não vai dar
23:56
erro e vai ficar num looping de erro.
23:57
E aí você fica, pô, mas não tá indo sim, não tá indo porque
24:01
você pediu Pra Ele, é clicar num botão que não tem.
24:06
Então você tem que falar, pô, se tiver.
24:10
Você aperta, se não tiver, segue o jogo, vamos embora.
24:14
É, e eu acho que uma coisa que a gente tá legal aqui também,
24:20
vendo esse caso, o Jeff, é que quando a gente vê no LinkedIn,
24:26
no Twitter, no YouTube, TikTok, por exemplo, as pessoas mostram
24:32
os agentes de a ou mostram as coisas de a numa velocidade
24:36
muito rápida. O que dá a sensação de que, pô,
24:40
eu vou falar, ele já vai gerar. E não é assim, né?
24:44
Ele vai, ele volta, ele avisa, você aqui, ó, tá dando erro
24:49
aqui, tá mal. Sim, sim, se nós olharmos aqui,
24:52
Oo histórico é, são exatamente a as as ferramentas que eu dei a
24:57
ele, né? É onde está aqui é, tá intuso?
25:07
É, é. Não espera, não é esse
25:09
escritório, é aqui, é pronto, aqui é, são exatamente as
25:14
ferramentas que que nós damos AAA, esse agente que ele
25:19
simplesmente utiliza, ele usa esse raciocínio, né?
25:21
O reasoning pra pra definir qual é a necessidade dele de acordo
25:25
com o prompt, eu digo Pra Ele, Ah, pesquise sobre sobre algo No
25:30
No site tal, ele faz esse raciocínio, ele faz um loop de
25:34
planejamento primeiro. Ele fala, Ah, pra eu pesquisar
25:37
eu preciso primeiro abrir o site tal.
25:38
E ele literalmente fala isso. Se nós olharmos aqui nos logs,
25:43
ele literalmente, a primeira coisa que ele fala é, é,
25:48
primeiro eu vou, eu vou é abrir o site, ó, primeira coisa que
25:56
ele que ele define. Então ele faz essa, esse loop de
26:00
planejamento e. É faz a inferência, né?
26:06
Ele, ele, ele chega AA conclusão de que ele precisa é navegar pra
26:13
esse site. Em segundo, ele chama essa
26:16
extract don't tree, que é que é basicamente a estrutura do site
26:19
de uma maneira estruturada, que é exatamente a essa ferramenta
26:25
que eu dei Pra Ele, que é a extract don't tree.
26:28
Então é. Ou seja, ele são simplesmente
26:33
funções que nós já temos hoje em diversos sistemas, né?
26:36
Construídos com Python ou com com qualquer linguagem.
26:39
E nós damos AAIAAA opção de chamar aquela função, né?
26:45
De de executar aquela função e definir quais parâmetros ela ela
26:49
vai usar. Entendeu?
26:51
É. Tenho uma dúvida.
26:55
Ele vai, ele vai extraindo. Então, por exemplo, aqui você
26:57
pediu Pra Ele extrair os preços. É isso, né?
27:00
Qual que foi? Qual que é o objetivo que
27:01
extraiu os preços? Eu pedi Pra Ele é navegar pelo
27:05
site da por aquele site e encontrar bonés e clicar no
27:12
primeiro boné do resultado EE tirar um print da da tela assim
27:16
que ele que ele abrisse OA página do produto.
27:19
E ele conseguiu fazer, né? Sim, conseguiu.
27:22
Ele fez o gerou o print aqui do do da página como como esperado,
27:27
né? É, fiz mais cedo aqui também no
27:29
durante os testes 11 teste com o site da Amazon, pedi para
27:33
procurar por por Nintendo suíte EE, aí ele.
27:38
Nintendo Swift 5000 BRL o Nintendo Swift mais caro do
27:42
mundo é no Brasil. Hã?
27:44
Mas esse é o OLED, é a primeira versão.
27:48
É então basicamente a mesma coisa, a mesma lógica no prompt,
27:52
eu só pedi ele para que ele pesquisasse No No site da
27:56
Amazon, é por Nintendo o suíte ou LED, e aí automaticamente ele
28:01
faz a inferência, ele pegou a estrutura aqui do site, nós
28:04
podemos ver o login aqui do do raciocínio, né?
28:06
É, ele pegou a estrutura do site, é e.
28:15
Navegou, tem o site primeiro, depois pegou a estrutura e aí
28:18
depois ele já falou, ó, agora eu preciso usar a função de clique.
28:22
E aí ele é clicou já no, no, no elemento, né?
28:27
No primeiro elemento, ali do do resultado, que é o primeiro, o
28:30
primeiro resultado, né, com com o Nintendo switch ou LED ali e
28:35
aí aqui no final você pode ver também ó, o input, né?
28:37
O que que foi passado Pra Ele de parâmetro de de prompt, no caso?
28:42
É o último step que foi o dono que ele ele é.
28:47
Chegou à conclusão de que ele é chegou ao final, né?
28:50
Dessa, dessa execução EOO pensamento dele ali.
28:55
O resultado, né? Eu naveguei a ter um produto até
28:59
a página do produto e tirei um expresshot, ele tá tá aqui
29:02
expresshot que ele tirou, é? 11 dúvida, vendo ele funcionar,
29:09
sim, né? Questão de de privacidade e
29:14
segurança, porque me me me apareceu aqui, ó.
29:17
A gente acessou o site da EOEOEO com, eu acho que era o site do
29:22
boné e o com e agora a Amazon é qual?
29:28
Qual é a Barreira e qual que são os níveis de segurança?
29:31
É enfrentado algum tipo de de de de dessas questões de segurança?
29:37
É e questão de privacidade, né? Que nem o lance dos cookies,
29:41
dados, informações assim. Bom, é, existe sim.
29:45
Inclusive hoje, para minha surpresa, eu, eu, eu também
29:48
testei isso EEA própria e a ela se limita quando quando tem um é
29:56
quando tem um caput, por exemplo, né?
29:59
Uma deteção, se aquilo ali é 11 robô.
30:02
Que é muito comum ter no nos sites, né?
30:04
O recapt algum puzzle para se resolver ali para para detetar
30:08
se é um robô OOA própria e a respeitou isso.
30:11
Ela disse que encontrou um capter EEE que não podia
30:18
prosseguir. Ela ela poderia tentar resolver.
30:21
Ela pode resolver, né? Com com o uso de.
30:24
De agentes autônomos com uso de navegação autônoma com browser.
30:28
Eu já fiz isso, já consegui. Ela consegue resolver esses
30:31
puzzles que que nós clicamos nos é, sei lá, clique No No nos
30:34
gatos e aí você tem várias imagens EE, ela consegue
30:37
resolver isso com a facilidade, mas é, existem as questões
30:41
éticas e ilegais, né? Na, na minha profissão, No No
30:46
meu trabalho. Hoje é AAAA.
30:50
AAA lei diz que eu não posso fazer extração do dado se se For
30:57
Me apresentado 11 tela que diga que eu não posso.
31:02
No caso o caput, por exemplo, né?
31:04
Se disser que aquilo ali não é, não pode ser extraído com com
31:10
uma automação, então eu não posso infringir isso.
31:14
Nesse caso é o abandono. A extração e, né?
31:17
É, mas existem muitas vezes maneiras de se contornar
31:21
legalmente, é, vou te dar um exemplo, teve um site da Espanha
31:26
que eu tava fazendo a extração, essa até um pouco a graça que eu
31:30
gosto, a graça que eu acho dessa, dessa profissão é um é um
31:33
dos motivos que eu gosto, que é sempre é, é sempre um puzzle,
31:36
sempre 11, tem sempre ali 11. Sabe uma técnica ali, sempre uma
31:47
coisa para se quebrar. 11 parte de hacking assim dessa, dessa
31:50
profissão, porque todos os sites praticamente tem tem essas
31:54
defesas. E é, nós não podemos infringi
31:57
las, mas nós podemos contorná las.
31:59
Às vezes, por exemplo, esse site da Espanha, ele me apresentava
32:04
11 página de bloqueio. E aí observando aquilo ali, eu
32:10
falei. É, eu tentei entender porque ele
32:13
bloqueava, não estava muito nítido o motivo.
32:17
E aí acontece que nessa página, se mesmo que não, que não seja
32:22
Oo agente autônomo, mesmo que não seja uma automação script,
32:26
se eu fosse direto ao produto, ela me bloqueava.
32:30
Se eu clicasse direto no produto, ela me bloqueava porque
32:33
é sem 11 haffer, sem um site anterior que eu naveguei.
32:36
Porque quando nós abrimos um site.
32:40
Nós enviamos Oo nosso navegador envia cabeçalhos, né?
32:44
São informações, metadados ali para o serviço, para o servidor
32:48
onde esse site está hospedado. E um dos desses parâmetros, por
32:52
exemplo, pode ser o rapper, que é o de onde você veio na
32:56
navegação. É, não sei se você conhece, já,
32:59
já, já usou o Google Analytics? Eu Acredito que já tenha.
33:03
Pelo menos isso, né? É, você tem ali a origem do do,
33:07
do, do do seu clique, né? Você tem a origem da visita.
33:11
Se você, sei lá, você publica, por exemplo, alguém publica
33:16
alguma coisa sobre o seu site em em é algum outro site, você
33:20
consegue ver de qual site esse visitante veio e é a mesma
33:23
coisa. Então essa, essa, esse site, ele
33:27
usava, essa, esse hater, esse cabeçalho pra.
33:31
Bloquear quem surgiu ali Do Nada, naquela parte, na naquela
33:35
página interna, ele entendia que aquilo ali só podia ser 11.
33:38
Bote alguma coisa assim. Então ele fazia o bloqueio, e o
33:42
que eu fiz foi passar e injetar no cabeçalho 11 página anterior,
33:46
uma página aleatória qualquer. E aí passou, não, não infringi
33:50
nenhuma regra, não infringi nenhuma lei.
33:52
E é passei legalmente por essa Barreira, esse bloqueio.
33:56
Seu requisito deles era que você.
33:59
Não chegasse de lugar nenhum que você tivesse vindo através da
34:01
navegação, do site. Então essas é é essas manhas,
34:07
né? Essas, esses pequenos desafios
34:09
são são que que me atraem bastante aí nessa área.
34:13
É o que eu gosto de de fazer essa parte de de hacking assim,
34:17
de quebrar a cabeça, de entender é como como funciona o como
34:23
funciona aquele serviço, como quais são as regras ali.
34:26
EE. E sem quebrar nenhuma regra, sem
34:30
quebrar nenhuma lei, é concluir o serviço, fazer, fazer o que
34:34
que precisa ser feito. Então, então, basicamente a
34:38
extração, o scrap, ele só faz a extração de dados que estão, que
34:42
são públicos, digamos assim, que está aparente.
34:45
Então é preço, nome do item é, enfim, essas informações de
34:53
logística, né? De quanto tempo frete essas
34:56
coisas? Tudo que está aparente, então?
34:58
É porque eu me lembro e aí a gente já tá se caminhando pro
35:01
pro final do episódio. Eu me lembro que quando eu tava,
35:05
quando eu trabalhei numa plataforma de delivery, é uma
35:09
das ideias do do do diretor Na Na época era justamente fazer
35:13
isso, fazer uma raspagem de informações dos menus.
35:18
É de delivery dos concorrentes pra usar.
35:24
É esses dados pra melhorar. Ou para fazer vendas, né?
35:32
Ativas. Então, por exemplo, eu vou lá No
35:35
No exemplo, eu tenho uma plataforma de delivery que não
35:40
cobra mensalidade, certo? Certo, é, então eu vou lá,
35:46
contrato o Jeff e falo, Jeff, eu preciso de um scrap de todos os
35:50
restaurantes do iFood. Então, No No iFood, as
35:55
informações do restaurante são públicas, né, porque você tem o
35:57
nome. Você tem lá o endereço, você tem
35:59
lá, eu não sei se tem o telefone, mas você tem ali é
36:04
algumas informações do restaurante, então dá para você
36:07
fazer um scrap e você fazer uma ação de vendas ali é acionar
36:11
esse restaurante e falar assim, ô, você não quer usar minha
36:13
plataforma tal não sei o que nesse caso, ok, né, Jeff?
36:19
O que não o que, o que não é ético, digamos assim, é você.
36:26
Como você falou, né? Quando tem algum capcher, quando
36:29
tem alguma coisa. Mas quando envolve é dados, é
36:34
pessoais, é de alguém, né? Isso isso você não pode fazer.
36:39
Sim, sim, exato. É o screping legal?
36:43
É. É aquele que extrai os dados
36:45
públicos? Sim, inclusive.
36:48
Eu não sei se você já já viu, mas existe inclusive 111.
36:54
Um arquivo de regras que é o robots ponto TXT nos Na Na raiz
36:58
dos sites que que definem essas regras também.
37:01
O que que pode ser feito? Screaping o que não pode é é é é
37:06
um assim, é uma área meio cinza, né?
37:09
Eu acho da da da ciência de da ciência de dados, da da
37:14
programação. É, eu acho que é uma área meio
37:17
cinza, porque as regras são. Não são muito claras, né?
37:23
E existe um pouco o desafio do do algumas empresas, elas até
37:30
brincam com isso, você pode, é muito comum achar.
37:32
Hoje eu vi que o Airbnb, por exemplo, ele tem um uns easter
37:35
eggs dentro do site que você consegue encontrar quando você
37:38
tá fazendo um screating, eles deixam é no código fonte, ali,
37:42
alguns, alguns, algumas mensagens, sabe?
37:45
Alguns sites brincam com isso. Eu entrei em um site há um tempo
37:48
atrás, assim fazendo, scraping também, que falava assim é olá,
37:52
bote algo assim, sabe uma mensagem assim pra já imaginando
37:56
que alguém tentando Ah, aqui você não vai encontrar nada,
37:59
algo assim. Então alguns sites eles brincam
38:00
já com isso, sabem que vão que vão existir, esses scrappers
38:03
sabem que vão existir é é que que vai existir alguém extraindo
38:07
dados dali nem sempre é desejável pra empresa, às vezes
38:11
ela não quer se expor, ela não quer que esses dados sejam
38:14
massivamente. É extraídos, né?
38:17
Porque geralmente vai ser um competidor, né, que tem
38:19
interesse naquele dado EE, por isso elas adotam essas medidas.
38:26
Pra pra evitar, né? Mas é, existe, existe OOA,
38:32
extração de dados ética ali que você respeita um limite, por
38:36
exemplo, de de requisições, né? Pra não causar um DDoS.
38:40
É, eu vou te dar um exemplo, inclusive, que foi muito
38:44
chocante pra mim usando IA EEE essa essa realmente me assustou
38:49
bastante. Eu tive a brilhante ideia um
38:51
tempo atrás de fazer um testador de de vulnerabilidade de sites
38:56
por IA. Eu pensei, eu pensei, cara, eu
39:00
sou um gênio, eu vou, eu, eu posso fazer um screpper aqui, um
39:04
agente autônomo que vai testar vulnerabilidade no site.
39:08
Fui lá, pesquisei modelos e tal, achei um modelo time tuner que
39:11
que IA atender EE. Falei, pô, agora é testar.
39:15
Aí botei eu fiz o meu prompt e deixei bem claro, não utilize
39:20
técnicas, é destrutivas, o que que é, o que que seria?
39:26
Por exemplo, é esse esse agente, ele IA testar um SQL injection
39:32
num input, num num campo de login, por exemplo, EE ele.
39:36
A primeira coisa que a gente fez quando eu rodei foi tentar dar
39:40
um drop na tabela de usuários. E conseguiu.
39:44
Deu sucesso. Dropou a tabela, ou seja, Oo
39:47
agente simplesmente na primeira execução, por mais que estava
39:49
descrito no prompt que não Era Para Ser feito, ele foi lá e
39:53
tentou destruir a tabela e conseguiu.
39:55
Oo site era um site que eu tinha pego 11 bugbout, né?
39:59
Um site de bugbout, que são os sites que você encontra tarefas
40:03
para para encontrar, fazer prioridades em sites e é e é
40:06
recompensado por isso. Então era um site que felizmente
40:09
é é feito para ser quebrado. É uma cópia do site original da
40:13
empresa ali feito pra pra pra ser quebrado mesmo né?
40:17
É pra para as pessoas encontrarem vulnerabilidade.
40:20
Então não teve nenhum impacto, mas poderia ter sido um site de
40:23
produção. E a e a foi completamente contra
40:27
o prompt que eu defini EE de primeira, destruiu o site, tirou
40:32
do ar e tal. É, não tirou do ar, né?
40:34
Mas não dava mais pra fazer o login, então é, é, é uma área
40:38
bem cinza e ainda existem questões, eu acho, éticas, EE,
40:42
questionáveis aí que que precisam.
40:44
Acho que a gente precisa de de ainda de algumas é de algumas
40:49
ferramentas de controle aí que. Que que não existem pra mim é e
40:54
até 111 questão é complicada de de se definir porque de quem é a
41:00
culpa? A culpa foi minha de ter
41:02
executado o agente a culpa é de quem fornece OOLLM, né?
41:07
A culpa é do LLM do que fornece o modelo EE que foi contra OA
41:13
minha requisição porque é incontrolável o agente de a né?
41:17
Nós não sabemos o que vai sair ali do do.
41:21
Do processo ali de rezing, de de decisão, né, daria?
41:24
Aí a gente está se caminhando para o final AAA última
41:27
pergunta, Jeff, é pra você descansar?
41:33
Você extrai essas esses dados? Como que você guarda esses
41:38
dados? Por exemplo, você tirou agora um
41:41
print? Você transforma esse print em
41:45
um, em um dado tipo, no numeral, alguma coisa assim, ou você
41:49
simplesmente é um print, é isso? Sim, geralmente nós extraímos
41:53
esses dados, transformamos esses dados em em um dado estruturado,
41:57
né? O dado bruto em dado
41:58
estruturado, que é o dado que vai se vai se transformar numa
42:03
informação. No caso do print, por exemplo, o
42:08
motivo que eu comecei a utilizar o print é justamente para a
42:11
própria. É para o próprio agente utilizar
42:14
esse print depois? É.
42:15
É algo que eu comecei a implementar, mas não terminei
42:18
ainda. Mas os agentes os LLMS, né?
42:22
Os modelos. Eles são capazes de ler imagens,
42:24
de interpretar imagens, pelo menos.
42:27
Então, AA ideia é que é tornar mais precisa a navegação com o
42:32
print, porque eu naveguei até uma página, eu tiro o print dela
42:36
EOOO modelo de AO agente. Ele é capaz de de perceber o que
42:41
tem na tela e navegar com base também no visual e não só No No
42:45
código. Às vezes, no código ele falha
42:47
ele, como você pode ver ali ele. Ele foi muito por tentativa e
42:51
erro algumas vezes. E aí quando você tem a
42:53
referência visual. Ele fica muito mais, é muito
42:58
mais preciso, né? Ele tem essa referência também,
43:01
mas sim, é AA partir da o que nós fazemos é transformar isso.
43:06
É num num base 64, por exemplo, que é codificar essa imagem.
43:12
Encodar, né? Essa imagem em em um texto e aí
43:16
enviar pra pra IA para ela interpretar e tomar a decisão
43:19
com base na imagem também. Mas é em geral, as os os dados
43:23
extraídos aí por scraping, eles têm processos de refinamento
43:27
desses dados. Camadas de refinamento, né?
43:31
E no né? No No famoso big data aí e vão
43:34
pra grandes bancos de dados EEA. Partir de lá são utilizados pra
43:38
treinar outros modelos com base nesses dados.
43:41
São utilizados pra pra é pra dados estatísticos, né?
43:47
É, né, tem. Aí são utilizados pra várias
43:50
penalidades, né? Oo com a precificação dinâmica
43:54
que nós estávamos falando mais cedo.
43:56
Interessante você, você acredita que o futuro?
44:01
É do scraping. Ele vai ser mais acelerado
44:07
graças aos agentes de a aos modelos de AE.
44:11
Também a construção de de sites e plataformas de a.
44:17
Sim, acredito que sim. Acho que ainda falta um pouco
44:21
pra como eu, como eu te disse, não é tão preciso, né?
44:25
Não tem tantas, tantos meios de controle, então acho que ainda
44:28
existe bastante por evoluir nesse sentido.
44:32
É, mas ele resolve diversos problemas aí de de quem trabalha
44:37
com extração de dados. O principal com certeza é é, são
44:40
sites dinâmicos, né? Que você não tem uma referência
44:44
pra se basear ou extrair esses dados.
44:46
Uma referência No No código fonte ali da página mesmo pra
44:50
pra pra apontar, né? É.
44:53
E o segundo AAA variedade que você tem de sites também em
44:58
línguas diferentes em né? Em situações diferentes que é.
45:02
Realmente ficaria muito mais fácil se uma pessoa pudesse
45:05
olhar o site EE, escolher o que ela vai extrair dali, e aí o
45:09
agente de Ah, ele vem pra substituir uma pessoa, ele vai
45:12
fazer o papel de uma pessoa olhando pro site e resolvendo
45:15
por si o que precisa ser feito, entendeu?
45:18
Deixa de ser um script estático e se torna algo dinâmico, algo é
45:24
que que inclusive é é se auto recupera, né?
45:28
O chamado self realing. Você tem um serviço que ele não
45:32
quebra, ele não. Oo script hoje, se o seu site
45:35
mudou, o site que você extrai mudar de hoje para amanhã, o seu
45:39
script simplesmente vai quebrar e você não vai extrair nenhum
45:42
dado o self Healing que que o agente de a proporciona.
45:47
Ele evita isso. Ele simplesmente vai falar,
45:50
olha, não deu certo isso aqui. Então eu vou tentar outra
45:52
abordagem. E você pode inclusive
45:54
acompanhar, né? O interessante, você pode
45:56
acompanhar OOO histórico ali, os passos que ele teve, o
45:59
raciocínio que ele fez pra chegar até ali, EE tomar essa
46:03
decisão, então acho que em pouco tempo, AAO custo.
46:08
Acho que nem é um problema tão grande, né?
46:10
Porque você pode tornar bem granular ali a informação que
46:14
você envia pro pra LLM, então é é barato e.
46:19
EOO desafio maior é ser é ser eficiente mesmo?
46:22
E é. Isso a mais uma aula de scraping
46:26
com agente de a com Jeff aqui nosso palestrante Internacional
46:30
que vai para a Bolonha já foi você que está ouvindo assistindo
46:34
esse episódio? Ele já foi pra Bolonha, já foi
46:36
pra Itália falar sobre agente de a sobre o scrap, como é com a
46:40
experiência dele, como que os agentes de a vão ajudar a fazer
46:44
o scrap? Jeff, muito obrigado pelo seu
46:47
tempo nessa correria aí e muito obrigado por ter compartilhado
46:51
11 case aqui com a gente. Eu que agradeço, obrigado.
46:55
Estamos juntos. Você que ouviu e assistiu até
46:58
aqui, não se esqueça, o link do LinkedIn do Jeff está aqui na
47:02
descrição. Todos os links que o Jeff for
47:05
compartilhar com a gente vai estar aqui na deceção, então
47:08
segue ele lá no LinkedIn. Manda uma mensagem.
47:11
Quer saber mais sobre scrap? Quer entender mais?
47:13
Chame ele. Para conversar aí na sua
47:15
empresa. E é isso.
47:17
Beijos, tchau.