Latest / Entre Chaves / #246 Load Balancer: a solução para tráfegos imprevisíveis

Transcript

#246 Load Balancer: a solução para tráfegos imprevisíveis · Entre Chaves

0:02
Está começando mais um entre chaves, o seu podcast de
0:05
desenvolvimento, o seu Dudu, e hoje nós vamos falar sobre 11.
0:09
Coisinha que às vezes passa batido, né, que é o Word
0:12
balance, que que seria esse cara?
0:14
Para que que ele serve? Quais os?
0:16
Os problemas que ele traz pra gente, né?
0:18
E hoje estamos aqui na bancada, junto comigo e o Igor.
0:21
Fala pessoal, tudo bem com vocês?
0:23
Bom, confesso que já passei um tempinho pra não falar aí.
0:27
Metade do dia procurando entender porque que a aplicação
0:30
estava recebendo uma requisição e hora.
0:34
Outra, ela recebia a mesma requisição e falhava.
0:37
Acho que no final do dia, ali entendi que seria o Lou de
0:40
balance um dos causadores. Exatamente, né?
0:43
De vez em quando isso acontece. É um dos problemas comuns com
0:46
com o Lou de balance. EE aqui pra conversar com a
0:49
gente também temos Oo Marcos. Pra gente falar um pouquinho
0:53
desse assunto que de vez em quando puxa o nosso tapete, né?
0:56
Lou de balance o que seria o Lou de balance?
0:58
Primeiro, né? Acho que é bom a gente dar um
0:59
pequeno conceito, né? Pra quem às vezes nunca mexeu,
1:03
né? Hoje é.
1:04
Querendo ou não, é bem provável que todo mundo já tenha visto de
1:06
alguma forma ou mexido em algum tipo de low de balança, às vezes
1:09
até se entender direito, mas o low de balance basicamente pode
1:13
enxergar ele como uma ferramenta de distribuição de tráfego, né?
1:16
Pra gente não poder permitir que quando um usuário se conecte na
1:22
sua aplicação, Na Na, na, na, no seu outload, na sua carga,
1:25
aquela conversa dele com a sua aplicação seja distribuída entre
1:29
múltiplos servidores. Hospedando a sua aplicação.
1:32
E aí quando a gente pensa no low de bala ser beleza, ele vai
1:35
distribuir essa essa carga. Mas pra que?
1:37
Pra que que a gente pensa nisso? Por que que a gente precisa
1:40
distribuir carga, né? É.
1:41
Bom, eu gosto talvez de dar um exemplo assim, até com os
1:44
números mais práticos, né? Porque hoje em dia fala se muito
1:47
o low de base com aplicações ali de milhares de aquisições, com
1:50
vários acessos, milhares de usuários simultâneos, né?
1:54
Mas trazendo para um cenário com números menores, eu diria que
1:58
assim hoje você constrói sua aplicação.
2:00
Ela consegue suportar ali uma requisição por segundo e com o
2:05
passar do tempo você está escalando isso para alguns
2:07
usuários e você começa a receber 5 requisições por segundo.
2:11
E acontece que o seu servidor com a sua aplicação, não está
2:14
preparada para para esse cenário.
2:16
E o que acontece é que os usuários que estão fazendo essa.
2:20
Essas novas aquisições, essas aquições excedentes, fico
2:23
esperando. Fica com um problema de
2:25
carregando ali, fica numa filinha até que isso seja
2:29
realmente processado. E o low de balace, ele veio pra
2:33
que a gente possa adicionar um dos recursos, na verdade, né?
2:36
É adicionar é mais servidores e ele gerenciar isso.
2:40
Então a minha aplicação, que agora começa a receber 5
2:44
requisições por segundo, eu posso trabalhar com 2
2:47
servidores. E o low de bala?
2:49
Se ficar servindo esses 2 servidores porque os usuários
2:53
não fica esperando essa requisição, é ser processado.
2:56
Eu acho legal isso que você falou, né, porque tá muito
2:59
atrelado com a nomenclatura do momento que eles falam desse
3:02
calor horizontal, né? Então a gente não vai parar
3:05
necessariamente a máquina pra que ela tenha que subir com mais
3:09
recursos e seja capaz de responder mais requisições.
3:13
Eu vou subir outras máquinas e por trás dos panos, eu vou
3:16
direcionar o tráfico para elas para conseguir atender a demanda
3:20
dos nossos usuários, né? Eu acho que isso também atrelado
3:23
com a palavra escalabilidade horizontal.
3:26
Pessoal tem usado bastante aí para garantir a disponibilidade
3:29
da aplicação. Eu acho até que nisso aí que
3:32
você falou, né, de a máquina tem o tempo de subir, né, de de
3:35
iniciar a aplicação, de configurar as coisas todas,
3:38
então. Se eu tenho a possibilidade de
3:40
botar mais de uma máquina ali, eu posso fazer essas essas
3:44
atualizações por debaixo dos panos, né?
3:45
Eu posso até, por exemplo, pensar em estratégias de rolou
3:48
out pra minha aplicação que envolvam é algum tipo de de
3:52
distribuição de carga. Posso fazer com que é uma
3:55
aplicação minha. Eu pense em cara, deixa eu pegar
3:59
esses. Eu tenho 5 servidores, eu quero
4:01
pegar um dos servidores e atualizar.
4:03
Por uma versão nova da minha aplicação eu consigo fazer isso
4:06
sem tirar minha aplicação do ar, né?
4:08
Tipo, eu vou fazendo a minha atualização passo a passo, eu
4:11
primeiro atualizo no servidor, depois que ele tá atualizado eu
4:14
tiro um outro servidor do balanceador de carga, o segundo
4:17
servidor, faço a atualização lá e depois volto ele pro pro
4:21
balanceador de carga, né? Pra que a minha aplicação esteja
4:24
sempre disponível momentaneamente, eu tenho um
4:26
pouco menos de servidores respondendo.
4:28
Ou até se eu não não puder ter menos servidores, eu posso usar
4:31
uma estratégia contrária, né? Eu posso adicionar um servidor
4:34
novo com a versão nova da minha aplicação, uma vez que ela está
4:36
ok, eu removo um servidor antigo, né?
4:39
Então ao invés de 5, eu crio 1/6 servidor.
4:41
Depois que esse servidor subiu, eu removo um, ele volta até 5,
4:46
sendo que um desses está atualizado e faço esse processo
4:49
até atualizar todos. Acho que isso é uma forma da
4:51
gente garantir alta disponibilidade e fazer
4:52
manutenção e estratégia de Rolo out pra aplicação.
4:55
É então assim, é, esse seria +1 + 1 utilidade de fato do do Loud
5:00
balace, né? Freud, do Canário que acho que
5:02
seria, acho que seria. Resumindo bem, o que o Dudu
5:04
comentou, é, é a estratégia, onde você faz um teste primeiro
5:08
ali, vê se tá correspondendo. A aplicação corresponde do que é
5:12
esperado e, caso necessário, faz o Rolo out sem impactar toda a
5:15
aplicação em si. Mas nós temos também a questão.
5:18
De como é feito esse essa distribuição do tráfego?
5:21
Vocês chegaram? Vocês têm algum exemplo?
5:24
Vocês já trabalharam com algum algoritmo específico?
5:27
Como que seria hoje pra gente explicar para os desenvolvedores
5:30
como é feito essa distribuição como o low de bala, se ele
5:32
trabalha na hora de entregar o servidor mais saudável ou o
5:37
servidor mais próximo? É não bacana?
5:39
Igor eu acho que existe várias formas de se configurar um low
5:42
de bala. Inclusive, ele é subdividido em
5:45
2 camadas principais. A gente fala camada l 4.
5:48
A camada L7 quem viu na faculdade aí algumas coisas
5:51
sobre redes, suas diversas camadas, vai lembrar um
5:54
pouquinho dessas 2 etapas. Basicamente, o protocolo l 4
5:59
está um nível um pouco mais baixo.
6:01
Ele é um protocolo, vamos dizer assim, mais cego, que vai
6:04
trabalhar diretamente na camada de rede.
6:07
Ele não analisa nada. E a carga?
6:09
Não sei se a gente pode falar assim, mas de meio que de
6:11
maneira burra, ele vai distribuindo a carga entre as
6:14
aplicações. Usando a camada de rede, já o
6:17
protocolo. L7, ele é?
6:18
Considerado o protocolo, a camada, né?
6:20
L7 é considerado a camada de aplicação, então ela consegue
6:23
analisar alguns dados da requisição para conseguir assim
6:27
distribuir a carga e direcionar para uma aplicação específica.
6:30
Então ele é subdividido dentro dessas 2 camadas e cada uma
6:34
dessas camadas tem algoritmos específicos pra distribuição.
6:38
Mais simples, como rodin Robin, que é um dos algoritmos que faz
6:42
a distribuição sequencial ou ponderada por peso, até o mesmo
6:47
algoritmo de perrech que vai fazer a distribuição com base.
6:51
Nos ips de origem, possível teste AB, por exemplo, que é
6:54
possível de ser configurado. E.
6:57
Até então, chegando um pouco nisso aí que você falou a
6:59
questão de usar os testes ABA, gente, tem alguns algoritmos de
7:03
de de de distribuição de carga, né?
7:05
Igual você comentou do round hobby e do iperest, já teve
7:08
casos onde vocês tiveram que configurar algum tipo de de de
7:12
algoritmo diferente baseado em características diferentes da
7:15
sua aplicação? Tipo, porque igual os seus
7:17
comentários, ler 4 ele é mais. Burro, né?
7:20
Igual você falou o Marcos, mas até pelo fato dele trabalhar
7:23
numa camada mais baixa do protocolo e tudo, ele
7:27
possivelmente vai conseguir uma performance melhor, né?
7:31
Ele vai conseguir rotear mais pacotes do que um L7, que talvez
7:34
tenha uma carga um pouco maior ali dentro, e vai olhar dados da
7:38
requisição de rotear. Então talvez ele sofra um pouco
7:41
disso. Então acho que existem cenários,
7:44
né, pra cada um dessas. É pegando assim essa essa mesma
7:47
analogia. Eu diria que vamos supor o Loud
7:51
balace explicando de um jeito, talvez até um pouco mais
7:54
simples, ele seria um despachante que está entregando
7:56
os pacotes no L4, lá ele só sabe qual que é Oo CEP, EEA entrega,
8:02
ele só é responsável por isso, ó, eu sei qual que é o CEP, vou
8:05
fazer A Entrega já OOL 7, ele já abre esse pacote, olha e fala
8:09
assim, OPA, espera aí, aquele destino é o melhor para esse
8:12
tipo de conteúdo? Ah, não é aquele outro servidor
8:15
é, seria melhor e trazendo exemplos né, de utilizar.
8:18
Ação, eu eu diria que assim Ol 4, por exemplo, ele poderia ser
8:23
bem utilizado para banco de dados, por exemplo.
8:25
Onde que a gente tá falando aqui, né?
8:27
Da da de porta de camada, que é onde eu não preciso fazer a
8:31
leitura desse conteúdo, eu já tenho fixo, qual é a porta, qual
8:35
é o tipo de protocolo que eu vou estar trabalhando e eu só
8:38
preciso redirecionar ele para os 35 servidores, os múltiplos
8:42
servidores que eu tenho de banco de dados já o de aplicação com
8:45
Ol 7 eu já poderia fazer algo diferente que assim.
8:48
Olha, é quando eu tiver falando lá o barra PI barra usuários, eu
8:52
vou pro servidor a, quando eu tiver falando do barra PI barra
8:56
pagamentos, eu vou pro servidor b então acho que seria uma
9:00
analogia nesse sentido. Pegando um pouquinho sua
9:03
pergunta, Dudu, acho que assim tem um outro algoritmo que eu
9:06
trabalhei, que foi a questão de latência.
9:08
Ele vê qual é o servidor que tá com um response time mais
9:12
próximo ali, mais saudável pro usuário.
9:15
E nesse cenário, a gente trabalhou numa numa solução de
9:19
multilígio, basicamente. Eu tinha ali 2 regiões dentro do
9:24
da minha aplicação, eu tinha Estados Unidos e Europa e eu
9:27
precisava identificar por onde que os usuários estavam
9:30
acessando e entregar aquele conteúdo mais rápido Pra Ele,
9:33
pra que ele não precisasse fazer todo o tráfico dos usuários da
9:36
Europa. Tá acessando um servidor nos nos
9:38
Estados Unidos, sendo que a gente já tinha o aplicação
9:41
dentro da nuvem lá na região da da Europa que estava estaria
9:44
mais próxima. Acho que isso é bem legal, né?
9:46
Você falou porque isso é aplicável até para cenários de
9:49
aplicação de negócio mesmo. Um exemplo da Black Friday ainda
9:52
está quase chegando aí, batendo na porta.
9:55
Você pode querer disparar campanhas específicas por
9:57
regiões. Específicas dentro de uma mesma.
9:59
Nacionalidade e com o de balance através de líderes específicos,
10:03
por exemplo, o próprio bloco de usuário você consegue disparar
10:07
essa carga sabendo que você vai ter 1 o volume maior de uma
10:11
determinada região para um grupo de servidores específicos e a
10:14
outra para outro. Acho que isso é legal porque
10:16
ajuda a gente a preparar para uma sobrecarga dentro de um
10:19
evento grande igual a isso. Exatamente.
10:22
Eu acho que quem nunca fez isso, né, cara?
10:24
Eu também, um projeto que eu tive, a gente faz exatamente
10:26
isso, né? De separação multi regiões, onde
10:29
a gente faz esse direcionamento. E é importante também que para
10:33
que isso funcione bem, a gente tem que ter uma outra
10:36
característicazinha que esses slow de balances principalmente,
10:39
que atuam na camada 7 do protocolo eles.
10:44
Conseguem ser inteligentes do tipo eu tenho meus servidores
10:49
rodando lá, eu configurei a as regras igual vocês comentaram de
10:53
que a uma determinada região vai receber as requisições ABC, essa
10:57
outra, essa outra região vai receber as requisições XYZ.
11:00
Mas eu também consigo usar Oo low de balas para saber se
11:04
aquela região está saudável, né? Se eu fizer uma requisição para
11:08
para região ABC, se o meu servidor tá respondendo, pode
11:11
ser que ele. Por algum motivo, algum bug lá e
11:14
crachô não tá recebendo requisição mais não adianta
11:17
nada, o Lou de bala, você vai ficar julgando requisição pra
11:19
lá, né? Porque vai só derrubar minha
11:21
aplicação, derrubar não vai causar uma experiência ruim pro
11:24
pro usuário, aquele famoso erro intermitente, né?
11:26
Você dá um f 5 lá, de repente funciona, de repente não
11:28
funciona, provavelmente é isso, é o Lou de bala ser julgando pra
11:31
algum servidor que tá sobrecarregado ou tá com algum
11:34
problema, e aí ele usa esses conceitos de health check.
11:38
Né? Onde geralmente algum int point,
11:40
alguma coisa específica da sua aplicação, onde ele faz essa
11:43
medição, até da latência né, que você comentou né, né Igor que
11:47
ele consegue medir a latência da da resposta para decidir qual
11:50
que é o melhor caminho para o usuário, né?
11:53
Isso é é a base de um desses algoritmos dele de de roteamento
11:56
de de de pacotes, né? E.
11:58
É assim, eu queria até talvez puxar um pouco mais do que o
12:02
exemplo que o que o Marcos nos trouxe Black Friday é?
12:06
Já lembra carrinho de compras, sessão de usuário, pedido de
12:09
usuário e como que vocês lidaram com isso assim?
12:12
Vocês chegaram já a ter algum tipo de problema?
12:14
No sentido, acho que eu acessei o site a primeira vez minha
12:18
aplicação loguei Do Nada. Navegando Na Na aplicação eu
12:22
percebi que eu não estou mais logado, OPA, pera aí.
12:25
Ou então adicionei o meu pedido lá no carrinho de compra, quando
12:29
eu tô bem navegando para comprar um outro produto, eu vejo, bom,
12:32
o carrinho tá zerado, como que seria isso no cenário onde eu
12:35
tenho? Com essa troca de servidores de
12:38
maneira com que o usuário não escolhe, né?
12:41
O usuário não define qual servidor que ele quer conectar e
12:44
quando ele vai trocar. Existem também uma, eu acho que
12:46
respondendo Igor, o que você está imaginando, cara?
12:49
Quando existe essa necessidade da da gente tentar manter algum
12:53
tipo de, de, de de caminho aí pro usuário?
12:56
E esse caminho precisar que esse contexto seja levado em conta,
13:00
né? Principalmente No No meu
13:02
servidor, no meu back end. Existe uma coisa que o pessoal
13:05
usa que é o tal do Stick session, né?
13:07
A sessão, a sessão Stick, né? Pegajosa.
13:10
Eu consegui mandar o mesmo usuário para o mesmo servidor ou
13:13
para o mesmo grupo de servidores para que ele reaproveite aquela.
13:17
Aquela informação igual você falou Ah eu já loguei eu não
13:19
preciso logar de novo então se toda hora me manda pra um
13:22
servidor onde no servidor ele não acha a minha a minha
13:24
informação de login né? De a minha informação de que eu
13:26
estou logado a minha sessão de login eu vou ter que logar de
13:29
novo o meu carrinho fica salvo em algum tipo de Cash no
13:32
servidor e eu toda hora tô caindo no outro servidor que não
13:35
tem aquele Cash eu perco meu carrinho e aí eu não consigo
13:38
aproveitar EE fazer a. Comprar os meus filmes lá na
13:41
Black Friday porque o carrinho já já expirou, as promoções já
13:44
expirar, então essa questão da da da da sessão Stick é algo que
13:48
os Wood balance tentam também endereçar.
13:51
Principalmente fizeram algumas táticas, tipo fazendo rest de
13:55
IP. Então Ipês com o mesmo resto vão
13:57
para o mesmo servidor ou grupo de servidores para que as
14:01
requisições não se percam EEOO servidor que está ali que tem
14:04
algum Cash local ou algum Cash regional daquele grupo de
14:07
servidores. Conseguir reaproveitar essas
14:09
essas informações. Eu acho que isso é uma
14:12
preocupação, que todas as os desenvolver estão trabalhando
14:16
com uma estrutura distribuída, né?
14:17
Eu tenho múltiplos servidores ali que podem responder.
14:21
Tem que se preocupar ou só ele passa a picar um padrão?
14:24
Igual o Dudu comentou aí de usar o padrões de que para poder
14:28
garantir que sempre cai no mesmo servidor.
14:30
A gente tem que. Desenvolver uma forma de
14:31
compartilhar a sessão entre todas as máquinas através de um
14:35
Cash, alguma estrutura que é a própria aplicação.
14:37
Controle, porque se a gente não faz o controle, garante que
14:40
sempre vai cair no mesmo servidor.
14:41
Qualquer um dos servidores que está atrás do ludbone, você pode
14:44
responder. E a gente precisa garantir que
14:46
essa estrutura seja preparada para responder da maneira
14:49
correta, sem quebrar a experiência do usuário, né?
14:52
Então seria bacana também, tipo você ter um cenário.
14:54
Onde que eu poderia ter um rede? Es ali como um Cash
14:57
centralizado? EE todas as aplicações olhando
15:01
ali meu carrinho de compras, olhando para esse Cash e
15:04
verificando independente do servidor, conseguiria estar
15:06
respondendo usuário legal. E sempre tem aquela questão, né?
15:09
Se você está sempre pegando a mesma requisição e mandando para
15:12
o mesmo servidor, e tudo dependendo da forma como se eu
15:14
for, vai acabar trazendo 11 sobrecarga para aquele servidor
15:19
que está recebendo sempre aquele mesmo grupo de usuários, sendo
15:22
que você poderia estar distribuindo um pouco.
15:24
Melhora a carga em cima ali. Então, talvez essa questão do do
15:27
Stick session é algo que tem que ser olhado com parcimônia.
15:30
Às vezes não pode ser muito uma bala de prata, né?
15:33
Pra resolver esse tipo de problema, existem outras formas.
15:35
Igual você comentou aí do do redees que é um Cash super
15:39
distribuído, super rápido e tudo que dá pra ser colocado ali por
15:41
trás e até. Em relação a isso, os load
15:44
balance, eles conseguem ser um como uma porta de entrada da
15:47
aplicação. Eles se eles trabalham bem nessa
15:51
distribuição de carga, eles até ajudam a identificar e mitigar
15:56
até possíveis setores de ataque, né?
15:57
Se a gente for for pensar. Dessa forma, por exemplo, 1111
16:02
ataque de DDoS de de, de, de de the Nine of SES, que basicamente
16:06
é fazendo um tanto de requisição para o mesmo servidor sobre o
16:09
servidor para ele parar de responder se eu tenho 11 load
16:12
balancer ali que é inteligente o suficiente para conseguir pegar
16:16
essas requisições e distribuir elas bem.
16:19
O ataque de DDoS você tem que ser mais sofisticado que o gol
16:23
de bala você para conseguir ser efetivo, né?
16:25
Ou até o próprio gol de bala. Você conseguir identificar esse
16:27
padrão e implementar algumas técnicas de reiting emite em
16:30
algumas coisas para poder. Dar mais segurança à aplicação.
16:33
Né? É esse exemplo que você trouxe.
16:34
É legal porque nesse projeto mesmo que eu comentei que a
16:37
gente trabalhou ali no com múltiplas regiões, né?
16:39
Foi algo que a gente também adicionou.
16:41
Como uma das preocupações foi exatamente, pô, tem uma
16:44
aplicação com diversos micro serviços em diversas regiões,
16:48
com diversos recursos. Foi definido que todos esses
16:51
recursos estariam privados onde os usuários, né?
16:54
Não teriam uma porta diretamente com com esses recursos, então
16:58
não estaria publicamente. E eu teria um funil ali de de
17:02
segurança ali que todo mundo deveria passar pelo low de
17:05
balas. Ele seria a nossa única porta de
17:07
entrada via internet. E através dessas técnicas a
17:11
gente adicionou esses recursos para garantir que não havia
17:14
problema, como o hate limite. A gente estava utilizando o Edge
17:17
como nosso provedor de cloud. Foi possível adicionar dentro do
17:20
low de balance web application fire, que aí seria mais uma
17:24
camada de proteção que estaria através de.
17:27
De regras de de identificações padrões, né?
17:31
Das aquisições, está inspecionando os pacotes,
17:34
pressionando as nossas requisições e garantindo que a
17:36
gente não está sofrendo nenhum tipo de ataque.
17:39
Nos primórdios, né? Isso é legal porque vamos nos
17:41
primórdios aí, sem revelar a nossa idade, né?
17:44
Mas quando a gente trabalhava muito com servidores on premes,
17:46
e é a gente sempre tentava centralizar a porta de entrada
17:50
dos servidores numa única solução.
17:53
Pra conseguir fazer essa configuração de segurança.
17:56
Então, no passado a gente chamava de NAT reverso, não é?
17:58
Tudo que eu quero expor na internet.
18:00
Basicamente vai passar por esse load balance.
18:03
Vai aplicar todas as regras ali que precisam ser inclusive
18:06
regras relacionadas ao SSL, proteção de certificados e
18:10
coisas do tipo, né? Basicamente um centralizador,
18:14
permitindo que fique fácil a configuração, tá?
18:17
Camada de segurança. Exatamente.
18:19
Já brinquei muito com esse net reverso com provedores de
18:21
internet, quando vai colocar o roteador em casa entre você vai
18:24
quer botar seu servidor. E você comentou até de de de
18:27
questão de SSL, né? De, de certificados e tudo.
18:31
Hoje a gente vê muito isso em alguns good balances, eles terem
18:35
essa capacidade, né, de terminação de SSL, né, de de
18:39
fazer esse, essa, essa última parte da validação da
18:41
criptografia, da comunicação, né?
18:44
É então o usuário faz uma requisição.
18:46
Essa requisição, como ela usa o protocolo SSL OTRS, né, a sua
18:51
requisição, ela vai criptografada até o até o
18:53
servidor, o load balancer, ele vai receber essa requisição.
18:56
Mas se nós estamos, se nós estamos falando de um load
18:58
balancer de nível 7, de de camada 7, é um load balance que
19:02
vai olhar para aquele conteúdo. Então ele tem que ter 11 forma
19:05
de de descriptografar, digamos assim, a requisição.
19:08
Para poder inspecionar alguns requisitos dela, para poder
19:11
fazer, para poder fazer o balanceamento de carga, né?
19:14
Hoje esses load balances têm essas capacidades.
19:16
E aí que vem uma coisa interessante, se os meus
19:19
recursos são privados, eles não estão expostos na internet.
19:22
Eles não têm ponto de contato com a internet.
19:24
O ponto de contato é o load balance.
19:25
O load balance faz aquela, ele tem que inspecionar o pacote que
19:29
chegou, ele já pode mandar o pacote ali para dentro.
19:32
Descriptografado porque ele já garantiu a integridade, a
19:36
validade dali. E ele tira um pouco dessa carga
19:38
do seu servidor também, né? Um pouco de é uma otimização
19:41
legal de performance, né? E tudo de de tirar um pouco de
19:44
de recursos do seu servidor pro próprio lo de bala você fazer,
19:48
né? Bom, exatamente, tá se tratando
19:50
de um ambiente onde nós temos uma aplicação com diversos micro
19:54
serviços e comunicando num volume muito alto de requisições
19:57
de usuário, é uma das vantagens da gente tá adicionando esse
20:01
tipo de recurso. Porque basicamente é tirar
20:04
alguns 1000 segundos de processamento, que nessa
20:07
quantidade de no nesse volume, né, de usuários de transações,
20:11
acabam de fato respondendo de maneira mais rápida pro usuário
20:15
e não é abrindo alguma porta de segurança, alguma
20:19
vulnerabilidade. Porque é algo que assim já
20:21
garantimos todo essa responsabilidade dentro do nosso
20:24
low de balas ali, do nosso funil de segurança.
20:27
Exatamente, às vezes até diminuir o custo, né?
20:28
Às vezes você não precisa escalar sua aplicação por causa
20:31
disso. Se você tivesse que processar a
20:34
criptografia lá nos seus serviços, você teria um servidor
20:37
a mais. Agora, você não precisa daquele
20:39
servidor porque a quantidade que você tem que dar conta daquelas
20:42
requisições não criptografadas. Num cenário igual, a gente
20:44
comentou de Black Friday, por exemplo, onde tudo se escala
20:47
absurdamente. Esse é uma é um bom ponto de de
20:50
economia, né? Isso é legal, né, pessoal?
20:53
Porque também tem até outras aplicações do Gold balance,
20:56
principalmente esse da camada L7, que consegue reduzir a
20:59
carga, por exemplo. Eu já trabalhei no projeto que a
21:01
gente reduziu. Esse corpo de reeders das.
21:03
Requisições antes mesmo de eles chegarem dentro dos
21:05
microsserviços internos, dentro do próprio Gold balance, a gente
21:09
acaba aplicando uma camada de filtro pra redirecionar somente
21:12
aqueles reeders que são realmente importantes.
21:15
Para aplicação interna, isso reduz o escopo e o tamanho da
21:18
requisição que vai chegar dentro da rede interna e dos serviços
21:21
que a gente vai utilizar. Para além desse uso do recurso
21:24
do SSA, que a gente consegue enxugar a carga, a gente também
21:27
consegue enxugar o volume de dados que eu vou trafegar lá
21:29
para dentro. Qual um desses recursos?
21:31
Até mesmo renomear, se for necessário, os próprios seaers
21:34
que a gente recebe. E a gente até comentou em algum
21:37
momento aqui de de microsserviços, um ambiente onde
21:41
a gente acaba tendo muitos microsserviços, um ambiente de
21:44
cobernetes e novo. Normalmente, resgatando o que eu
21:46
falei lá no início, muitas vezes a gente até mexe com o Word
21:48
balancer e nem entende direito o cobernetse.
21:52
É muito comum, comum, né? É necessário eu ter um
21:55
balanceamento de carga ali para eu conseguir direcionar as
21:58
minhas requisições e os meus work loads, os meus Foods, os
22:01
meus serviços, melhor dizendo, rodando ali do do contém, né?
22:04
Mais comum deles é ONG nex, que tá lá ele ele é utilizado como
22:09
11 load balance de fato, né? No No.
22:12
As cobernetes. Hoje a pessoa às vezes configura
22:15
e nem nem entende direito o que que está fazendo, fala, Ah,
22:17
estou só botando meu serviço no ar aqui.
22:20
Tudo o que ele está fazendo é configurar 11 low de bala, sendo
22:24
um gernex ali para poder fazer o direcionamento em cada um dos
22:27
seus serviços, né? A gente tem falado aqui de
22:29
algumas soluções de low de balancer, por exemplo, low de
22:31
balancer na é sintonia com o Edy farow, OMG nex rodando dentro do
22:35
cobernetes e tudo. Mas quando a gente está falando
22:37
disso, normalmente essas pecinhas são de software,
22:40
existem também low de balancers. Implementados e hardware, né?
22:44
Tipo que são realmente máquinas físicas que fazem esse esse
22:48
direcionamento de pacote, né? Vocês já chegaram a ter alguma
22:51
experiência com isso, a ter que mexer com isso, qualquer alguma
22:54
dificuldade? O físico propriamente dito, não,
22:58
eu conheço do tipo da solução que eu sabia que existia
23:01
aplicação e se foi até trazendo a brincadeira que eu fiquei um
23:05
bom tempo procurando. Aonde que era.
23:08
Mas basicamente eu precisava de mexer numa configuração direta
23:10
no servidor, na aplicação legado na web config famoso web config
23:14
tinha um parâmetro atualizamos nos 3 servidores e esquecemos do
23:19
quarto. Basicamente a pessoa que que
23:23
atualizou lá deixou ele não salvo e basicamente achou que
23:27
tinha atualizado era um mention prêmios, é foi até um dos
23:30
primeiros contatos lá atrás. Assim, quando eu comecei a
23:32
desenvolver, quando eu comecei a pegar uns ambientes mais
23:35
complexos, né? 11 coisa.
23:37
Mas assim que que aí foi de fato, eu falei assim, OPA, tem
23:39
um carinha aqui então que na verdade não é ele, que é ele que
23:43
tá recebendo as minhas requisições, não é o meu
23:45
servidor direto, mas é de fato. Eles usavam o físico, mas não,
23:49
não cheguei AA fazer algum tipo de configuração, é.
23:52
Eu já vi uma vez. Eu tive uma experiência com isso
23:55
em igual você, comentou por uma rede on prêmios?
23:57
É, a gente tinha uma rede de de ti industrial principalmente,
24:01
né? Num cliente nosso, os acessos AA
24:04
rede de ti industrial eram eram ainda mais restritos.
24:07
A gente estava falando de muitos dispositivos, às vezes com menos
24:10
poder de processamento, né? A gente falando de PLC, de de de
24:14
equipamentos desse porte. Então 111 load balancer físico
24:19
ali para poder comunicar toda aquela planta, toda aquela
24:23
infraestrutura ali era bem, bem necessário para eles.
24:27
Então um balanceador de carga nessa, nessa estrutura deles era
24:31
super importante, né? Pra pra garantir que que as
24:35
refeições chegassem rápido e chegassem consistentes e o mais
24:38
simples possível pra pra processamento.
24:41
Nesse caso, usar 1111 load balancer de software seria às
24:45
vezes mais complicado, porque eu precisaria de um servidor, eu
24:47
precisaria de uma máquina, é aquele negócio, eu vou vou estar
24:50
usando mais do que eu preciso seja já existe algo
24:53
completamente especializado pra aquele problema meu ali de custo
24:56
mais baixo em geral, né? A longo prazo, quando a gente
24:59
está falando de. De longo prazo, né?
25:01
De, de manutenção e tudo, já que ele é bem focado naquele
25:04
problema e ele tinha as mesmas capacidades de qualquer Loud de
25:08
bala. Você via software cara de de, de
25:10
de fazer configuração de regras, de de balanceamento, de quais
25:14
ips podiam, quais ips não podiam, né?
25:16
Para onde ele tinha que direcionar num ambiente onde
25:18
existe essa necessidade, um ambiente, um prêmio, se às vezes
25:22
um Loud balance físico, ele ainda hoje é 11 boa escolha.
25:27
E aí eu fico pensando, já que. Nesse caso que a gente tava lá
25:31
que eu precisava fazer esse balanceamento de carga dentro da
25:34
minha planta, ou você, Igor, falou que precisava de de de
25:37
alguns tinham seus 4 servidores lá e só 3 estavam funcionando.
25:41
Você ficou sem saber qual que era o problema até nisso, tipo,
25:44
como é que a gente consegue perceber ou se planejar para que
25:48
o nosso projeto tenha 11 load baser tem um balanceamento de
25:52
carga ou a gente até entender, cara, o meu projeto precisa de
25:54
um load baser, eu preciso usar alguma coisa, eu preciso criar
25:57
uma infraestrutura. Específica para isso, seja
26:01
viada, seja via software. Como é que eu consigo
26:03
identificar essa situação? Eu acho que um dos primeiros
26:05
pontos que é interessante comentar em relação a
26:08
necessidade é olhar para o negócio, né?
26:10
O. Primeiro aspecto.
26:11
É, eu vou ter 1 o volume de carga muito grande que eu já
26:13
preciso estar preparado para receber, mesmo que eu vou operar
26:18
apenas de um servidor inicialmente.
26:20
Eu já vou ter que estar preparado para que, dentro de um
26:23
curto espaço de tempo, eu vou ter que escalar isso para
26:26
receber um voo grande de carga por causa de algum cenário
26:29
específico de negócio. Acho que esse é um dos
26:31
principais pontos, porque se eu tenho uma necessidade, um curto
26:34
prazo de receber essa bolometria, eu preciso deixar o
26:37
meu ambiente preparado para eu não ter um esforço muito grande.
26:41
De fazer essa escala. E o segundo aspecto, eu acho que
26:44
pelo menos os projetos que eu passei que são importantes, é a
26:47
camada de segurança. E se eu tenho a necessidade de
26:49
centralizar e configurar a camada de segurança em cima de
26:53
algum recurso, alguma ferramenta, naturalmente o lol
26:56
de Bauer passa a ser uma opção viável para que essa
26:58
configuração seja. Pegando esse, essa informação,
27:01
essa primeira dica que o que o Marcos passou?
27:04
Eu acho que é legal, porque já aconteceu também da gente
27:07
chegar, desenvolver uma aplicação e determinado momento
27:10
tu vê, OPA, espera aí. Estou com um alto uso aqui de
27:14
CPU, de memória, o volume está muito alto, de de requisições.
27:18
Precisamos escalar essa aplicação.
27:20
Chegamos lá e olhamos para o OPA, não tem recurso físico
27:24
mais. Precisamos fazer com que ela
27:26
fique, ter várias instâncias. O horizontal OOO Marcos
27:30
comentou, né? E de fato, quando fomos olhar
27:33
para aplicação não era possível porque ela não foi construída de
27:36
maneira que permitia esse tipo de de abordagem, de ter
27:39
múltiplas instâncias. Então acabou que atrapalhou
27:43
assim o Plug do do low de balance, porque eu eu precisaria
27:46
de ter várias instâncias naquele momento.
27:48
Então nós tivemos que voltar, dar 11 pezinho atrás.
27:51
Vamos preparar aqui, vamos avaliar o que que dá pra colocar
27:55
numa história de compartilhada num Cash, né?
27:58
Ou a gente comentou do redees, o que que a gente vai fazer de
28:01
sessão, oportunidade e tal pra de fato ir e conseguir plugar o
28:06
low de balas? Então essa primeira abordagem já
28:09
chegar no requisito de negócio. Já avaliar, ter esse aspeto,
28:13
acho que é muito importante porque no primeiro momento que a
28:15
gente vê e telepou, precisamos começar a escalar essa
28:18
aplicação. Ela tem que ter esse
28:21
comportamento, ela tem que ter algo nisso.
28:22
E é algo que assim mesmo que a gente está trabalhando em nuvem,
28:25
é os recursos. Eles não são infinitos. 1 hora a
28:29
gente vai esbarrar no último dia e aonde que a gente vai precisar
28:33
de ter esse tipo de de abordagem, então?
28:36
Acho que talvez assim, primeira pergunta que eu faria era
28:38
realmente se o negócio conseguiria escalar e se a gente
28:42
teria essa essa abordagem já já começar a se preocupar com esse
28:46
tipo de desenvolvimento ali, permitindo múltiplas instâncias.
28:49
É isso. É legal que você falou, né?
28:50
Porque não é só recurso, tá envolvido com aplicação.
28:53
A aplicação precisa ser construída orientada, com
28:56
recurso distribuído, né? Não é simplesmente espetar o
29:00
long balance e sair usar. Preciso preparar a minha solução
29:03
para que ela seja distribuída e conseguir receber cargas em
29:07
diferentes instâncias, então isso é muito importante também.
29:10
Aquela velha discussão do state full versus state less, né?
29:13
De poder construir sua sua aplicação state full, você joga
29:16
tudo numa sessão lá do servidor, mas se essa sessão não for
29:19
compartilhada, não vai adiantar nada, né?
29:21
E aí, tá comentando, cara, a gente falando, né, de poxa.
29:24
De escala horizontal que eu estou botando mais servidor, que
29:28
eu estou aumentando minha capacidade e tudo.
29:30
Hoje a gente vê na nuvem muitos recursos de auto scaling.
29:36
Eu consigo chegar lá, criar 11 aplicação e falar cara, beleza,
29:40
aqui eu vou marcar aqui com moto scaling até 481216 distâncias.
29:45
Ou até no recursos serveles, por exemplo, uma funcions ou uma AWS
29:50
lambda que o meu provedor de nuvem.
29:53
Já está me falando, cara, que isso aqui vai escalar, que nesse
29:55
caso, em teoria, eu não preciso de mexer com o load balancer.
29:59
Tipo, eu posso esquecer que o load balancer existe, é, é algo
30:03
factível, é algo que eu realmente não preciso me
30:05
preocupar, então. Existe a preocupação pelo fato
30:07
que esses recursos ele eles não respondem imediatamente, então
30:11
um cenário de alta performance. Contar com esse tipo de recurso
30:15
pode trazer alguns tipos de problema, que é a function no
30:18
lambda, no. Eu tenho um tempo ali de start
30:22
do reconhecimento do tipo óleo, eu preciso escalar, eu preciso
30:25
avaliar. É pra que eu de fato coloque
30:28
mais um servidor, mais um recurso pra pra estar
30:31
processando essas requisições. Eu vou ter um dos cenários que o
30:34
pessoal comentou na utilização de você provisiona ali um
30:38
servidor, os recursos é que estejam já é não totalmente
30:43
aido, né, parado ali ocioso, mas esteja rodando algum alguns
30:47
processos de baixa prioridade. Para fazer com que na no momento
30:52
que eu preciso escalar eu não ter essa preocupação do do conto
30:56
start, né, que é o que que é o termo técnico que a gente
30:59
utiliza bastante. Eu já garanto que eu tenho
31:01
alguns recursos pré provisionados que ele vai me dar
31:04
um tempo de resposta até mais rápido.
31:05
Realmente num cenário de alta performance eu tenho esse esse
31:08
problema, né? Lidar com esse tempo de de
31:11
criação, trazendo isso por um de balas.
31:13
Eu acho que assim é um cenário até já viria como um tipo de
31:16
abordagem também se um cenário se.
31:19
É possível esperar um tempo? Se realmente esses segundinhos
31:22
de início é aceitável, ótimo, tranquilo.
31:25
Mas no cenário de alta performance que eu realmente
31:27
estou, eu estou lidando com dados financeiros, um cenário um
31:30
pouco mais crítico. Eu optaria talvez até por uma
31:32
utilização dessa, deixar o low de balas já com um processo meio
31:36
que ali de baixa prioridade, que eu possa a qualquer momento
31:39
falar assim, ó, porque essa é uma roda nessa máquina aí que
31:41
ela já está provisionada ali para mim, sabe?
31:44
Agora, ele não projeta nem. Similar com isso que você falou
31:46
que é legal de comentar. A gente tinha uma aplicação que
31:49
ela basicamente não poderia ter um bom time na escala.
31:52
Ou seja, enquanto o serviço estava subindo, eu não poderia
31:55
responder negativamente para o cliente.
31:57
Porém, o serviço demorava muito a subir, porque naturalmente era
32:00
um serviço pesado. Tinha muita coisa ali que estava
32:03
passando por um processo de repaturação.
32:05
A gente está usando AWS com SSE, basicamente a gente configurou
32:08
um load balance para garantir que as testes que estavam sendo
32:12
autoprovisionadas pela própria cloud estavam totalmente, em
32:15
tese, disponíveis para receber a as requisições, ao invés de
32:19
deixar a própria cloud gerenciar isso.
32:21
Acho que é interessante o que você falou, porque nesse caso,
32:23
por exemplo, o cenário de negócios exigia uma alta
32:27
disponibilidade. E é para garantir alta
32:30
disponibilidade a configuração dele através do Lu de babas.
32:33
Bom, então a gente comentou muito sobre sobre essa questão
32:35
de escalabilidade de performance, né?
32:37
De coisa um prêmio se de coisa na nuvem.
32:39
Só que hoje tem a tal da palavrinha que é AIA, né?
32:44
Tudo gira em torno de a de agentes, né?
32:47
A gente criando muitas aplicações agendicas o Lu de
32:50
balance. Onde é que ele entra nisso na
32:52
hora que eu ficar digitando o meu chat lá para conversar com
32:55
com AIA? É dependendo do hoje a gente tem
32:58
orquestração de agentes, onde agentes conversam uns com os
33:01
outros e tudo o lo de bala. Você tem alguma ajuda nisso?
33:04
Tem algo que o lo de bala você pode fazer especificamente para
33:07
esse cenário de a? É, recentemente até estava num
33:10
cenário onde que a gente estava fazendo um experimento aqui por
33:13
muitos clientes e houve esse questionamento, como eu garantir
33:17
que usuário está acessando aplicação?
33:20
Eu estou trabalhando ali, respondendo, fazendo todo o
33:23
processamento com LLME. Não cheguei no limite.
33:26
De tokens que a minha região tem disponível ou com meu com meu
33:30
serviço dentro do da cloud é disponibiliza e através disso,
33:34
no desenvolvimento do experimento, a gente esbarrou em
33:37
alguns recursos que hoje já tem. Ele tinha já políticas para que
33:41
a gente pudesse fazer essa divisão de carga.
33:44
Tem a política, né, que eu poderia estar implementando no
33:46
sentido de. OPA, eu fiz uma requisição pra
33:49
LLME. Ela me retornou falando que já
33:51
tinha excedido o meu limite de cotas ali de cota que eu tenho
33:55
ali pra aquela, pra aquele modelo específico, e baseado
33:59
nesse tipo de erro eu iria em outra, em outro modelo, em outra
34:03
região e faria esse tipo de consulta.
34:05
Então assim pra não retornar pro usuário que assim, OPA, a gente
34:08
não tem ele disponível, é então era baseado nesse nesse tipo de
34:13
cenário, né? E também na questão de custo.
34:16
Hoje eu posso ter um modelo que ele está provisionado numa
34:20
região que ele custa XE. Esse mesmo modelo numa outra
34:23
região que custa y poderia estar balanceando isso até pelo fato
34:27
assim, pô, essa segunda região, que é um pouco mais barata, ela
34:30
está mais longe do usuário. Mas eu não preciso passar com
34:32
que todas as as respostas ou eu posso pegar algum tipo de
34:37
resposta e acabar acessando esse tipo de modelo.
34:40
Pra que eu possa economizar nos tokens, economizar nesse é nesse
34:43
tráfego, sabe? Já existe, é já vi que as
34:46
cláudes hoje realmente precisam é estar olhando pra esse lado já
34:50
que é o cenário igual você comentou, né?
34:52
Hoje em dia tudo e a é é a palavra do momento, é, é, é o
34:56
hype, então assim. E está saindo aí bastante coisa
34:59
legal nessa parte. Eu eu lembro que pra esse
35:01
experimento a gente foi esses 2 que eu comentei, né?
35:04
A questão do pra fazer a utilização do de escolher qual
35:08
modelo ali por base No No uso é, nós tivemos também a questão até
35:11
de Cash, então assim, OPA, estou recebendo uma requisição aqui,
35:15
eu sei que tem esses tokens, esses tokens aqui, eu já fiz uma
35:18
consulta, eu sei que eu já utilizei ele anteriormente e ao
35:22
invés do ir na LM direto, vem aqui.
35:25
E respondeu pro usuário, então é algo que assim, eu estou
35:27
economizando numa ponta através da aplicação em si, e o usuário
35:30
está recebendo uma resposta mais rápida, né?
35:32
É, isso é bem legal, né? Eu estava fazendo experimentos
35:35
também, basicamente para o outro projeto, fazer 11 esquema de
35:39
região de código. Eu vi, por exemplo, que as APIs
35:41
da open AI, elas já devolvem readers específicos com volume
35:45
de tokens que você tem disponível, então você
35:46
conseguiria o download baser, por exemplo?
35:49
Falando já numa configuração mais padrão para todos os os de
35:52
balas cis da camada L7, baseado nesses heaters para definir qual
35:56
provedor de API que você vai usou.
35:58
Qual modelo, né? Então as próprias provedoras de
36:02
LME de modelos específicos ali já fornecem algumas informações
36:06
que permite usar esse recurso. Eu achei bem legal também que dá
36:09
para aproveitar bastante coisa. Bom, então acho que é isso, né?
36:11
Acho que a gente conversou bastante aqui sobre os low de
36:14
balas, que eles são. Como funcionam, né?
36:17
Alguns casos de uso que são bem. Antes da gente saber, né?
36:21
Até como usar, como configurar em ambientes cobernetes, né?
36:24
E tudo. E tá atento a isso.
36:26
Foi uma conversa bem legal. Acho que a gente conseguiu falar
36:28
bastante coisa conceitual, algumas coisas.
36:31
É eu, por exemplo, como um dinossauro do desenvolvimento
36:33
aqui já, já tive que mexer algumas vezes, espero que todos
36:36
tenham curtido. Também é.
36:38
E agora, para aqueles que estão nos ouvindo?
36:40
Depois o episódio sabe que se uma requisição funciona na sua
36:43
máquina e a mesma requisição não funciona na máquina do
36:46
coleguinha ao lado, pode ser um problema.
36:48
E o low de bala você está enviando para o exatamente?
36:51
Deu errado? Exatamente.
36:52
Ou você deu algum problema? Ou aquele famoso carrinho que
36:55
some os itens, né? Na durante a Black Friday
36:57
chegando aí? Muito obrigado, viu, Marcos?
36:59
Valeu muito. Obrigado, Marcos.
37:00
Muito obrigado pessoal. Mais uma.
37:01
Gente, o convite, viu? Aquele abraço para todos.
37:04
Então, até a próxima. Abraço pessoal.