Elasticsearch: clusters por app com escala sob demanda
Manish R.
Reseña Original
Uso o Elasticsearch em toda a organização para armazenar e buscar logs de aplicação, e o que sustenta essa operação é o modelo de clusters escaláveis: dá para adicionar nós de consulta, de dados e master sob demanda e crescer até guardar e pesquisar terabytes sem refazer a arquitetura. Cada aplicativo ganha um cluster próprio ou compartilha um com outros, dependendo do volume de dados gerado, e isso mantém a busca de logs rápida no debug do dia a dia.
Clusters separados por aplicação conforme o volume de logs
Na prática, a decisão de quantos clusters manter é guiada pelo volume de dados que cada aplicação gera. Quando esse volume é alto, vale isolar um cluster por aplicação, porque assim uma carga pesada de depuração não interfere na busca de outra equipe e cada time consegue ajustar o próprio ambiente sem mexer no dos outros. Quando o volume é menor, um único cluster atende várias aplicações sem prejuízo, e o esforço de manter menos ambientes compensa no fim do mês.
O uso principal aqui é depuração, não métricas. Ainda assim, em alguns cenários rodamos o Kibana junto do Elasticsearch para visualizar métricas também, o que ajuda a correlacionar um erro de aplicação com o comportamento do sistema no mesmo intervalo de tempo. Essa combinação de busca de logs com visualização no Kibana resolve a maior parte das investigações que aparecem no dia a dia, sem precisar de outra ferramenta para consultar o mesmo conjunto de dados.
Adicionar nós de dados e de consulta sob demanda
O ponto que mais pesa a favor do Elasticsearch é a possibilidade de acrescentar nós de dados, de consulta e master conforme a necessidade. Se a busca de logs começa a ficar lenta, entram mais nós de consulta; se o armazenamento aperta, entram mais nós de dados. O resultado é um sistema que acompanha o crescimento do volume de logs sem parada e sem redesenho de infraestrutura, característica que faz diferença quando a organização inteira depende desse mesmo índice para investigar incidentes.
A ingestão também é simples. O Elasticsearch fornece Logstash, Filebeat e vários outros componentes que deixam a coleta de um log pronta com pouca configuração, então colocar uma nova aplicação para indexar é rápido. A linguagem de consulta, baseada em Lucene, é muito poderosa e permite filtrar com precisão o que interessa no meio de terabytes de registros. Some a isso o fato de a ferramenta ser gratuita na maior parte, com exceção de recursos como autenticação e autorização, e o custo de manter tudo isso em grande escala fica bastante econômico para a empresa.
Falta alerta gratuito e proteção contra consultas que derrubam o cluster
Nem tudo resolve sem custo. O Elasticsearch não tem uma solução de alerta gratuita: existe o ElastAlert, mas ele não se compara à versão paga, e isso limita quem precisa ser avisado de um erro em tempo real sem comprar o recurso adicional. Também faltam autenticação e autorização na versão aberta, o que torna o Graylog uma opção mais atraente em ambientes que exigem controle de acesso desde o primeiro dia.
O outro ponto sensível é a ausência de um mecanismo que proteja o cluster contra consultas descontroladas. Uma consulta mal escrita pode levar o cluster a ficar de joelhos e derrubar a busca de logs de todo mundo, e não existe barreira nativa que segure esse tipo de carga. Na operação diária, esses dois fatores, alerta e controle de acesso, são justamente os que mais pedem atenção.
Ainda assim, a balança continua positiva para o meu caso. A escala sob demanda, a ingestão simples com Logstash e Filebeat e a força da linguagem baseada em Lucene cobrem o essencial de quem armazena e pesquisa logs de várias aplicações. Os pontos fracos aparecem em recursos ao redor do núcleo, e não na capacidade de buscar e guardar dados em volume alto, que é exatamente o que preciso todos os dias.
Más reseñas de Elastic
¿Evaluando Elastic?
Obtén una cotización personalizada de Elasticsearch BV según tus necesidades.
Hablar por WhatsApp
por Elasticsearch BV
Elastic: busca e análise de dados com Elastic. Organiza documentos e eventos em índices para permitir consultas e recuperação de informações. Executa buscas em conteúdo textual com filtros e mecanismos de relevância.