Busca em logs com Elasticsearch: escala em hardware modesto
Colby S.
Reseña Original
Como usuário, o Elasticsearch entrega busca rápida em logs gigantescos mesmo quando o hardware é modesto. Roda em centenas de servidores, com milhares de requisições por segundo e retenção de duas semanas de log por máquina, e o servidor que desativamos recentemente era um Xeon da classe Pentium 4 Netburst que quase nunca falhava. Configurar é simples: defino os limites de memória do Java, começo a jogar registros em JSON e o cluster se encontra sozinho na rede.
Ingestão de registros JSON em um cluster que se monta sozinho
Montar o cluster foi a parte que menos me deu trabalho. Depois de instalar, o ajuste essencial é definir os limites de memória do Java e começar a enviar registros em JSON para a base. Não existe esquema rígido para criar antes: o documento entra e o índice se encarrega do resto, o que encurta muito o caminho até o primeiro resultado útil.
O clustering também é automático. Os nós se encontram na rede e cada um recebe um nome, então crescer a estrutura não exigiu editar configuração em cada máquina, como eu já tinha feito em outras ferramentas de busca. A interface que uso no dia a dia é a API RESTful, no estilo curl, e o protocolo rápido na porta 9300 quando preciso falar direto com o nó. Com os registros dentro, a sintaxe do Apache Lucene resolve as consultas com naturalidade, inclusive para quem não é especialista em busca.
Desempenho de busca em milhares de requisições por segundo
Aqui está o motivo pelo qual continuo recomendando a ferramenta: a capacidade de busca é rápida em conjuntos de dados enormes, mesmo em hardware modesto. Nossa organização opera em centenas de servidores recebendo milhares de requisições por segundo, cada um com o próprio log e uma retenção de duas semanas. O servidor Elasticsearch que desativamos recentemente era um Xeon da classe Pentium 4 Netburst e raramente dava sinal de fraqueza.
Isso muda a conta de quem administra a infraestrutura. Eu consigo manter uma janela de retenção confortável sem reservar máquina de ponta só para indexação e consulta, e o volume de documentos que entra a cada segundo não vira um gargalo de atendimento. Quando algum time pede para investigar um comportamento específico, a consulta sai do papel rápido porque a extração de dados sobre os registros já indexados é direta. Para uma operação de log em escala, esse é o tipo de estabilidade que evita guerra de plantão.
Limites de memória Java e o status vermelho sem detalhes
O ponto que mais me incomoda é o ajuste de limites de memória do Java. Para quem não está acostumado com coisas como Eden Space e Old Generation, é fácil superalocar, ou mais provavelmente subalocar, e o Apache Solr tinha um problema parecido. Seria ótimo se o próprio programa analisasse o sistema e os processos e devolvesse uma recomendação sólida de configuração, em vez de deixar isso só na documentação.
O único health check que o Elasticsearch reporta é um status vermelho, sem informação concreta sobre o que está acontecendo, embora normalmente seja memória ou I/O de disco. Estou na versão 1.5, então isso pode ter mudado. Quando o status fica vermelho, sinto que perco o controle da situação, e algo mais detalhado resolveria. Também me preocupa o feature creep do Elastic Stack: durante um release maior do Logstash, levei um mês para aprender uma sintaxe nova, e para uma organização média com dois administradores isso é caro.
No fim, minha leitura é que o Elasticsearch como motor de armazenamento e busca é enxuto e sólido, com ingestão de JSON simples, cluster automático e consultas rápidas sobre volumes grandes em hardware modesto. As ressalvas ficam na configuração de memória do Java, na falta de detalhe quando o status fica vermelho e na direção que o restante do stack vem tomando. Preferiria ver a equipe refinando e automatizando o que já funciona, em vez de mexer numa fundação que sempre se mostrou confiável no nosso ambiente de logs.
Más reseñas de Elastic
¿Evaluando Elastic?
Obtén una cotización personalizada de Elasticsearch BV según tus necesidades.
Hablar por WhatsApp
por Elasticsearch BV
Elastic: busca e análise de dados com Elastic. Organiza documentos e eventos em índices para permitir consultas e recuperação de informações. Executa buscas em conteúdo textual com filtros e mecanismos de relevância.