Busca em logs com Elasticsearch: escala em hardware modesto

Colby S.

Reseña vía trustradius

Reseña Original

Como usuário, o Elasticsearch entrega busca rápida em logs gigantescos mesmo quando o hardware é modesto. Roda em centenas de servidores, com milhares de requisições por segundo e retenção de duas semanas de log por máquina, e o servidor que desativamos recentemente era um Xeon da classe Pentium 4 Netburst que quase nunca falhava. Configurar é simples: defino os limites de memória do Java, começo a jogar registros em JSON e o cluster se encontra sozinho na rede.

Ingestão de registros JSON em um cluster que se monta sozinho

Montar o cluster foi a parte que menos me deu trabalho. Depois de instalar, o ajuste essencial é definir os limites de memória do Java e começar a enviar registros em JSON para a base. Não existe esquema rígido para criar antes: o documento entra e o índice se encarrega do resto, o que encurta muito o caminho até o primeiro resultado útil.

O clustering também é automático. Os nós se encontram na rede e cada um recebe um nome, então crescer a estrutura não exigiu editar configuração em cada máquina, como eu já tinha feito em outras ferramentas de busca. A interface que uso no dia a dia é a API RESTful, no estilo curl, e o protocolo rápido na porta 9300 quando preciso falar direto com o nó. Com os registros dentro, a sintaxe do Apache Lucene resolve as consultas com naturalidade, inclusive para quem não é especialista em busca.

Desempenho de busca em milhares de requisições por segundo

Aqui está o motivo pelo qual continuo recomendando a ferramenta: a capacidade de busca é rápida em conjuntos de dados enormes, mesmo em hardware modesto. Nossa organização opera em centenas de servidores recebendo milhares de requisições por segundo, cada um com o próprio log e uma retenção de duas semanas. O servidor Elasticsearch que desativamos recentemente era um Xeon da classe Pentium 4 Netburst e raramente dava sinal de fraqueza.

Isso muda a conta de quem administra a infraestrutura. Eu consigo manter uma janela de retenção confortável sem reservar máquina de ponta só para indexação e consulta, e o volume de documentos que entra a cada segundo não vira um gargalo de atendimento. Quando algum time pede para investigar um comportamento específico, a consulta sai do papel rápido porque a extração de dados sobre os registros já indexados é direta. Para uma operação de log em escala, esse é o tipo de estabilidade que evita guerra de plantão.

Limites de memória Java e o status vermelho sem detalhes

O ponto que mais me incomoda é o ajuste de limites de memória do Java. Para quem não está acostumado com coisas como Eden Space e Old Generation, é fácil superalocar, ou mais provavelmente subalocar, e o Apache Solr tinha um problema parecido. Seria ótimo se o próprio programa analisasse o sistema e os processos e devolvesse uma recomendação sólida de configuração, em vez de deixar isso só na documentação.

O único health check que o Elasticsearch reporta é um status vermelho, sem informação concreta sobre o que está acontecendo, embora normalmente seja memória ou I/O de disco. Estou na versão 1.5, então isso pode ter mudado. Quando o status fica vermelho, sinto que perco o controle da situação, e algo mais detalhado resolveria. Também me preocupa o feature creep do Elastic Stack: durante um release maior do Logstash, levei um mês para aprender uma sintaxe nova, e para uma organização média com dois administradores isso é caro.

No fim, minha leitura é que o Elasticsearch como motor de armazenamento e busca é enxuto e sólido, com ingestão de JSON simples, cluster automático e consultas rápidas sobre volumes grandes em hardware modesto. As ressalvas ficam na configuração de memória do Java, na falta de detalhe quando o status fica vermelho e na direção que o restante do stack vem tomando. Preferiria ver a equipe refinando e automatizando o que já funciona, em vez de mexer numa fundação que sempre se mostrou confiável no nosso ambiente de logs.

Ver reseña completa en trustradius
Volver a todas las reseñas

¿Evaluando Elastic?

Obtén una cotización personalizada de Elasticsearch BV según tus necesidades.

Hablar por WhatsApp

Simular Ahorros

Calcula tu ahorro potencial al cambiar a Elastic.

Simular Ahorros
Elastic
Elastic

por Elasticsearch BV

Elastic: busca e análise de dados com Elastic. Organiza documentos e eventos em índices para permitir consultas e recuperação de informações. Executa buscas em conteúdo textual com filtros e mecanismos de relevância.

SoftwareDeveloper Tools
Página del Producto