Logo de Click House

Click House

por Click House

Click House é um banco de dados analítico colunar (OLAP) de alta velocidade para análise em tempo real, observabilidade e cargas de dados e IA em escala corporativa.

Analytics

Distribuição de Avaliações

4.8
(5 avaliações)
5estrelas
4 (80%)
4estrelas
1 (20%)
3estrelas
0 (0%)
2estrelas
0 (0%)
1estrelas
0 (0%)
Avaliações (5 resultados)Mostrando 1-5 de 5

ClickHouse: MergeTree veloz em consultas analíticas

Uso o ClickHouse como nosso data warehouse principal e a razão é objetiva: as consultas analíticas respondem muito mais rápido do que outras soluções que já testamos. O motor MergeTree faz inserções em massa com desempenho impressionante e sustenta aquele tempo de resposta que permite decidir com dado ao vivo. Abaixo conto como isso funciona no dia a dia, o que a compressão muda na conta e onde a versão Cloud ainda precisa evoluir. A velocidade de leitura não nasce só do hardware. O MergeTree entrega inserções em massa com desempenho alto, e o jeito como o motor usa as chaves primárias para ordenar os dados e descartar grânulos que não interessam à consulta é o que explica, na prática, a velocidade absurda das consultas analíticas. Percebi isso quando passei a rodar agregações grandes em cima de tabelas volumosas e o retorno continuava rápido, mesmo com pouca capacidade de computação alocada. A compressão também pesa nessa conta. Como o ClickHouse é escrito em C++, tenho tipos de dado muito granulares, incluindo enum e LowCardinality, que ficam armazenados como valores inteiros e economizam bastante armazenamento. Menos dado lido do disco significa resposta mais rápida e menos custo de infraestrutura. Somei isso às funções nativas, que vão além do que o padrão ANSI exige, e o resultado é um ambiente em que o analista resolve a maior parte das perguntas sem sair do SQL, sem depender de camada extra para cálculos simples do dia a dia. Antes, cada área tinha sua fonte e cada pergunta exigia uma extração diferente. Com o ClickHouse, consolidamos fontes diversas em um repositório central e unificado, e tanto as soluções de BI quanto os produtos de dados feitos internamente passaram a ler do mesmo lugar. Isso encurtou o caminho entre a pergunta e a resposta e fez diferença direta em fases de MVP, quando a reação rápida a um insight vale mais do que qualquer painel bonito. O ganho maior aparece justamente aí: o time reage a dado ao vivo sem esperar a próxima carga. Há um detalhe de arquitetura que ajudou muito: os motores de tabela especiais permitem ler dados diretamente de outras origens, como o S3, sem precisar copiar tudo antes. Para nós, isso simplificou a camada de ingestão e eliminou etapa manual. A versão gerenciada na nuvem também liberou um time que antes cuidava da operação on-premise, o que na prática devolveu gente para trabalho de dados em vez de manutenção de servidor. Quando comparo com Snowflake, Databricks Lakehouse Platform e PostgreSQL, o ClickHouse sai na frente especialmente em custo. A combinação de compressão e indexação é eficiente o suficiente para fazer análises grandes mesmo com pouca capacidade de computação, algo que senti na fatura e não só no cronômetro da consulta. Nem tudo está resolvido. O SQL Console, que é a forma de rodar consultas pela interface web, ainda deixa a desejar em recursos: sinto falta de ver o plano de execução visualmente e de ter mais informação sobre a consulta que está rodando naquele momento. Quando uma query demora, esse diagnóstico faria diferença para entender se o problema está no dado, na modelagem ou na própria consulta. A gestão de papéis na versão Cloud também poderia ser mais flexível. Hoje basicamente existem admin e developer, e o developer já vem com leitura liberada sobre tudo por padrão. Eu preferiria o contrário: ter um papel parecido com o de guest e conceder acesso manualmente a quem precisa, em vez de começar com acesso amplo e depois restringir caso a caso. Falta ainda compatibilidade de SSO com alguns provedores de identidade, como o Okta, principalmente para usuários que são apenas de banco de dados. Em ambientes com muitos analistas, isso vira trabalho manual recorrente e um ponto de atrito com o time de segurança. Minha recomendação é direta: se o cenário é responder perguntas analíticas sobre volume grande de dados, o ClickHouse é a escolha certa e a velocidade do MergeTree justifica a decisão sozinha. O que não dá é usá-lo como banco transacional, porque nem os motores de tabela foram desenhados para isso. Para nós, que vivemos de insight em tempo real, o ganho em desempenho e custo superou com folga as arestas do console e da gestão de acessos na nuvem.

VE
Verified Engineer in Engineering·1 mai 2024·via trustradius
Ver avaliação

Como o ClickHouse usa funções procedurais no SQL

O ClickHouse é o banco de dados mais rápido com que já trabalhei, e o que mudou minha rotina de verdade foi conseguir misturar funções procedurais ao SQL: em vez de repetir a mesma consulta várias vezes, monto um fluxo único que percorre os campos de forma iterativa, seletiva e extrapolativa, inclusive em estruturas complexas. As materialized views pré-calculam tabelas abstratas em segundo plano e o footprint de hardware cai bastante. Tudo isso sem abandonar o SQL padrão. O ponto que mais me impressiona é a quantidade enorme de funções procedurais que dá para entrelaçar com o SQL. Elas funcionam como uma ponte entre uma linguagem de script e a consulta em si, e essa ponte resolve um problema bem prático: eu deixo de escrever a mesma consulta repetidas vezes só para cobrir variações pequenas de filtro ou de campo. Em vez disso, escrevo um bloco que navega pelos dados de maneira iterativa, escolhe seletivamente o que precisa ser lido e extrapola valores a partir dos formatos estendidos, como estruturas complexas. Isso muda o tipo de pergunta que consigo fazer ao banco, porque a lógica de percorrer e transformar fica dentro da própria consulta, e não espalhada em código externo que depois precisa ser mantido e sincronizado com o restante do fluxo. Na prática, ganho duas coisas ao mesmo tempo: menos duplicação e mais controle sobre o acesso ao dado. Quando preciso ajustar um recorte, altero o fluxo em um lugar só e o resultado se propaga para todas as leituras que dependem dele. A sensação é de estar programando perto do dado, sem pagar o custo de tirar a informação do banco para processar depois em outra camada. Também notei que essa mistura não deixa a consulta ilegível. O que antes era uma sequência de comandos quase idênticos vira um trecho coeso, mais fácil de revisar e de explicar para quem chega depois. As materialized views são a segunda peça que sustenta a performance no meu uso. Elas pré-calculam uma tabela abstraída em segundo plano, então quando a consulta chega, boa parte do trabalho pesado já foi feita. Não é preciso esperar o processamento começar do zero a cada leitura, e isso aparece na resposta. Esse desenho também explica por que o footprint de hardware fica tão baixo. O ClickHouse faz muito com pouca máquina, e em muitos projetos o custo de infraestrutura fica na casa de US$ 100, algo bem distante do que eu estava acostumado a reservar para cargas parecidas. Não preciso montar uma estrutura enorme para ter resposta rápida. Gosto do fato de a view materializada ser transparente para quem consome: a tabela abstraída aparece como qualquer outra e a lógica de pré-cálculo fica escondida atrás dela. Assim mantenho as consultas simples do lado de fora enquanto o trabalho de preparação acontece no fundo, sem que ninguém precise lembrar que aquela tabela foi derivada de outra. Não vou dizer que é tudo instantâneo. Existe uma curva de aprendizado leve quando se começa, principalmente na hora de ir além do SQL padrão e entrar nas funções procedurais e nas estruturas complexas. É o único senão que registraria depois de todo esse tempo de uso. Só que esse obstáculo é pequeno justamente porque o SQL padrão funciona normalmente. Quem já escreve consultas comuns continua produtivo desde o primeiro dia e vai incorporando os recursos extras aos poucos, sem parar o trabalho para estudar tudo antes. A transição para consultas mais complexas é indolor, no sentido de que não exige reaprender a pensar em banco de dados. A documentação ajuda muito nesse processo. Sempre que esbarrei em alguma sintaxe ou em um formato estendido que não conhecia, encontrei explicação suficiente para seguir em frente sem depender de tentativa e erro por muito tempo. Isso reduz o custo de errar, acelera a curva e é o motivo pelo qual, no fim, a nota que dou é máxima. Há um motivo para a comparação com o Lightning McQueen: o ClickHouse é rápido de um jeito que muda o que você se permite pedir ao banco. As funções procedurais entrelaçadas ao SQL cortam a repetição, as materialized views adiantam o trabalho e o hardware necessário encolhe. O único preço é uma curva de aprendizado leve no começo, compensada pelo SQL padrão e pela documentação. Para mim, é um 5 de 5.

AG
Andy G.·16 nov 2022·via g2
Ver avaliação

ClickHouse na prática: consultas velozes e comunidade lenta

Uso o ClickHouse para análise de grandes volumes de dados e o que mais me chamou atenção foi a velocidade: por ser orientado a colunas, ele devolve resultados velozes mesmo quando a consulta precisa varrer milhões de registros. A compressão eficiente facilita tanto o despejo dos dados no banco quanto a recuperação para exibir no GUI. O ponto de atenção fica com recursos que ainda estão no pipeline de desenvolvimento e com a demora do fórum em algumas respostas específicas. O armazenamento orientado a colunas é o motivo central dessa velocidade. Quando disparo uma consulta para buscar uma quantidade enorme de dados, o banco lê apenas as colunas necessárias, e não a linha inteira, o que reduz muito o trabalho. Na prática, consigo trazer milhões de registros para analisar em bem menos tempo do que em bases que eu usava antes, e isso muda o ritmo do meu trabalho de análise. Também notei que a estrutura colunar ajuda quando preciso repetir consultas parecidas ao longo do dia. Como os dados ficam organizados por coluna, a leitura é mais direta e o resultado chega rápido, o que me permite encadear uma verificação depois da outra sem esperar muito. É exatamente nesse cenário de volume alto que o ClickHouse se destaca, e não em cargas pequenas de teste. A compressão é outro ponto que pesa no meu dia a dia. Despejar dados no banco fica mais simples porque o volume físico armazenado diminui, e a recuperação desses dados para mostrar no GUI também fica mais leve. Ou seja, a compressão não serve só para economizar espaço, ela participa do ganho de tempo nas duas pontas: na entrada dos dados e na saída que eu exibo na interface. Percebo essa diferença principalmente em rotinas de carga recorrentes. Quando o processo de ingestão é direto e o dado já entra comprimido, a etapa seguinte de consulta não precisa compensar esse esforço, e o fluxo inteiro fica mais ágil. Para quem trabalha com análise de grandes volumes, esse detalhe tira bastante atrito, porque reduz a troca constante entre carregar, esperar e consultar de novo. Não é um recurso chamativo na documentação, mas aparece com clareza no uso diário. Nem tudo está pronto. Alguns recursos que eu gostaria de usar ainda estão no pipeline de desenvolvimento, então preciso esperar a evolução do produto antes de contar com eles no meu fluxo. Isso não atrapalha o uso principal do banco, mas cria um limite claro: em certas frentes eu trabalho com o que já existe e vou acompanhando as atualizações conforme saem. O outro ponto é o fórum da comunidade. Em dúvidas comuns as respostas aparecem, mas quando o assunto é mais específico, às vezes leva tempo até chegar uma resposta que realmente resolva. Nesses casos eu perco mais tempo pesquisando do que executando a tarefa. É um incômodo pequeno perto do ganho de performance, porém é real, e quem depende de suporte da comunidade para destravar detalhes precisa contar com essa espera. No balanço, o ClickHouse entrega o que mais importa para análise em escala: consultas velozes sobre milhões de registros e compressão que agiliza tanto a ingestão quanto a leitura no GUI. Os recursos ainda em desenvolvimento e a demora em respostas específicas do fórum são limitações que eu sinto, mas não tiram o valor do banco no meu uso diário. Fico com uma avaliação positiva, ciente de que parte da experiência depende de acompanhar as atualizações e de resolver sozinho alguns detalhes.

DP
Daksh P.·10 mar 2022·via g2
Ver avaliação

Agregação de indicadores com ClickHouse em menos de 1 segundo

Uso o ClickHouse para agregação de indicadores em volume alto, o tipo de consulta que o banco tradicional não entrega nem com hardware caro. Na prática, relatórios que levavam mais de 2 minutos passaram a responder em menos de 1 segundo, e a análise em tempo real deixou de ser impossível. A chave foi entender que ele é um banco analítico, feito para agregar uma coluna específica sobre grandes volumes, e não para as consultas tradicionais com múltiplas agregações em várias colunas. A diferença aparece na modelagem. Antes, os indicadores que exigiam agregação ficavam armazenados na mesma tabela tradicional que guardava todo o resto, e qualquer consulta analítica obrigava o banco a varrer dados que não interessavam. O ClickHouse entra justamente para separar esse trabalho: a agregação roda sobre uma coluna específica dentro de um volume grande, e é aí que ele se destaca. Configurei a replicação de dados sem grande esforço, o que ajudou a manter a análise disponível, e aproveitei os múltiplos engines para adaptar cada caso de uso ao formato de armazenamento que fazia sentido. O ganho não veio de hardware mais avançado, veio de usar a ferramenta certa para a tarefa certa. Com isso, foi possível analisar casos de uso em tempo real, algo que antes era inviável, e os relatórios deixaram de ser um gargalo no meio do dia. A performance alta aqui não é um número bonito de benchmark, é a diferença entre esperar e decidir. O ClickHouse não entrou como substituto de nada, entrou como a peça que faltava. O sistema de análise já tinha Apache Kafka, MariaDB Platform, Oracle Java SE e MongoDB, e o ClickHouse foi o parceiro escolhido para completar a camada de análise, justamente pelas características que os outros não ofereciam naquele contexto. A comparação com esses componentes nunca foi de concorrência, foi de encaixe: o Kafka traz o fluxo de eventos, o MongoDB e o MariaDB guardam o que precisa ser guardado, e o ClickHouse responde às agregações pesadas que ninguém ali conseguia entregar com conforto. O resultado apareceu nas aplicações, que ficaram mais completas, e nas decisões dos usuários, que passaram a se apoiar em indicadores atualizados em vez de extratos atrasados. Ser open source também pesou na escolha, porque permitiu avaliar o comportamento real antes de ampliar o uso. A parte que exige atenção é não extrapolar o escopo. Existe uma tentação de achar que, se o ClickHouse é rápido em um caso, ele será rápido em qualquer outro, e isso quase sempre leva a uma modelagem errada. Ele é um banco analítico, então a informação precisa estar armazenada corretamente, os volumes precisam ser realmente grandes e as consultas precisam ser de agregação. Se o cenário é aquele conjunto de consultas tradicionais sobre várias colunas com múltiplas agregações, o ClickHouse não é a solução. Nos pontos técnicos, senti dificuldade na manipulação de dados em Avro, e a consistência com o Kafka exigiu cuidado extra para não gerar leitura desencontrada. Também apareceram erros em operações DDL por causa da configuração de réplica, o que me obrigou a revisar a forma como a replicação estava montada antes de seguir em frente. Depois de rodar esse desenho por tempo suficiente para ver os indicadores mudarem de patamar, minha leitura segue positiva. O ClickHouse entrega performance alta, é open source, oferece múltiplos engines e a configuração de replicação é simples, desde que o caso de uso seja realmente analítico. Os incômodos com Avro, com a consistência do Kafka e com DDL em réplica existem, mas são pontuais e endereçáveis quando a configuração é revisada com calma. Para quem precisa agregar indicadores em volume alto e não quer depender de hardware mais caro, é a peça que fechou o sistema.

VE
Verified Engineer in Information Technology·2 ago 2021·via trustradius
Ver avaliação

ClickHouse para analytics: inserção e leitura velozes

Escolhi o ClickHouse porque precisava de um banco colunar que aguentasse analytics e relatórios com milhões de registros entrando e saindo rápido, e ele entrega exatamente isso: a inserção rápida e a leitura acontecem num ritmo que acompanha a demanda dos relatórios. A sintaxe parecida com SQL encurtou o aprendizado, e a execução vetorizada com algoritmos de merge faz o trabalho pesado por baixo. A tolerância a falhas é o que me deixa tranquilo em rotinas longas de carga. Meu uso principal é em analytics e relatórios, e é aí que o modelo colunar mostra por que foi escolhido. Preciso buscar e inserir milhões de registros em rotinas recorrentes, e o ClickHouse devolve esses dados rápido nas duas pontas: a carga entra sem travar o restante e a leitura do relatório sai sem espera perceptível. A execução vetorizada, combinada com os algoritmos de merge, é o que explica essa velocidade, porque o trabalho acontece em blocos de colunas em vez de linha por linha. Na prática, a consulta de um relatório não precisa varrer campos que não interessam ao resultado, e isso pesa quando o volume cresce. A tolerância a falhas também entra nessa conta: em uma rotina longa de carga, um problema isolado não derruba o processo inteiro, e eu consigo retomar sem refazer tudo do zero. A sintaxe parecida com SQL foi o que tornou a adoção simples para mim. Quem já escreve consultas reconhece a estrutura e não precisa aprender uma linguagem proprietária antes de tirar o primeiro relatório. Isso encurta bastante a curva de aprendizado e deixa o time analítico confortável para testar hipóteses direto no banco, sem depender de uma camada extra. A velocidade não vem da sintaxe, claro: por baixo existe uma matemática de vetores e algoritmos de merge que fazem o motor processar grandes volumes com eficiência. Gosto do fato de essa complexidade ficar escondida. Eu escrevo uma consulta comum e recebo o resultado rápido, sem precisar entender os detalhes de como o motor organiza e combina os dados internamente. Para quem trabalha com relatórios recorrentes, essa combinação de simplicidade na escrita e desempenho na execução é o ponto que mais agrada no uso diário. Nem tudo é perfeito. A criação de funções customizadas é limitada, e em alguns momentos eu queria resolver uma transformação específica dentro do próprio banco e não consegui do jeito que imaginava, tendo que adaptar a lógica para o que a ferramenta oferece. O outro ponto é a view materializada: quando a consulta envolve múltiplos joins, ela vira um trabalho chato de montar e manter, porque cada junção adiciona complexidade e o desenho precisa ser revisto com cuidado. Não chega a ser um bloqueio, já que o restante do fluxo compensa, mas são as duas situações em que preciso reservar mais tempo antes de considerar a tarefa encerrada. Ainda assim, nada disso muda o desempenho em analytics e relatórios, que continua sendo o motivo central de eu seguir com o ClickHouse. Fecho com a impressão de que o ClickHouse entrega o que promete para quem trabalha com volume alto: banco colunar, tolerante a falhas, sintaxe familiar e velocidade tanto na inserção quanto na leitura dos milhões de registros que analytics e relatórios exigem. As limitações em funções customizadas e em views materializadas com joins existem e aparecem no dia a dia, mas ficam pequenas diante do ganho de desempenho que sinto em cada relatório.

MB
Mayank B.·14 jul 2021·via g2
Ver avaliação