Snowflake para data lake e warehouse: escala e rapidez

Jeremy P.

Avaliação via trustradius

Avaliação Original

Uso o Snowflake na minha organização como data lake e data warehouse ao mesmo tempo, e a decisão que mais mudou nosso fluxo foi parar de fazer ETL da origem para um lake e só depois arquitetar os dados. Criamos schemas internos e carregamos os dados direto neles. Para mim, o ganho aparece na velocidade de processamento e no scaling de warehouses, com uma facilidade de uso que fez o resto do time adotar rápido.

Como montamos o data lake e o data warehouse no Snowflake sem ETL extra

O desenho que adotamos é simples de explicar e de manter. Em vez de levar os dados da origem para um data lake e depois reorganizar tudo em outra camada, criamos schemas internos no próprio Snowflake e fazemos o ETL direto para eles. Isso encurtou o caminho entre o dado bruto e a tabela que o time consulta, e eliminou a etapa em que a gente reescrevia a arquitetura a cada nova fonte. Na prática, a ferramenta passou a ser as duas coisas para nós: o lugar onde o dado cru chega e o lugar onde ele já fica modelado.

A execução continua no nosso SQL Server on-premises, que roda os pacotes SSIS e trabalha com conexão via DSN. Essa parte não mudou, o que ajudou bastante na transição, porque a equipe manteve o processo que já conhecia e só trocou o destino da carga. Como a conexão por DSN é suportada, os pacotes apontam para os schemas internos e o pipeline segue rodando como antes. Até agora tem sido muito fácil e muito bem-sucedido, sem retrabalho grande de reescrita.

Velocidade de processamento e scaling de warehouses na rotina

O que mais me agrada é a velocidade de processamento. As consultas saem rápido e o volume que a gente movimenta não virou gargalo em nenhum momento. O scaling de warehouses no Snowflake é outro ponto que pesa no dia a dia: quando a demanda aperta, dá para aumentar o warehouse e o processamento acompanha, sem precisar redesenhar o modelo de dados nem refazer a camada de schemas que já montamos.

Também destaco a facilidade de uso, no sentido de que o time entendeu a lógica da ferramenta sem um treinamento longo. Como não dependemos de uma etapa separada de lake antes de arquitetar, o intervalo entre a chegada do dado e a consulta ficou menor, e quem consome a informação sente isso na rotina. Para um cenário em que a carga já existe e precisa apenas de um destino elástico, esse conjunto de velocidade e scaling resolve o problema sem exigir uma reengenharia do pipeline.

Documentação minuciosa demais e a troca da interface web pelo DBeaver

Meu incômodo com o Snowflake não é de desempenho, é de leitura da documentação. Ela é minuciosa demais para o meu gosto, e essa profundidade toda às vezes atrapalha: quando preciso resolver algo pontual, tenho que garimpar bastante até encontrar a resposta. Não é falta de conteúdo, é excesso dele sem um caminho curto para o que eu quero naquele momento.

Também não sou fã da interface web. Prefiro trabalhar no DBeaver, que é onde passo a maior parte do tempo, então uso o navegador o mínimo possível para consultas e conferências. Sobre pontos negativos, é difícil até listar, porque novas funcionalidades aparecem o tempo todo e parte do que eu reclamaria acaba mudando de lugar antes de virar problema de verdade. O saldo de uso segue muito positivo.

No fim, a recomendação que eu daria é não ficar debatendo demais e migrar para o Snowflake. A combinação de data lake e data warehouse no mesmo lugar, com schemas internos e carga via SSIS, resolveu nosso fluxo, e a velocidade de processamento com o scaling de warehouses faz o resto. Uso o DBeaver como interface principal e convivo com a documentação extensa, que é o único incômodo real que carrego até hoje.

Ver avaliação completa no trustradius
Voltar para todas as avaliações

Avaliando o Snowflake?

Obtenha uma cotação personalizada de Snowflake baseada nas suas necessidades.

Falar no WhatsApp

Simular Economia

Calcule sua economia potencial ao migrar para Snowflake.

Simular Economia
Snowflake
Snowflake

por Snowflake

Snowflake permite armazenar, processar e compartilhar dados para análises e aplicações empresariais. Conheça recursos, documentação e critérios de adoção para avaliar a solução no contexto da sua empresa.

SoftwareAnalytics
Página do Produto