Snowflake para data lake e warehouse: escala e rapidez

Jeremy P.

Reseña vía trustradius

Reseña Original

Uso o Snowflake na minha organização como data lake e data warehouse ao mesmo tempo, e a decisão que mais mudou nosso fluxo foi parar de fazer ETL da origem para um lake e só depois arquitetar os dados. Criamos schemas internos e carregamos os dados direto neles. Para mim, o ganho aparece na velocidade de processamento e no scaling de warehouses, com uma facilidade de uso que fez o resto do time adotar rápido.

Como montamos o data lake e o data warehouse no Snowflake sem ETL extra

O desenho que adotamos é simples de explicar e de manter. Em vez de levar os dados da origem para um data lake e depois reorganizar tudo em outra camada, criamos schemas internos no próprio Snowflake e fazemos o ETL direto para eles. Isso encurtou o caminho entre o dado bruto e a tabela que o time consulta, e eliminou a etapa em que a gente reescrevia a arquitetura a cada nova fonte. Na prática, a ferramenta passou a ser as duas coisas para nós: o lugar onde o dado cru chega e o lugar onde ele já fica modelado.

A execução continua no nosso SQL Server on-premises, que roda os pacotes SSIS e trabalha com conexão via DSN. Essa parte não mudou, o que ajudou bastante na transição, porque a equipe manteve o processo que já conhecia e só trocou o destino da carga. Como a conexão por DSN é suportada, os pacotes apontam para os schemas internos e o pipeline segue rodando como antes. Até agora tem sido muito fácil e muito bem-sucedido, sem retrabalho grande de reescrita.

Velocidade de processamento e scaling de warehouses na rotina

O que mais me agrada é a velocidade de processamento. As consultas saem rápido e o volume que a gente movimenta não virou gargalo em nenhum momento. O scaling de warehouses no Snowflake é outro ponto que pesa no dia a dia: quando a demanda aperta, dá para aumentar o warehouse e o processamento acompanha, sem precisar redesenhar o modelo de dados nem refazer a camada de schemas que já montamos.

Também destaco a facilidade de uso, no sentido de que o time entendeu a lógica da ferramenta sem um treinamento longo. Como não dependemos de uma etapa separada de lake antes de arquitetar, o intervalo entre a chegada do dado e a consulta ficou menor, e quem consome a informação sente isso na rotina. Para um cenário em que a carga já existe e precisa apenas de um destino elástico, esse conjunto de velocidade e scaling resolve o problema sem exigir uma reengenharia do pipeline.

Documentação minuciosa demais e a troca da interface web pelo DBeaver

Meu incômodo com o Snowflake não é de desempenho, é de leitura da documentação. Ela é minuciosa demais para o meu gosto, e essa profundidade toda às vezes atrapalha: quando preciso resolver algo pontual, tenho que garimpar bastante até encontrar a resposta. Não é falta de conteúdo, é excesso dele sem um caminho curto para o que eu quero naquele momento.

Também não sou fã da interface web. Prefiro trabalhar no DBeaver, que é onde passo a maior parte do tempo, então uso o navegador o mínimo possível para consultas e conferências. Sobre pontos negativos, é difícil até listar, porque novas funcionalidades aparecem o tempo todo e parte do que eu reclamaria acaba mudando de lugar antes de virar problema de verdade. O saldo de uso segue muito positivo.

No fim, a recomendação que eu daria é não ficar debatendo demais e migrar para o Snowflake. A combinação de data lake e data warehouse no mesmo lugar, com schemas internos e carga via SSIS, resolveu nosso fluxo, e a velocidade de processamento com o scaling de warehouses faz o resto. Uso o DBeaver como interface principal e convivo com a documentação extensa, que é o único incômodo real que carrego até hoje.

Ver reseña completa en trustradius
Volver a todas las reseñas

¿Evaluando Snowflake?

Obtén una cotización personalizada de Snowflake según tus necesidades.

Hablar por WhatsApp

Simular Ahorros

Calcula tu ahorro potencial al cambiar a Snowflake.

Simular Ahorros
Snowflake
Snowflake

por Snowflake

Snowflake permite armazenar, processar e compartilhar dados para análises e aplicações empresariais. Conheça recursos, documentação e critérios de adoção para avaliar a solução no contexto da sua empresa.

SoftwareAnalytics
Página del Producto