Snowflake para data lake e warehouse: escala e rapidez
Jeremy P.
Avaliação Original
Uso o Snowflake na minha organização como data lake e data warehouse ao mesmo tempo, e a decisão que mais mudou nosso fluxo foi parar de fazer ETL da origem para um lake e só depois arquitetar os dados. Criamos schemas internos e carregamos os dados direto neles. Para mim, o ganho aparece na velocidade de processamento e no scaling de warehouses, com uma facilidade de uso que fez o resto do time adotar rápido.
Como montamos o data lake e o data warehouse no Snowflake sem ETL extra
O desenho que adotamos é simples de explicar e de manter. Em vez de levar os dados da origem para um data lake e depois reorganizar tudo em outra camada, criamos schemas internos no próprio Snowflake e fazemos o ETL direto para eles. Isso encurtou o caminho entre o dado bruto e a tabela que o time consulta, e eliminou a etapa em que a gente reescrevia a arquitetura a cada nova fonte. Na prática, a ferramenta passou a ser as duas coisas para nós: o lugar onde o dado cru chega e o lugar onde ele já fica modelado.
A execução continua no nosso SQL Server on-premises, que roda os pacotes SSIS e trabalha com conexão via DSN. Essa parte não mudou, o que ajudou bastante na transição, porque a equipe manteve o processo que já conhecia e só trocou o destino da carga. Como a conexão por DSN é suportada, os pacotes apontam para os schemas internos e o pipeline segue rodando como antes. Até agora tem sido muito fácil e muito bem-sucedido, sem retrabalho grande de reescrita.
Velocidade de processamento e scaling de warehouses na rotina
O que mais me agrada é a velocidade de processamento. As consultas saem rápido e o volume que a gente movimenta não virou gargalo em nenhum momento. O scaling de warehouses no Snowflake é outro ponto que pesa no dia a dia: quando a demanda aperta, dá para aumentar o warehouse e o processamento acompanha, sem precisar redesenhar o modelo de dados nem refazer a camada de schemas que já montamos.
Também destaco a facilidade de uso, no sentido de que o time entendeu a lógica da ferramenta sem um treinamento longo. Como não dependemos de uma etapa separada de lake antes de arquitetar, o intervalo entre a chegada do dado e a consulta ficou menor, e quem consome a informação sente isso na rotina. Para um cenário em que a carga já existe e precisa apenas de um destino elástico, esse conjunto de velocidade e scaling resolve o problema sem exigir uma reengenharia do pipeline.
Documentação minuciosa demais e a troca da interface web pelo DBeaver
Meu incômodo com o Snowflake não é de desempenho, é de leitura da documentação. Ela é minuciosa demais para o meu gosto, e essa profundidade toda às vezes atrapalha: quando preciso resolver algo pontual, tenho que garimpar bastante até encontrar a resposta. Não é falta de conteúdo, é excesso dele sem um caminho curto para o que eu quero naquele momento.
Também não sou fã da interface web. Prefiro trabalhar no DBeaver, que é onde passo a maior parte do tempo, então uso o navegador o mínimo possível para consultas e conferências. Sobre pontos negativos, é difícil até listar, porque novas funcionalidades aparecem o tempo todo e parte do que eu reclamaria acaba mudando de lugar antes de virar problema de verdade. O saldo de uso segue muito positivo.
No fim, a recomendação que eu daria é não ficar debatendo demais e migrar para o Snowflake. A combinação de data lake e data warehouse no mesmo lugar, com schemas internos e carga via SSIS, resolveu nosso fluxo, e a velocidade de processamento com o scaling de warehouses faz o resto. Uso o DBeaver como interface principal e convivo com a documentação extensa, que é o único incômodo real que carrego até hoje.
Mais avaliações de Snowflake
- Snowflake preço: análise para dados
- Consultas SQL com Snowflake: conector Spark na prática
- Snowflake na prática: interface visual e limites do código
- Snowflake para analytics: data warehouse elástico na nuvem
- Como o Snowflake acelera consultas no data warehouse
- Snowflake para analytics em grande empresa: performance rápida
Avaliando o Snowflake?
Obtenha uma cotação personalizada de Snowflake baseada nas suas necessidades.
Falar no WhatsApp
por Snowflake
Snowflake permite armazenar, processar e compartilhar dados para análises e aplicações empresariais. Conheça recursos, documentação e critérios de adoção para avaliar a solução no contexto da sua empresa.