BrowserStack App Automate: análise de falhas em vídeo

Radhakrishnan M.

Reseña vía trustradius

Reseña Original

Usamos o BrowserStack principalmente com o App Automate para automatizar testes E2E do nosso app Android e do app iOS, e é isso que sustenta nossa regressão diária dos fluxos principais. A análise de falhas ficou muito mais rápida porque o dashboard entrega vídeo, screenshots e logs exatos da execução. Quando um teste quebra, consigo ver onde parou e por quê, sem precisar reproduzir tudo de novo na mão.

Como o dashboard do App Automate acelera a análise de falhas

O que mais mudou nosso dia a dia foi o dashboard do App Automate. Cada execução volta com vídeo, screenshots e logs do que aconteceu durante o teste, e eu não preciso adivinhar em que passo o fluxo quebrou. Antes, uma falha em regressão virava uma caçada: rodava de novo, olhava o console, pedia print para alguém. Agora abro a execução, assisto ao trecho do vídeo e cruzo com o log para achar a causa raiz.

Isso vale especialmente para os fluxos principais do app, que rodam todo dia. Como a regressão é diária, qualquer instabilidade aparece rápido e a análise precisa ser igualmente rápida, senão o time perde o dia inteiro investigando. Com o vídeo da execução e o log no mesmo lugar, a conversa com quem escreveu o teste fica objetiva: mostro o momento exato da falha em vez de descrever o comportamento.

Ainda assim, sinto falta de alguns atalhos nessa análise. Sugestões de melhoria de script com base no tempo de espera em cada tela ajudariam bastante, e agrupar os testes que falharam pelo mesmo motivo tornaria a análise de causa raiz bem mais rápida do que é hoje. Hoje esse agrupamento é trabalho manual meu.

App Live para reproduzir bugs presos a aparelhos específicos

Nem todo problema aparece no nosso parque de aparelhos. Por isso usamos o App Live para testar em modelos específicos que não temos em mãos, e foi assim que conseguimos reproduzir issues que só aconteciam em determinados dispositivos. Sem esse acesso, o bug ficava no limbo: ninguém conseguia replicar, então ninguém conseguia corrigir.

O caso mais claro é o dos iPhones de alto padrão. Comprar esses aparelhos para o laboratório interno é caro, e a variedade de modelos muda rápido. Com o App Live, testo nesses devices sem precisar justificar a compra de cada um. A conta fecha melhor do que parece: um laboratório próprio pode até ser econômico no começo, mas manter a estrutura e repor aparelhos conforme novos modelos chegam ao mercado custa mais do que a solução em nuvem.

Nas sessões de App Live, porém, gravar a tela do aparelho ainda é desajeitado. A gravação pela aba do navegador parece gambiarra e atrapalha quando quero registrar um comportamento para anexar em um chamado. Também gostaria de medir tempo de abertura do app e tempo de carregamento de tela direto na sessão, porque hoje isso é observação no olho.

Threads paralelas compartilhadas entre vários times

O App Automate oferece threads paralelas que podem ser compartilhadas entre times. Esse ponto foi decisivo para escalar a automação de testes mobile na organização inteira, não só no meu time. Em vez de cada squad montar sua própria estrutura de execução, a capacidade fica distribuída e o volume de testes cresce sem virar gargalo de infraestrutura.

Na prática, isso significa que a suíte de regressão roda em paralelo e sobra tempo para o que importa: analisar o resultado. A combinação de execução paralela com o dashboard com vídeo e logs fecha o ciclo. O teste falha, o vídeo mostra o momento, o log confirma a causa e a correção volta para a suíte.

O que ainda não existe e faria diferença é um agrupamento automático das falhas por motivo. Quando dez testes caem pelo mesmo erro, eu abro dez execuções para chegar à mesma conclusão. Se o dashboard já agrupasse esses casos, a análise de causa raiz começaria adiantada. É o tipo de melhoria pequena que economiza horas em uma semana de regressão.

Fecho com a impressão de que o BrowserStack resolveu o problema central do nosso fluxo: rodar regressão de app Android e iOS todos os dias e entender rápido por que algo quebrou. O App Automate cobre a execução e a análise, o App Live cobre os aparelhos que não temos, e as threads paralelas permitem espalhar isso pela organização. As melhorias que pedi são refinamentos, não bloqueios. Continuo recomendando para times que fazem automação mobile de verdade.

Ver reseña completa en trustradius
Volver a todas las reseñas

¿Evaluando browser stack?

Obtén una cotización personalizada de browser stack según tus necesidades.

Hablar por WhatsApp

Simular Ahorros

Calcula tu ahorro potencial al cambiar a browser stack.

Simular Ahorros
browser stack
browser stack

por browser stack

browser stack: testes web e móveis em nuvem para equipes que trabalham com validação de aplicações em navegadores e dispositivos. Conheça recursos, documentação e critérios de avaliação para comparar a solução.

SoftwareDeveloper Tools
Página del Producto