Qase para CI Playwright: histórico de runs por suíte

Avaliador Verificado

Avaliação via g2

Avaliação Original

O histórico de runs é a parte do Qase que eu mais uso no dia a dia. Cada job do Playwright no CI abre a sua própria run, então as suítes Business, Admin e Mobile ficam separadas em vez de viverem apenas dentro de um log do GitHub. Abro o dashboard, vejo o que passou e o que falhou, entro no caso com falha e levo o run id para o Slack ou para um comentário no Jira.

Runs separadas por suíte no dashboard do Qase

Antes do Qase, um job do CI que falhava era só um log do GitHub. Eu precisava rolar esse log para descobrir se o problema estava na suíte Business, na Admin ou na Mobile, e não tinha como entregar para outra pessoa um único lugar onde ela olhasse e entendesse o resultado. Hoje cada job abre a sua própria run, e o dashboard me dá a contagem de pass e fail antes de eu abrir qualquer coisa. O passo seguinte é sempre o mesmo: clico na run, entro no caso que falhou e leio o que aconteceu.

Na semana passada esse fluxo resolveu uma dúvida concreta. Uma run trouxe um timeout de login no portal Business e outra apontou uma checagem de atividade de perfil na suíte Mobile. Mais tarde, na mesma manhã, uma nova run do portal Business passou verde. Ter as duas runs do Business lado a lado deixou evidente que a primeira falha era um flake de sessão e não uma quebra do produto, o que mudou completamente a conversa que eu teria com o time naquele dia.

Também guardo o run id quando escrevo a atualização no Slack ou um comentário no Jira. Assim quem lê abre exatamente o mesmo resultado, sem precisar me pedir o log e sem eu colar um bloco de texto que ninguém consegue rastrear depois.

Job cancelado no CI deixa a run em In Progress sem casos

Existe um caso que atrapalha a leitura do histórico. O reporter abre a run do Qase no momento em que o job começa. Se o GitHub cancelar esse job antes de publicar os resultados, a run fica em In Progress, sem nenhum caso associado e com a duração zerada. O efeito é que o dashboard mostra runs que parecem ativas quando, na prática, nada foi executado.

Isso acontecia com os nossos jobs semanais do portal Admin. Eu abria o dashboard, via uma run em andamento e demorava a entender que ela era apenas o resto de um job cancelado, não um teste rodando naquele instante. A correção que eu gostaria de ver é simples: quando o job for cancelado, fechar a run ou marcá-la como abortada. O histórico ficaria honesto e a diferença entre uma execução real e um job interrompido apareceria na hora, sem eu precisar abrir a run para conferir se havia casos dentro.

Buscar os resultados da run pela API retorna 403

A outra lacuna que encontrei está na API de resultados. Consigo listar as runs com o mesmo token sem problema, mas quando tento buscar os resultados do projeto a chamada voltou 403. Na prática, isso me obrigava a abrir cada run na interface, uma por uma, ou a voltar para o log do GitHub para descobrir qual caso tinha falhado. É um caminho longo para uma informação que já está associada à run.

O comportamento esperado é que o token que já lista as runs também consiga ler os resultados dessas runs. Hoje ele não consegue, e o trabalho dobra: o dado existe, está ligado à run que eu acabei de listar, mas não chega até mim pelo caminho automatizado. Como eu já uso a listagem de runs dentro do fluxo, ter que voltar para a interface no meio da investigação quebra a sequência e me faz repetir manualmente uma etapa que o próprio Qase já conhece.

O saldo é que o Qase resolveu o problema central do meu fluxo de CI, que era sair do log do GitHub para entender uma falha. Hoje eu abro o dashboard, identifico a suíte e o caso com falha, comparo runs da mesma manhã e compartilho o run id com o time. Ficam dois ajustes que fariam o histórico fechar por completo: tratar a run quando o job é cancelado e liberar a leitura dos resultados pela API com o token que já lista as runs.

Ver avaliação completa no g2
Voltar para todas as avaliações

Avaliando o Qase?

Obtenha uma cotação personalizada de Qase baseada nas suas necessidades.

Falar no WhatsApp

Simular Economia

Calcule sua economia potencial ao migrar para Qase.

Simular Economia
Qase
Qase

por Qase

Qase organiza casos de teste, execuções manuais e resultados automatizados para apoiar o planejamento e o acompanhamento da qualidade. Conheça recursos, documentação e critérios de avaliação para escolher a solução com informações verificáveis.

SoftwareDeveloper Tools
Página do Produto