Menu

8 indicateurs de performance clés pour les versions de qualité (Panaya Test Dynamix Review)

8 key performance indicators

Essayez Notre Instrument Pour Éliminer Les Problèmes

Cet article explique 8 indicateurs de performance clés pour les versions de qualité à l'aide de la solution de test de bout en bout Panaya Test Dynamix:

Ce n’est un secret pour personne que les responsables de la qualité des logiciels sont confrontés à une pression croissante pour fournir des logiciels de haute qualité à une vitesse record.

La question que nous nous posons tous souvent est la suivante: «comment mesurer notre succès» en termes de qualité logicielle?

La rapidité de mise sur le marché est un calcul beaucoup plus simple, mais la mesure de nos performances dans la fourniture de logiciels de haute qualité dépend d'une multitude de facteurs tels que la méthodologie du projet (cascade, hybride, agile), la complexité du logiciel, le niveau de technicité. dette impliquée, le nombre d'interfaces, et bien plus encore.

comment lire des fichiers mkv

En un mot, le nombre de variables qui joue dans un niveau acceptable de défauts de gravité élevée ne doit pas être sous-estimé. Par conséquent, pour survivre sur ce marché, nous devons évoluer en permanence, à la fois dans nos opinions et nos bâtons de mesure.

C’est la raison pour laquelle j’ai développé cette liste des 8 principaux indicateurs de performance clés que vous devez ajouter à votre tableau de bord de la qualité et commencer le suivi pour atténuer les risques de publication, améliorer la qualité et mesurer immédiatement votre succès.

Indicateurs de performance clés

Ce que vous apprendrez:

Indicateurs de performance clés pour les versions de qualité

# 1) Efficacité de la détection des défauts (DDE, pourcentage de détection des défauts AKA)

Ceci est une mesure de votre test de régression global efficacité. Il est calculé comme un ratio de défauts constatés avant et après la libération par vos clients.

Les défauts détectés après la libération sont généralement appelés «Incidents» et sont consignés dans un système d'assistance alors que les défauts constatés lors des phases de test ( Par exemple. , Unité, système, régression ou UAT) sont identifiés avant la publication et documentés avec des outils tels que Panaya Test Dynamix .

Afin de calculer correctement ce KPI, vous devez toujours catégoriser la version du logiciel dans laquelle chaque défaut a été identifié, avant sa publication dans votre environnement de production.

La formule souvent utilisée pour DDE:

Nombre de défauts identifiés dans la version du logiciel /

Nombre de défauts dans la version du logiciel + défauts évités identifiés par les utilisateurs finaux (Par exemple., Incidents)

Voici une illustration simple:

Supposons que 95 défauts ont été détectés au cours de votre cycle de test de régression sur ce dernier Service Pack SAP mensuel et que 25 défauts ont été enregistrés après la publication. Le DDE serait calculé comme 95 divisé par (95 + 25) = 79%.

Gardez à l'esprit que le DDE doit être surveillé avec un graphique linéaire qui commence à 100% le lendemain de la mise en production. Et au fur et à mesure que vos utilisateurs finaux internes et vos clients commenceront à utiliser votre dernier service pack SAP comme exemple, ils consigneront inévitablement quelques incidents.

D'après mon expérience, une «frénésie d'alimentation» se produit dans la première semaine 2 jours après qu'un Service Pack a atteint l'environnement de production. C'est à ce moment que vous remarquerez une baisse rapide de 100% à environ 95% lorsque les incidents sont enregistrés. Si votre entreprise utilise une cadence de publication mensuelle du Service Pack, mesurez le DDE pendant une période de 30 jours sur chaque Service Pack.

D'un autre côté, si votre entreprise n'exécute que quatre (4) cycles de publication majeurs par an, mesurez-la pendant 90 jours pour voir comment elle diminue au cours de cette période.

Qu'est-ce qui est considéré comme un «bon DDE»?

C'est un peu comme les lectures de pression artérielle que chaque organisation et personne évolue au fil du temps.

Bien que la communauté médicale définisse la lecture de la pression artérielle «optimale» comme étant de 120/80, il est naturel de voir une augmentation de la pression artérielle systolique à mesure que nous vieillissons. Avec DDE, les praticiens de l'industrie et les leaders d'opinion ont été connus pour dire que 90% est louable dans la plupart des industries.

Cependant, j'ai vu des organisations atteindre> 95% de DDE sur une base cohérente en se déplaçant à gauche avec des outils de simulation d'impact du changement tels que Analyse d’impact de Panaya .

# 2) Défauts à l'échelle du système (SWD)

Avez-vous déjà rencontré plusieurs défauts associés aux mêmes objets? Vous l'auriez sûrement fait. C'est un phénomène courant que rencontrent de nombreux responsables de tests.

Soudainement, vous constatez une énorme augmentation du nombre de bogues signalés dans un cycle UAT. Heureusement, je parie que vous êtes du genre à surveiller les défauts toutes les 15 minutes et à «relier» manuellement les doublons ou à lire chaque description pour en discerner vous-même la cause, n'est-ce pas? Douteux.

Alors, quelles sont vos options pour gérer le drame inévitable de «l'inflation par défaut?»

Le drame qui s'ensuit lors de cet appel de récapitulation nocturne avec les dirigeants du siège sur «Pourquoi une telle augmentation soudaine des défauts aujourd'hui?» (Pause…. Respire profondément avant de répondre)… «Je suis en train de travailler avec nos responsables fonctionnels pour effectuer une analyse manuelle des causes profondes.

Mais nous pensons que de nombreux problèmes sont liés à un problème commun, mais cela n’a pas encore été identifié », vous semble familier?

Ma suggestion est que vous commenciez à suivre ce que Panaya appelle «Défauts à l'échelle du système» . Le suivi manuel de cela prend une éternité - croyez-moi, je l'ai essayé plusieurs fois. Il est également difficile à faire en utilisant les anciens outils ALM où il ne vous reste plus que la possibilité de lier les défauts les uns aux autres et d'ajouter un commentaire.

Wow, cela a vraiment aidé! (ressentez le sarcasme?). Mais si vous n’avez pas le choix d’outils pour le moment, vous devrez réserver le temps nécessaire pour suivre correctement les défauts à l’échelle du système afin de les «expliquer» clairement? pourquoi la ligne de tendance des bogues évolue vers la fin d'un cycle de test plutôt que vers le bas.

Si vous en avez l'occasion, consultez Panaya Test Dynamix, il intègre SWD dans le moteur lui-même qui calcule automatiquement SWD pour vous à la volée.

Défaut à l

La toile d'araignée - Résidant dans le «Risk Cockpit» de cette plate-forme, il s'agit d'une représentation puissante mais simple des 6 indicateurs de performance clés supplémentaires qui complètent les KPI les plus importants que chaque responsable de la qualité, des tests et des versions doit suivre.

# 3) Achèvement des exigences

Les responsables de l'assurance qualité comprennent le risque à un niveau plus profond qui ne peut être réalisé qu'avec une visibilité au niveau du code ou du transport intégrée à chaque exigence. Cela nécessite le bon ensemble d'outils.

L'outil Panaya répondra aux besoins des organisations gérées par SAP à la recherche de suggestions intelligentes pour les tests unitaires et l'analyse des risques basée sur l'activité de transport.

Ce niveau de suivi est disponible dans Panaya Release Dynamix (RDx) .

Achèvement des exigences

# 4) Achèvement du développement

Nous vivons à une époque où les clients sont le roi et cela conduit la stratégie de transformation numérique de chaque organisation. De nos jours, nous ne pouvons pas nous permettre de rester cloisonnés dans notre réflexion ou notre approche organisationnelle de l’assurance qualité et de la livraison des logiciels.

Nos modèles ALM traditionnels d'antan n'ont pas été conçus pour le modèle de livraison continue d'aujourd'hui. Pour lutter contre cette vieille façon de penser, les responsables QA et tests doivent s'inscrire dans l'action de développement applicatif, ce qui signifie avoir une impulsion sur la livraison des user stories.

Il ne suffit pas de «s'asseoir et d'attendre» qu'une user story atteigne le statut Terminé. Nous devons plutôt suivre l'évolution d'une user story, assister aux réunions Scrum quotidiennes et parler ouvertement des risques qui se présentent avec des changements importants apportés à l'application testée.

# 5) Couverture du plan de test

C'est l'un de mes KPI préférés à suivre car je ne suis pas relégué uniquement au suivi du système, de l'intégration, de la régression et de la couverture UAT.

Dans le véritable esprit du déplacement vers la gauche, j'ai commencé à conseiller sur l'importance du suivi de la couverture des tests unitaires. Cela semble fou, non? Ce n’est pas le cas, surtout si vous disposez des bons outils pour faciliter l’exécution des tests unitaires seuls, mais pour faciliter même la capture des résultats réels (preuves).

Avec la fonction d'enregistrement et de lecture de test intégrée de Panaya Test Dynamix, votre participation aux tests unitaires montera en flèche. Vous pourrez non seulement afficher fièrement une matrice de traçabilité des exigences montrant une couverture de bout en bout, mais également présenter facilement les résultats réels à votre service d'audit, de l'unité aux tests de régression.

Traçabilité des exigences

# 6) Analyse des risques de changement

Un risque est inhérent à toute modification que nous apportons à une application en cours de test, mais nous ne savons pas toujours si nous testons les bons éléments.

De nombreuses organisations ont leur propre définition de ce que «risque de changement» signifie pour elles. Dans le «Cockpit des risques» de la version de Panaya's Release Dynamix (RDx), vous pouvez simplifier le suivi des modifications grâce à une analyse d’impact pour votre projet ou la prochaine version.

RDx calcule systématiquement le risque pour chaque exigence et vous tient au courant de son évolution au fur et à mesure que vous avancez dans le cycle de vie de la livraison.

Analyse des risques de changement

# 7) Risque d'exécution des tests

Il est trop courant pour toutes les organisations de suivre les indicateurs de performance clés tels que les tests créés, les tests réussis, les tests automatisés et les tests exécutés, mais qu'en est-il du suivi des étapes réelles exécutées dans chacun des tests?

Avez-vous déjà remarqué que de nombreux plateformes ALM populaires ne propose pas de fonctionnalités de création de rapports prêtes à l'emploi pour suivre la progression de l'exécution des «étapes» de test? Lorsque vous avez de nombreux «transferts» différents sur un Cycle UAT , il est judicieux de suivre le risque et l'état de l'exécution des tests, non seulement au niveau des tests, mais également au niveau des processus métier.

Panaya Test Dynamix fait juste cela, prêt à l'emploi.

risque d

# 8) Exécution des défauts

Le suivi des défauts a également une connotation négative.

En plus de suivre les défauts actifs, les défauts corrigés par jour, les défauts rejetés et les défauts graves, nous suggérons également de surveiller la résolution des défauts en fonction des exigences de portée.

De nombreuses organisations n'adoptent pas une vision basée sur les exigences de la résolution des défauts.

Pourquoi cette solution de test?

Avec une traçabilité de bout en bout intégrée à la fois à Release Dynamix et à Panaya Test Dynamix, votre organisation peut suivre le flux de travail de résolution des défauts du début à la fin au niveau des exigences.

Ceci est particulièrement utile pour les responsables des versions, de la qualité et des tests qui recherchent une vue d'ensemble d'un projet ou d'un cycle de publication.

Panaya accélère le processus de test pour les utilisateurs informatiques et professionnels, réduisant ainsi l'effort de test global de 30 à 50%:

  • Gestionnaires: Alertes en temps réel pour les tests et les défauts et pour éviter les goulots d'étranglement.
  • Utilisateurs professionnels: Documentation automatisée des preuves de test et des défauts.
  • Analystes fonctionnels: Automatisation des activités de tests répétitifs.
  • Testeurs professionnels: Améliore de manière transparente la capture des connaissances métier.
  • Solveurs de défauts: Réduit les allers-retours avec les testeurs.

Que devez-vous savoir d'autre sur cette solution

# 1) Panaya Test Dynamix est une solution SaaS ce qui signifie que vous bénéficiez d'une intégration transparente, de mises à niveau fréquentes et indolores ainsi que d'une surveillance des outils d'automatisation sur site.

# 2) Outils de collaboration intégrés rationalisez les cycles de test avec des notifications et des outils de communication intégrés.

Le transfert automatique des étapes de test à l'utilisateur suivant élimine les temps d'inactivité, soulage les goulots d'étranglement de la charge de travail et garantit des flux de travail optimaux.

# 3) Gestion intelligente des défauts permet aux utilisateurs de surveiller de manière centralisée les défauts, leur résolution et les processus métier concernés.

Lorsqu'un défaut est détecté, identifie automatiquement tous les autres tests concernés et bloque ou envoie des notifications aux testeurs jusqu'à ce que le défaut principal soit résolu. Le défaut résolu est automatiquement fermé, en éliminant l'arriéré de défauts.

# 4) Avec une approche centrée sur les processus métier de l'UAT et du SIT, Des experts en la matière interfonctionnels et dispersés géographiquement valident les cycles UAT en fonction des processus métier réels (applications packagées).

# 5) Connecteurs d'automatisation de test fournissent une intégration complète de Panaya Test Dynamix avec les outils d'automatisation existants pour des cycles de régression efficaces en un minimum de temps et d'efforts avec des capacités de suivi et de surveillance holistiques.

# 6) Automatisation des preuves de test automatise les tests manuels traditionnellement gérés dans Excel et Word.

Gain de temps en documentant sans effort chaque exécution de test - y compris les preuves de test et un enregistrement des étapes de reproduction des tests tout en réduisant les allers-retours entre les développeurs et les testeurs. La documentation est prêt pour l'audit , garantit le respect de toutes les normes de qualité internes et externes.

# 7) Test autonomeSM pour SAP permet la création et la maintenance de cas de test sans intervention afin que vous n'ayez plus à gérer les difficultés associées à la capture des connaissances métier et au processus de création et de maintenance de scripts conçus manuellement.

Les scripts sont personnalisables tandis que l'apprentissage automatique propose une validation et des suggestions basées sur l'analyse de la foule.

# 8) Capture automatisée des connaissances commerciales - Omega crée automatiquement des cas de test réels basés sur les activités des utilisateurs professionnels capturées de manière transparente dans la production à l'aide d'algorithmes d'apprentissage automatique (SAP).

Conclusion

Les responsables de la qualité des logiciels et toutes les parties prenantes concernées peuvent atteindre leurs KPI de test pour stimuler davantage l'innovation tout en réduisant les efforts de 30 à 50%, sans compromettre la portée ou la qualité en utilisant Panaya.

Standardise le processus de test et mesure le succès, car toutes les parties prenantes adoptent la même méthodologie de test pour obtenir une visibilité en temps réel sur tous les cycles de test, y compris l'UAT à grande échelle.

Pour plus d'informations, vous pouvez explorer Panaya Test Dynamix .

Faites-nous part de vos réflexions / questions dans les commentaires ci-dessous.

lecture recommandée

^