data warehouse testing tutorial with examples etl testing guide
Ce didacticiel couvre en détail les objectifs et l'importance des tests d'entrepôt de données, les responsabilités des tests ETL, les erreurs dans le déploiement DW et ETL:
Dans ce Série de formations approfondies sur l'entrepôt de données , nous avons regardé le Qu'est-ce que ET L Processus dans l'entrepôt de données détail dans notre tutoriel précédent.
Ce didacticiel vous permettra de comprendre comment les tests d'entrepôt de données peuvent être réalisés dans une organisation. Vous apprendrez également à connaître les objectifs des tests DW, comment et quel type de test peut être effectué en backend, qui sont tous impliqués dans ce processus, les erreurs DW et le déploiement ETL en détail.
=> Consultez TOUS les didacticiels sur l'entreposage de données ici.
Public cible
- Développeurs et testeurs Data Warehouse / ETL.
- Professionnels des bases de données ayant une connaissance de base des concepts de bases de données.
- Administrateurs de bases de données / experts Big Data qui souhaitent comprendre les concepts de l'entrepôt de données / ETL.
- Diplômés du Collège / Freshers qui recherchent des emplois dans l'entrepôt de données.
Ce que vous apprendrez:
Test de l'entrepôt de données (ETL)
Quelle est l'importance de tester les systèmes d'entrepôt de données et de Business Intelligence?
Les tests jouent un rôle essentiel dans le succès de l'un des deux systèmes ci-dessus, en garantissant l'exactitude des données qui renforce la confiance des utilisateurs finaux.
En général, un défaut détecté aux stades ultérieurs du cycle de vie du développement logiciel coûte plus cher pour corriger ce défaut. Cette situation dans le DW peut être aggravée parce que les mauvaises données trouvées aux étapes ultérieures pourraient avoir été utilisées dans des décisions commerciales importantes à ce moment-là.
Ainsi, le correctif dans le DW est plus coûteux en termes de processus, de personnes et de changements technologiques. Vous pouvez commencer le test DW dès la phase de collecte des exigences.
Une matrice de traçabilité des exigences est préparée et examinée, et cela met principalement en correspondance les fonctionnalités DW avec leurs exigences commerciales respectives. La matrice de traçabilité agit comme une entrée pour le plan de test DW préparé par les testeurs. Le plan de test décrit les tests à effectuer pour valider le système DW.
Il décrit également les types de tests qui seront effectués sur le système. Une fois le plan de test prêt, tous les cas de test détaillés seront préparés pour divers scénarios DW. Ensuite, tous les cas de test seront exécutés et les défauts seront enregistrés.
Il existe une norme dans le monde opérationnel qui gère différents environnements pour le développement, les tests et la production. Dans le monde DW, les développeurs et les testeurs s'assureront que les environnements de développement et de test sont disponibles avec la réplique des données de production avant de commencer leur travail.
Ceci est copié pour une liste de tables avec des données limitées ou complètes en fonction des besoins du projet, car les données de production sont vraiment volumineuses. Les développeurs développent leur code dans l’environnement du développeur et le livrent aux testeurs.
Les testeurs testeront le code fourni dans les environnements de test pour s'assurer que tous les systèmes fonctionnent. Ensuite, le code sera mis en ligne dans les environnements de production. Le code DW est également conservé dans différentes versions en fonction des défauts corrigés dans chaque version. La maintenance de plusieurs environnements et versions de code permet de créer un système de bonne qualité.
ce que dbms fonctionne sur un pc
Objectifs des tests de l'entrepôt de données (ETL)
Jetons un coup d'œil aux objectifs des tests d'entrepôt de données.
# 1) Exhaustivité des données: Assurez-vous que toutes les données provenant de différentes sources sont chargées dans un entrepôt de données. L'équipe de test valide si tous les enregistrements DW sont chargés, par rapport à la base de données source et aux fichiers plats en suivant les exemples de stratégies ci-dessous.
- Le nombre total d'enregistrements téléchargés depuis le système source doit correspondre au nombre total d'enregistrements chargés dans DW. S'il y a une différence, vous pouvez penser aux enregistrements rejetés.
- Comparez les données chargées dans chaque champ de DW avec les champs de données du système source. Cela fera ressortir les erreurs de données le cas échéant.
# 2) Transformation des données: Lors du téléchargement des données source dans l'entrepôt de données, peu de champs peuvent être directement chargés avec les données source, mais peu de champs seront chargés avec les données transformées selon la logique métier. C'est la partie complexe du test DW (ETL).
Voici les exemples de stratégies pour tester ceci:
- Vous pouvez tester en créant et en comparant des données dans des feuilles de calcul. Chargez les données transformées source et les données DW dans des feuilles de calcul et effectuez une comparaison. Il ne devrait pas y avoir de discordance.
- Les testeurs doivent écrire les requêtes selon la logique de transformation pour comparer les données DW avec les données source. L'exécution de la requête garantira que la validation des données pour l'un des champs n'est pas manquante.
# 3) Qualité des données: Le système de l'entrepôt de données (ETL) doit garantir la qualité des données qui y sont chargées en rejetant (ou) en corrigeant les données.
DW peut rejeter quelques-unes des données du système source basées sur la logique des exigences métier. Par exemple, rejeter un enregistrement si un certain champ contient des données non numériques. Tous les enregistrements rejetés sont chargés dans la table de rejet pour référence.
Les données rejetées sont signalées aux clients car il n'y a aucune chance de connaître ces données manquées, car elles ne seront pas chargées dans le système DW. DW peut correct les données en chargeant zéro à la place des valeurs nulles, etc.
# 4) Évolutivité et performances: L'entrepôt de données doit garantir l'évolutivité du système avec des charges croissantes. Avec cela, il ne devrait y avoir aucune dégradation des performances lors de l'exécution des requêtes, avec des résultats attendus dans des délais spécifiques. Ainsi, les tests de performances découvrent tous les problèmes et les corrigent avant la production.
Vous trouverez ci-dessous des exemples de stratégies pour les tests de performances et d'évolutivité:
- Faites les tests de performance en chargeant les volumes de production de données et assurez-vous que les délais ne sont pas manqués.
- Validez les performances de chaque requête avec des données en masse. Testez les performances à l'aide de jointures simples et de jointures multiples.
- Chargez le double (ou) le triple des volumes de données attendus pour calculer la capacité du système environ.
- Testez en exécutant des travaux pour tous les rapports répertoriés en même temps.
# 5) Test d'intégration: L'entrepôt de données doit effectuer des tests d'intégration avec d'autres applications en amont et en aval. Si possible, il est préférable de copier les données de production dans l'environnement de test pour les tests d'intégration.
Toutes les équipes système doivent être impliquées dans cette phase pour combler les lacunes tout en comprenant et en testant tous les systèmes ensemble.
# 6) Test unitaire: Ceci est effectué par les développeurs individuels sur leurs livrables. Les développeurs prépareront des scénarios de tests unitaires en fonction de leur compréhension des exigences, exécuteront les tests unitaires et documenteront les résultats. Cela aide les développeurs à corriger les bogues s'ils sont trouvés, avant de fournir le code à l'équipe de test.
# 7) Test de régression: Valide que le système DW ne fonctionne pas mal après avoir corrigé les défauts. Ceci est effectué plusieurs fois à chaque nouvelle modification de code.
# 8) Test d'acceptation de l'utilisateur: Ces tests sont effectués par des utilisateurs professionnels pour valider les fonctionnalités du système. L'environnement UAT est différent de l'environnement QA. L'approbation d'UAT implique que nous sommes prêts à passer le code en production.
comment ouvrir un fichier torrent windows 10
Du point de vue du système d'entrepôt de données et de Business Intelligence, les utilisateurs métier peuvent valider divers rapports via une interface utilisateur (UI). Ils peuvent valider les spécifications du rapport par rapport aux exigences, valider l'exactitude des données dans les rapports, valider la rapidité avec laquelle le système renvoie les résultats, etc.
Diagramme de flux de test DW:
Responsabilités des tests d'entrepôt de données
Voici les différentes équipes impliquées dans la mise en place d'un système DW réussi:
- Analystes d'affaires: Rassemblez toutes les exigences commerciales du système et documentez-les selon les préférences de chacun.
- Équipe infrastructure: Configurez divers environnements selon les besoins pour les développeurs et les testeurs.
- Développeurs: Développer le code ETL selon les exigences et effectuer des tests unitaires.
- QA (assurance qualité) / testeurs: Développer un plan de test, des cas de test, etc. Identifie les défauts du système en exécutant les cas de test. Effectuer différents niveaux de tests.
- DBA: Les administrateurs de base de données prennent en charge la conversion des scénarios de base de données ETL logiques en scénarios de base de données ETL physiques et participent également aux tests de performances.
- Utilisateurs professionnels: Participez aux tests d'acceptation des utilisateurs, exécutez des requêtes et des rapports sur les tables DW.
Erreurs dans l'entrepôt de données
Lorsque vous extrayez, transformez et chargez des données (ETL) à partir de plusieurs sources, il y a des chances que vous obteniez des données incorrectes qui peuvent abandonner les travaux de longue durée.
Voici les principales causes de défaillance du système DW:
# 1) Violations des règles métier (erreurs logiques): Des données logiquement erronées enfreignent les règles métier. Ces données peuvent être traitées principalement pendant les phases de transformation ou de chargement.
# 2) Violations des règles de données (erreurs de données): Des erreurs de données se produisent dans le système de base de données DW, telles que des incohérences de types de données, des échecs de contraintes de données, etc.
Déploiement ETL
C'est la phase où tous vos efforts sont mis en ligne. Tous les documents de support de production doivent être préparés.
La documentation indiquera aux autres la séquence des travaux à exécuter, les scénarios de reprise après incident, le matériel de formation aux équipes de support DW pour surveiller le système après le déploiement et à l'équipe de support administratif pour exécuter les rapports.
Conclusion
Nous avons appris en détail les objectifs des tests d'entrepôt de données, les responsabilités des tests ETL, les erreurs dans le déploiement DW et ETL dans ce didacticiel.
Nous espérons que vous avez une idée de la manière dont des tests détaillés peuvent être effectués dans un système d'entrepôt de données (ETL).
=> Visitez ici pour apprendre l'entreposage de données à partir de zéro.
lecture recommandée
- Didacticiel de test de l'entrepôt de données de test ETL (un guide complet)
- Tutoriel de test de volume: exemples et outils de test de volume
- Questions et réponses d'entrevue de test ETL
- Meilleurs outils de test de logiciels 2021 (Outils d'automatisation des tests QA)
- Test fonctionnel vs test non fonctionnel
- Tutoriel de test par paires ou de test toutes paires avec outils et exemples
- Top 10 des outils de test ETL en 2021
- Comment effectuer des tests basés sur les données dans SoapUI Pro - Tutoriel SoapUI # 14