etl vs db testing closer look etl testing need
Les tests logiciels ont une variété de domaines à concentrer. Les principales variétés sont des tests fonctionnels et non fonctionnels. Le test fonctionnel est le moyen procédural de s'assurer que la fonctionnalité développée fonctionne comme prévu. Les tests non fonctionnels sont l'approche par laquelle les aspects non fonctionnels tels que l'amélioration ou la performance à un niveau acceptable peuvent être garantis.
Il existe une autre saveur de test appelée Test DB . Les données sont organisées dans la base de données sous forme de tableaux. Pour les entreprises, il peut y avoir des flux où les données des multiples tables peuvent être fusionnées ou traitées sur une seule table et vice versa.
Test ETL est un autre type de test qui est préféré dans l'analyse de rentabilisation où un type de besoin de rapport est recherché par les clients. Le reporting est recherché afin d'analyser les demandes, les besoins et l'offre afin que les clients, les entreprises et les utilisateurs finaux soient très bien servis et en bénéficient.
Qu'allez-vous apprendre dans ce tutoriel?
Dans ce didacticiel, vous apprendrez ce qu'est le test de base de données, ce qu'est le test ETL, une différence entre le test DB et le test ETL, et plus de détails sur les besoins, le processus et la planification des tests ETL avec des exemples réels.
Nous avons également couvert les tests ETL plus en détail sur la page ci-dessous. Jetez-y également un œil.
=> Test ETL / Conseils et techniques de test de l'entrepôt de données
Ce que vous apprendrez:
- Test DB vs Test ETL
- Etude comparative des tests ETL et DB
- Pourquoi l'entreprise devrait-elle opter pour l'ETL?
- Planification des tests ETL
- Besoins ETL critiques
- Problèmes de base dans les tests ETL
- Points à retenir lors de la planification et de l'exécution des tests ETL
- Outils ETL et leur utilisation significative
- Conclusion
- lecture recommandée
Test DB vs Test ETL
La plupart d'entre nous sont un peu confus en considérant que les tests de base de données et les tests ETL sont similaires et identiques. Le fait est qu'ils sont similaires mais pas identiques.
Test de base de données:
DB Testing est généralement largement utilisé dans les flux métier où plusieurs flux de données se produisent dans l'application à partir de plusieurs sources de données vers une seule table. La source de données peut être une table, un fichier plat, une application ou tout autre élément pouvant générer des données de sortie.
À leur tour, les données de sortie obtenues peuvent toujours être utilisées comme entrée pour le flux commercial séquentiel. Par conséquent, lorsque nous effectuons des tests de base de données, la chose la plus importante qui doit être capturée est la façon dont les données peuvent être transformées à partir de la source ainsi que la façon dont elles sont enregistrées à l'emplacement de destination.
La synchronisation est un élément majeur et essentiel qui doit être pris en compte lors de l'exécution du test DB. En raison du positionnement de l'application dans le flux architectural, il peut y avoir peu de problèmes avec les données ou la synchronisation de la base de données. Par conséquent, lors de l'exécution des tests, cela doit être pris en compte car cela peut surmonter le potentiel défauts invalides ou des bugs.
Exemple 1:
Le projet «A» a une architecture intégrée dans laquelle l'application particulière utilise des données provenant de plusieurs autres sources de données hétérogènes. Par conséquent, l'intégrité de ces données avec l'emplacement de destination doit être effectuée avec les validations pour ce qui suit:
- Validation de la clé étrangère primaire
- L'intégrité des valeurs de colonne
- Valeurs nulles pour toutes les colonnes
Qu'est-ce que le test ETL?
Le test ETL est un type spécial de test que le client souhaite faire effectuer pour ses prévisions et l'analyse de son entreprise. Ceci est principalement utilisé à des fins de reporting. Par exemple, si les clients doivent avoir signalé les clients qui utilisent ou optent pour leur produit en fonction du jour où ils achètent, ils doivent utiliser les rapports ETL.
Publier Analyse et rapport , ces données sont entrepôt de données vers un entrepôt de données où les anciennes données commerciales historiques doivent être déplacées.
informatica interview questions et réponses pdf
Il s'agit d'un test à plusieurs niveaux car les données de la source sont transformées en plusieurs environnements avant d'atteindre l'emplacement final destiné.
Exemple # 2:
Nous considérerons un groupe «A» faisant des affaires avec des clients de détail via un marché d'achat où le client peut acheter tous les articles ménagers nécessaires à sa survie au jour le jour. Ici, tous les clients qui visitent reçoivent un identifiant de membre unique avec lequel ils peuvent gagner des points chaque fois qu'ils viennent acheter des choses sur le marché.
La réglementation fournie par le groupe précise que les points gagnés expirent chaque année. Et en fonction de leur utilisation, l'adhésion peut être mise à niveau vers un membre de grade supérieur ou rétrogradée à un membre de grade inférieur par rapport au grade actuel.
Après 5 ans d'établissement du marché d'achat, la direction cherche maintenant à développer son entreprise et à augmenter ses revenus.
Par conséquent, ils avaient besoin de peu de rapports commerciaux pour pouvoir promouvoir leurs clients.
Dans le test de base de données, nous effectuons les opérations suivantes:
#1) Validations sur les tables cible qui sont créées avec des colonnes avec des calculs logiques comme décrit dans la feuille de mappage logique et le document de routage des données.
#deux) Des manipulations telles que l'insertion, la mise à jour et la suppression des données client peuvent être effectuées sur n'importe quelle application de point de vente de l'utilisateur final dans un système intégré avec la base de données principale afin que les mêmes modifications soient reflétées dans le système final.
# 3) Les tests DB doivent garantir qu'aucune donnée client n'a été mal interprétée ou même tronquée. Cela peut entraîner de graves problèmes tels que le mappage incorrect des données des clients avec leur fidélité
Dans les tests ETL, nous vérifions les éléments suivants:
#1) En supposant qu'il y a 100 clients dans la source, vous vérifierez si tous ces clients ainsi que leurs données des 100 lignes ont été déplacés du système source vers la cible. C'est ce qu'on appelle la vérification de Contrôle de l'exhaustivité des données.
#deux) Vérifier si les données client ont été correctement manipulées et démontrées dans les 100 lignes. C'est simplement appelé vérification de Contrôle de l'exactitude des données .
# 3) Rapports pour les clients qui ont gagné plus de x valeurs au cours d'une période donnée.
Etude comparative des tests ETL et DB
Les tests ETL et DB ont peu d'aspects différents en eux-mêmes qu'il est plus essentiel de comprendre avant de les exécuter. Cela nous aide à comprendre les valeurs et l'importance des tests et la manière dont ils aident l'entreprise.
Voici une forme tabulaire qui décrit le comportement de base des deux formats de test.
Test DB | Test ETL | |
---|---|---|
Nature des données | Des données normalisées sont utilisées ici | Des données dénormalisées sont utilisées ici |
Objectif principal | Intégration de données | Rapports BI |
Lieu applicable | Dans le système fonctionnel où se déroule le flux commercial | Externe à l'environnement des flux commerciaux. l'entrée correspond aux données commerciales historiques |
Outil d'automatisation | QTP, sélénium | Informatica, QuerySurge, COGNOS |
Impact sur les entreprises | Des impacts graves peuvent conduire car il s'agit de l'architecture intégrée des flux commerciaux | Impacts potentiels comme lorsque les clients veulent avoir la prévision et l'analyse à faire |
Modélisation utilisée | Relation d'entité | Dimensionnel |
Système | Traitement des transactions en ligne | Processus analytique en ligne |
Pourquoi l'entreprise devrait-elle opter pour l'ETL?
De nombreux besoins commerciaux sont disponibles pour qu'ils envisagent les tests ETL. Chaque entreprise doit avoir sa mission et son secteur d'activité uniques. Toute entreprise a son cycle de vie produit qui prend la forme générique:
Il est très clair que tout nouveau produit entre sur le marché avec une croissance considérable des ventes et jusqu'à un stade appelé maturité et par la suite, il diminue dans les ventes. Ce changement progressif est le témoin d'une baisse définitive de la croissance des entreprises. Par conséquent, il est plus important d'analyser les besoins des clients pour la croissance de l'entreprise et d'autres facteurs nécessaires pour rendre l'organisation plus rentable.
Donc, en réalité, les clients veulent analyser les données historiques et proposer des rapports de manière stratégique.
Planification des tests ETL
L'une des principales étapes du test ETL consiste à planifier le test qui va être exécuté. Ce sera similaire au Plan de test pour le test du système qui est généralement effectuée à l'exception de quelques attributs tels que les exigences et les cas de test.
Ici, les exigences ne sont rien d'autre feuille de cartographie qui aura une sorte de mappage entre les données dans différentes bases de données. Comme nous sommes conscients que les tests ETL se produisent à plusieurs niveaux, divers mappages sont nécessaires pour valider cela.
La plupart du temps, les données sont capturées à partir des bases de données sources ne le sont pas directement. Toutes les données source auront la vue des tables à partir de laquelle les données peuvent être utilisées.
Exemple: Voici un exemple de la façon dont les mappages peuvent être fournis. Les deux colonnes VIEW_NAME et TABLE_NAME peuvent être utilisées pour représenter les vues de lecture des données de la source et de la table respectivement dans l'environnement ETL.
Il est conseillé de conserver la convention de dénomination qui peut nous aider lors de la planification de l'automatisation. La notation générique qui peut être utilisée ne fait que préfixer le nom de l'environnement.
site Web pour regarder l'anime gratuitement
La chose la plus importante dans ETL est d'identifier les données essentielles et les tables à partir de la source. La prochaine étape essentielle est le mappage des tables de la source vers l'environnement ETL.
Voici un exemple de la façon dont le mappage entre les tables des différents environnements peut être lié à l'objectif ETL.
Le mappage ci-dessus suppose les données de la table source vers la table intermédiaire. Et à partir de là, aux tables dans EDW puis à OLAP qui est l'environnement de reporting final. Par conséquent, à tout moment, la synchronisation des données est très importante pour l’ETL.
Besoins ETL critiques
Comme nous le comprenons, ETL est le besoin de prévisions, de rapports et d'analyses de l'entreprise afin de capturer les besoins des clients de manière plus successive. Cela permettra à l'entreprise d'avoir des demandes plus élevées que par le passé.
Voici quelques-uns des besoins critiques sans lesquels les tests ETL ne peuvent pas être atteints:
- Identification des données et des tableaux : Ceci est important car il peut y avoir de nombreuses autres données non pertinentes et inutiles qui peuvent être de moindre importance lors de la prévision et de l'analyse des besoins des clients. Par conséquent, les données pertinentes et les tableaux doivent être sélectionnés avant de démarrer les travaux ETL.
- Fiche de cartographie : C'est l'un des besoins critiques lors des travaux ETL. Le mappage de la bonne table de la source à la destination est obligatoire et tout problème ou donnée incorrecte dans cette feuille peut avoir un impact sur l'ensemble du livrable ETL.
- Modèles de table et données, type de colonne : Il s'agit de la prochaine étape majeure lors de l'examen du mappage des tables source dans les tables destinées. Le type de colonne doit correspondre aux tables aux deux endroits, etc.
- Accès à la base de données : L'essentiel est d'accéder à la base de données où se déroule ETL. Toute restriction d'accès aura un impact équivalent.
Rapports et tests ETL
Le reporting dans ETL est plus important car il explique et oriente les clients sur les besoins du client. Ainsi, ils peuvent prévoir et analyser les besoins exacts des clients
Le meilleur VPN reddit
Exemple # 3:
Une entreprise qui fabrique du tissu en soie a voulu analyser ses ventes annuelles. En examinant leurs ventes annuelles, ils ont constaté au cours des mois d'août et de septembre qu'il y avait eu une énorme baisse des ventes avec l'utilisation du rapport qu'ils ont généré.
C'est pourquoi ils ont décidé de déployer l'offre promotionnelle comme l'échange, les remises, etc., qui ont amélioré leurs ventes.
Problèmes de base dans les tests ETL
Il peut y avoir un certain nombre de problèmes lors de l'exécution des tests ETL, comme les suivants:
- Soit l'accès aux tables source, soit les vues ne seront pas valides.
- Le nom de la colonne et le type de données de la source à la couche suivante peuvent ne pas correspondre.
- Un certain nombre d'enregistrements de la table source vers le tableau de destination peut ne pas correspondre.
Et il pourrait y en avoir beaucoup plus.
Voici un exemple de feuille de mappage où des colonnes telles que VIEW_NAME, COLUMN_NAME, DATA_TYPE, TABLE_NAME, COLUMN_NAME, DATA_TYPE et TRANSFORMATION LOGIC sont présentes.
Les 3 premières colonnes représentent les détails de la base de données source et les 3 suivantes sont les détails de la base de données précédente immédiate. La dernière colonne est très importante. La logique de transformation est la manière dont les données de la source sont lues et stockées dans la base de données destinée. Cela dépend de l'entreprise et des besoins ETL.
Points à retenir lors de la planification et de l'exécution des tests ETL
La chose la plus importante dans les tests ETL est le chargement des données en fonction des critères d'extraction de la base de données source. Lorsque ce critère est invalide ou obsolète, il n'y aura pas de données dans le tableau pour effectuer des tests ETL qui posent vraiment plus de problèmes.
Voici quelques-uns des points à prendre en compte lors de la planification et de l'exécution des tests ETL:
#1) Les données sont extraites des sources de données hétérogènes
#deux) Traitement des processus ETL dans l'environnement intégré qui ont différents:
- SGBD
- TU
- Matériel
- Protocoles de communication
# 3) Nécessité d'avoir une feuille de mappage logique des données avant que les données physiques puissent être transformées
# 4) Compréhension et examen des sources de données
# 5) Charge initiale et charge incrémentielle
# 6) Colonnes d'audit
# 7) Chargement des faits et des dimensions
Outils ETL et leur utilisation significative
Les outils ETL sont essentiellement utilisés pour créer et convertir les logique de transformation en prenant les données de la source dans une autre en appliquant la logique de transformation. Vous pouvez également mapper les schémas de la source à la destination, ce qui se produit de manière unique, transformer et nettoyer les données avant de pouvoir les déplacer vers la destination, ainsi que les charger à la destination de manière efficace.
Cela peut réduire considérablement les efforts manuels car le mappage peut être effectué qui est utilisé pour presque toutes les validations et vérifications ETL.
- Informatique - PowerCenter - est l'un des outils ETL populaires introduits par Informatica Corporation. Cela a une très bonne base de clients couvrant de vastes zones. Les principaux composants de l'outil sont ses outils pour les clients et les outils de référentiel et les serveurs. Pour en savoir plus sur l'outil, cliquez sur Ici
- IBM - Serveur d'informations Infosphere - IBM qui est le leader du marché en termes de technologie informatique a développé le serveur d'Infosphere Information qui est utilisé pour l'intégration et la gestion de l'information en 2008. Pour en savoir plus sur l'outil, veuillez cliquer Ici
- Oracle - Intégrateur de données - Oracle Corporation a développé son outil ETL au nom d'Oracle - Data Integrator. Leur support client croissant leur a fait mettre à jour leurs outils ETL dans différentes versions. Pour en savoir plus sur l'outil, cliquez sur Ici
Plus d'exemples d'utilisation des tests ETL:
Considérant certaines compagnies aériennes qui souhaitent déployer des promotions et des offres pour attirer les clients de manière stratégique. Premièrement, ils essaieront de comprendre les exigences et les besoins des spécifications du client. Pour ce faire, ils auront besoin des données historiques de préférence des données des 2 années précédentes. En utilisant les données, ils analyseront et prépareront des rapports qui seront utiles pour comprendre les besoins des clients.
Les rapports peuvent être du type suivant:
- Clients de la région A qui se rendent dans la région B à certaines dates
- Les clients ayant un critère d'âge spécifique se rendent dans la ville XX
Et il peut y avoir de nombreux autres rapports.
L'analyse de ces rapports aidera les clients à identifier le type de promotions et d'offres qui bénéficieront aux clients et en même temps peuvent profiter aux entreprises lorsque cela peut devenir une situation gagnant-gagnant. Ceci peut être facilement réalisé par des tests et des rapports ETL.
En parallèle, le segment informatique est confronté à un grave problème de base de données qui a été remarqué et qui a arrêté plusieurs services, à son tour, a le potentiel d'avoir des impacts sur l'entreprise. Lors de l'enquête, il a été identifié que certaines données non valides ont corrompu quelques bases de données qui devaient être corrigées manuellement.
Dans le premier cas, ce sont les rapports et tests ETL qui seront nécessaires.
Alors que dans ce dernier cas, le test DB doit être effectué correctement pour surmonter les problèmes de données invalides.
Conclusion
J'espère que le didacticiel ci-dessus a fourni un aperçu simple et clair de ce qu'est le test ETL et de la raison pour laquelle il doit être fait, ainsi que des impacts ou des avantages commerciaux qu'ils génèrent. Cela ne s'arrête pas là, mais cela peut s'étendre à la prévision de la croissance des entreprises.
A propos de l'auteur: Ce tutoriel est écrit par Nagarajan. Il est un Test Lead avec plus de 6 ans d'expérience en test de logiciels dans divers domaines fonctionnels tels que la banque, les compagnies aériennes et les télécommunications en termes de manuel et d'automatisation.
Veuillez nous faire part de vos réflexions / questions dans les commentaires ci-dessous.
lecture recommandée
- Questions et réponses d'entrevue de test ETL
- Didacticiel de test de l'entrepôt de données de test ETL (un guide complet)
- Top 10 des outils de test ETL en 2021
- Comment effectuer des tests ETL à l'aide de l'outil Informatica PowerCenter
- 31 Questions et réponses sur les entretiens de test de base de données
- 40+ meilleurs outils de test de base de données - Solutions de test de données populaires
- Guide complet de test de base de données (pourquoi, quoi et comment tester les données)
- Test de base de données Selenium (à l'aide de WebDriver et de l'API JDBC)