Comment effectuer des tests ETL à l'aide de l'outil Informatica PowerCenter

how perform etl testing using informatica powercenter tool

C'est un fait connu que Test ETL est l'un des aspects cruciaux de toute L'intelligence d'entreprise (BI) application basée. Afin d'obtenir l'assurance qualité et l'acceptation nécessaires à la mise en service, l'application BI doit être testée bien au préalable.

L'objectif principal des tests ETL est de s'assurer que le EST xtract, T ransformer & L La fonctionnalité oad fonctionne selon les exigences de l'entreprise et en synchronisation avec les normes de performance.

Avant de nous plonger dans les tests ETL avec L'informatique , il est essentiel de savoir ce que sont ETL et Informatica.

Ce que vous apprendrez:

• Ce que vous apprendrez dans ce didacticiel ETL:
• Outil de test ETL Informatica PowerCenter:
• Comprendre les tests ETL spécifiques à Informatica:
• Classification des tests ETL dans Informatica:
• Avantages de l'utilisation d'Informatica comme outil ETL:
• Quelques conseils utiles pour vous aider dans les tests ETL Informatica:
• Conclusion:
• lecture recommandée

Ce que vous apprendrez dans ce didacticiel ETL:

• Bases des tests ETL, Informatica et ETL.
• Comprendre les tests ETL spécifiques à Informatica.
• Classification des tests ETL dans Informatica.
• Exemples de cas de test pour les tests ETL Informatica.
• Avantages de l'utilisation d'Informatica comme Outil ETL .
• Trucs et astuces pour vous aider à tester.

En informatique, Extraire, Transformer, Charger (ETL) fait référence à un processus d'utilisation de la base de données et en particulier dans l'entrepôt de données qui effectue:

• Extraction de données - Extrait les données de sources de données homogènes ou hétérogènes.
• Transformation des données - Formate les données dans le type requis.
• Chargement de données - Déplacez et stockez les données dans un emplacement permanent pour une utilisation à long terme.

Outil de test ETL Informatica PowerCenter:

Informatica PowerCenter est un puissant outil ETL d'Informatica Corporation. Il s'agit d'une plate-forme d'intégration de données d'entreprise unique et unifiée permettant d'accéder, de découvrir et d'intégrer les données de pratiquement n'importe quel système d'entreprise, dans n'importe quel

Il s'agit d'une plate-forme d'intégration de données d'entreprise unique et unifiée permettant d'accéder, de découvrir et d'intégrer les données de pratiquement n'importe quel système d'entreprise, dans n'importe quel format, et de fournir ces données dans toute l'entreprise à n'importe quelle vitesse. Par Informatica PowerCenter , nous créons des flux de travail qui effectuent des opérations ETL de bout en bout.

Téléchargez et installez Informatica PowerCenter:

Pour installer et configurer Informatica PowerCenter 9.x, utilisez le lien ci-dessous qui contient des instructions étape par étape:
=> Guide d'installation et de configuration d'Informatica PowerCenter 9

Comprendre les tests ETL spécifiques à Informatica:

Les testeurs ETL ont souvent des questions pertinentes sur ce qu'il faut tester dans Informatica et quelle couverture de test est nécessaire?

Laissez-moi vous expliquer comment effectuer des tests ETL spécifiques à Informatica.

Les principaux aspects qui devraient être essentiellement couverts dans les tests ETL Informatica sont:

• Test de la fonctionnalité du workflow Informatica et de ses composants; toutes les transformations utilisées dans les mappages sous-jacents.
• Pour vérifier l'exhaustivité des données (c'est-à-dire s'assurer que les données projetées sont chargées vers la cible sans aucune troncature ni perte de données),
• Vérifier si les données sont chargées vers la cible dans les délais estimés (c'est-à-dire évaluer les performances du workflow),
• S'assurer que le flux de travail n'autorise pas le chargement de données non valides ou indésirables dans la cible.

Classification des tests ETL dans Informatica:

Pour une meilleure compréhension et une meilleure facilité du testeur, les tests ETL dans Informatica peuvent être divisés en deux parties principales:

algorithme de tri par insertion c ++

# 1) Tests de haut niveau
# 2) Test détaillé

Premièrement, dans les tests de haut niveau:

• Vous pouvez vérifier si le flux de travail Informatica et les objets associés sont valides ou non.
• Vérifiez si le workflow se termine correctement lors de l'exécution.
• Confirmez si toutes les sessions / tâches requises sont en cours d'exécution dans le workflow.
• Validez si les données sont chargées dans le répertoire cible souhaité et avec le nom de fichier attendu (au cas où le workflow créerait un fichier), etc.

En un mot, vous pouvez dire que les tests de haut niveau comprennent toutes les vérifications de base de la cohérence.

Venant à la partie suivante, c'est-à-dire tests détaillés dans Informatica , vous irez en profondeur pour valider si la logique implémentée dans Informatica fonctionne comme prévu en termes de résultats et de performances.

• Vous devez effectuer les validations des données de sortie au niveau du champ, ce qui confirmera que chaque transformation fonctionne correctement
• Vérifiez si le nombre d'enregistrements à chaque niveau de traitement et enfin si la cible est comme prévu.
• Surveillez soigneusement les éléments tels que le qualificatif source et la cible dans les statistiques source / cible de la session
• Assurez-vous que la durée d'exécution du flux de travail Informatica correspond à la durée d'exécution estimée.

Pour résumer, nous pouvons dire que les tests détaillés incluent une validation rigoureuse de bout en bout du flux de travail Informatica et du flux de données associé.

Prenons un exemple ici:

Nous avons un fichier plat qui contient des données sur différents produits. Il stocke des détails comme le nom du produit, sa description, sa catégorie, sa date d'expiration, son prix, etc.

Mon exigence est de récupérer chaque enregistrement de produit à partir du fichier, de générer un identifiant de produit unique correspondant à chaque enregistrement et de le charger dans la table de base de données cible. Je dois également supprimer les produits qui appartiennent soit à la catégorie «C», soit dont la date de péremption est inférieure à la date actuelle.

Dites, mon fichier plat (source) ressemble à ceci:

(Remarque:Cliquez sur n'importe quelle image pour une vue agrandie)

Sur la base de mes exigences énoncées ci-dessus, ma table de base de données (cible) devrait ressembler à ceci:

Nom de la table: Tbl_Product

Maintenant, disons, nous avons développé un flux de travail Informatica pour obtenir la solution pour mes besoins ETL.

Le mappage Informatica sous-jacent lira les données du fichier plat, passera les données à travers une transformation de routeur qui supprimera les lignes qui ont la catégorie de produit comme `` C '' ou la date d'expiration, puis j'utiliserai une séquence de génération pour créer la clé primaire unique valeurs de la colonne Prod_ID dans la table des produits.

Enfin, les enregistrements seront chargés dans la table Product qui est la cible de mon mappage Informatica.

Exemples:

Vous trouverez ci-dessous des exemples de cas de test pour le scénario expliqué ci-dessus.

Vous pouvez utiliser ces cas de test comme modèle dans votre projet de test Informatica et ajouter / supprimer des cas de test similaires en fonction de la fonctionnalité de votre flux de travail.

# 1) ID de cas de test: T001

Objectif du scénario de test: Valider le workflow - (workflow_name)

Procédure de test:

• Accéder au gestionnaire de flux de travail
• Workflow ouvert
• Menu Workflows-> cliquez sur valider

Valeur d'entrée / données de test: Les sources et les cibles sont disponibles et connectées
Sources: (nom de toutes les instances sources)
Mappages: (nom de tous les mappages)
Cibles: (nom de toutes les instances cibles)
Session: (nom de toutes les sessions)

Résultats attendus: Message dans la barre d'état du gestionnaire de workflow: 'Le workflow (workflow_name) est valide'

Résultats actuels: Message dans la barre d'état du gestionnaire de workflow: 'Le workflow (workflow_name) est valide'

Remarques:Passe

Commentaires du testeur:

# 2) ID de cas de test: T002

Objectif du scénario de test: Pour s'assurer que le workflow s'exécute correctement

Procédure de test:

• Accéder au gestionnaire de flux de travail
• Workflow ouvert
• Cliquez avec le bouton droit dans le concepteur de flux de travail et sélectionnez Démarrer le flux de travail
• Vérifier l'état dans Workflow Monitor

Valeur d'entrée / données de test: Identique aux données de test pour T001

Résultats attendus: Message dans la fenêtre de sortie du gestionnaire de workflow: Mise à jour de la tâche: (workflow_name) (réussie)

Résultats actuels: Message dans la fenêtre de sortie du gestionnaire de workflow: Mise à jour de la tâche: (workflow_name) (réussie)

Remarques:Passe

Commentaires du testeur: Workflow réussi

Remarque: Vous pouvez facilement voir l'état d'exécution du flux de travail (échec / réussi) dans le moniteur de flux de travail, comme illustré dans l'exemple ci-dessous. Une fois le flux de travail terminé, l'état se reflétera automatiquement dans le moniteur de flux de travail.

Dans la capture d'écran ci-dessus, vous pouvez voir l'heure de début et l'heure de fin du flux de travail, ainsi que l'état de réussite.

# 3) ID de cas de test: T003

Objectif du scénario de test: Pour valider si le nombre d'enregistrements souhaité est chargé vers la cible

Procédure de test: Une fois le workflow exécuté avec succès, accédez à la table cible dans la base de données
Vérifiez le nombre de lignes dans la table de base de données cible

tests pilotés par les données dans soapui à l'aide d'un script groovy

Valeur d'entrée / données de test: 5 lignes dans le fichier source
Cible: table de base de données - (Tbl_Product)
Requête à exécuter sur le serveur SQL: Sélectionnez count (1) dans (Tbl_Product)

Résultats attendus: 3 lignes sélectionnées

Résultats actuels: 3 lignes sélectionnées

Remarques:Passe

Commentaires du testeur:

# 4) ID de cas de test: T004

Objectif du scénario de test: Pour vérifier si le générateur de séquence dans le mappage Informatica fonctionne correctement pour le remplissage de (primary_key_column_name, par exemple Colonne Prod_ID)

Procédure de test: Une fois le workflow exécuté avec succès, accédez à la table cible dans la base de données
Vérifiez la séquence unique générée dans la colonne Prod_ID

Valeur d'entrée / données de test: valeur pour Prod_ID laissée vide pour chaque ligne du fichier source
Générateur de séquence mappé à la colonne Prod_ID dans le mappage
Valeur de démarrage du générateur de séquence définie sur 1001
Cible: table de base de données - (Tbl_Product) ouverte dans SQL Server

Résultats attendus: Valeur de 1001 à 1003 remplie pour chaque ligne de la colonne Prod_ID

Résultats actuels: Valeur de 1001 à 1003 remplie pour chaque ligne de la colonne Prod_ID

Remarques:Passe

Commentaires du testeur:

# 5) ID de cas de test: T005

meilleur convertisseur de fichiers gratuit pour windows 10

Objectif du scénario de test: Pour valider si la transformation du routeur fonctionne correctement, supprimez les enregistrements au cas où la catégorie de produit est «C» ou si le produit a expiré.

Procédure de test: Une fois le workflow exécuté avec succès, accédez à la table cible dans la base de données
Exécutez la requête sur la table cible pour vérifier si les enregistrements souhaités ont été supprimés.

Valeur d'entrée / données de test: 5 lignes dans le fichier source
Cible: table de base de données - (Tbl_Product)
Requête à exécuter sur le serveur SQL: Sélectionnez * à partir du produit où Prod_category = 'C' ou Prod_expiry_date< sysdate ;

Résultats attendus: aucune ligne sélectionnée

Résultats actuels: aucune ligne sélectionnée

Remarques:Passe

Commentaires du testeur: (si seulement)

# 6) ID de cas de test: T006

Objectif du scénario de test: Pour vérifier les performances du workflow en enregistrant le runtime du workflow.

Procédure de test:

• Ouvrez le moniteur de flux de travail et lancez l'analyse qui a été effectuée dans le cadre de T001.
• Enregistrez l'heure de début et l'heure de fin du flux de travail.
• Calculez la durée totale d'exécution en soustrayant l'heure de début de l'heure de fin.

Valeur d'entrée / données de test: Le flux de travail s'est exécuté avec succès
Heure de début du flux de travail dans le moniteur
Heure de fin du flux de travail dans le moniteur.

Résultats attendus: 2 min 30 s

Résultats actuels: 2 min 15 s

Remarques:Passe

Commentaires du testeur: Considérer le test comme «Réussi» dans le cas où la durée d’exécution réelle est de +/- 10% de la durée d’exécution prévue.

# 7) ID de cas de test: T007

Objectif du scénario de test: Pour valider les données au niveau de la colonne de la table cible afin de garantir qu'il n'y a pas de perte de données.

Procédure de test: Une fois le flux de travail exécuté avec succès, accédez au serveur SQL.
Exécutez la requête sur la table cible pour vérifier qu'il n'y a pas de perte de données.

Valeur d'entrée / données de test: Le flux de travail s'est exécuté avec succès
Un exemple d'enregistrement du fichier plat source.
Requête SQL: Sélectionnez Top 1 * dans Tbl_Patient;

Résultats attendus:
1 ligne renvoyée

Résultats actuels:
1 ligne retournée.

Remarques:Passe

Commentaires du testeur: Considérer le test comme «Réussi» si la durée d’exécution réelle est de +/- 10% de la durée d’exécution prévue.

Avantages de l'utilisation d'Informatica comme outil ETL:

Informatica est un outil ETL populaire et efficace car:

• Son taux de réussite de mise en service est élevé (près de 100%)
• Informatica a la capacité d'activer l'intégration Lean.
• C'est un outil à prix modéré par rapport aux autres outils ETL.
• Il est livré avec un planificateur de travaux interne. Il n'est donc pas nécessaire d'utiliser un planificateur tiers séparément, comme le font certains autres outils ETL.
• La facilité de formation et la disponibilité des outils ont rendu Informatica plus populaire.

Quelques conseils utiles pour vous aider dans les tests ETL Informatica:

• Générez les données de test avant d'exécuter les scénarios de test.
• Les données de test doivent être synchronisées avec le scénario de test pour lequel elles sont utilisées.
• Assurez-vous que vous avez couvert les 3 scénarios - aucune donnée n'est soumise, des données non valides sont soumises et des données valides sont soumises en tant qu'entrée au flux de travail Informatica.
• Assurez-vous de tester que toutes les données requises sont chargées complètement vers la cible. Pour cela, vous pouvez utiliser le cas de test - T003 décrit ci-dessus comme exemple.
• Il est très important de vérifier que le flux de travail effectue toutes les transformations de données correctement conformément aux règles métier.
• Je suggérerais que pour chaque transformation appliquée dans votre mappage Informatica, vous devriez avoir une liste de contrôle pour vérifier les données de sortie par rapport à elle. De cette façon, vous pouvez facilement signaler des bogues si une transformation ne fonctionne pas correctement.

Conclusion:

Nous avons donc vu en détail certains des exemples de cas de test qui peuvent être utilisés comme modèle pour couvrir les tests ETL dans Informatica. Comme je l'ai mentionné précédemment, vous pouvez ajouter / supprimer / modifier ces cas de test en fonction du scénario que vous avez dans votre projet.

Comme je l'ai mentionné précédemment, vous pouvez ajouter / supprimer / modifier ces cas de test en fonction du scénario que vous avez dans votre projet.

Informatica PowerCenter est la base de toutes les activités d'intégration de données.

Vous pouvez facilement effectuer des tests automatisés sans script sur les données copiées dans un environnement de test, de développement ou de production, et c'est la raison pour laquelle PowerCenter est aujourd'hui l'outil ETL le plus populaire.

Lecture recommandée => Test ETL vs DB - Un examen plus approfondi du besoin de test ETL

A propos de l'auteur: Il s'agit d'un article invité de Priya K. Elle a plus de 4 ans d'expérience pratique dans le développement et la prise en charge des applications ETL Informatica.

N'hésitez pas à poster vos questions / commentaires à propos de cet outil ETL.

lecture recommandée

• Meilleurs outils de test de logiciels 2021 (Outils d'automatisation des tests QA)
• Comment effectuer des tests backend
• Questions et réponses d'entrevue de test ETL
• Didacticiel de test de l'entrepôt de données de test ETL (un guide complet)
• Téléchargement de l'e-book 'Testing Primer'
• Test ETL vs DB - Un examen plus approfondi des besoins, de la planification et des outils ETL des tests ETL
• Test de charge à l'aide de LoadUI - Un outil de test de charge gratuit et open source
• Top 10 des outils de test ETL en 2021