Archive

Posts Tagged ‘Informatica’

INFORMATICA : Modifier facilement une source

December 3rd, 2014 No comments

Il est parfois fastidieux d’avoir à modifier un fichier comprenant de nombreux champs en source de Powercenter.

Voici donc une astuce pour réaliser facilement cette manœuvre dans le module designer !

Fixer la zone target puis sélectionner le fichier source et faites un glisser/déposer dans cette zone :

NB : La manipulation se fait en zone Target car en Source, il ne sera pas possible de générer la structure du fichier.

Vous vous demandez, mais pourquoi ne réimporte-t-on pas directement la nouvelle source de données ?

Pour les simples et bonnes raisons que cette méthode permet :

– > de récupérer les types de données des champs existants, ce qui évite d’avoir à tous les redéfinir

– > de ne pas perdre tout le paramétrage relatif à cette source dans le Workflow manager.

Lors du déplacement du fichier dans la zone Target, Informatica détecte un conflit, calmez-vous ! il propose les résolutions ci-dessous :

Cliquer sur Rename pour éviter l’écrasement du fichier :

Editer le fichier ainsi renommé et changer le type Flat file pour un Database type, dans notre cas, la base de données Teradata :

La structure s’affiche sous cette forme :

Read more…

Arrondi au plus proche sous Teradata

June 30th, 2013 No comments

Arrondir un nombre au plus proche sous Teradata est relativement simple au premier abord.

S’il s’agit d’arrondir à l’entier on pourra utiliser :

SELECT CAST(1.2345 AS DECIMAL(2,0)) –> 1

Pour arrondir à deux décimales, on utilisera :

SELECT CAST(1.2345 AS DECIMAL(5,2)) –> 1.23

Mais la résolution de l’arrondi au plus proche se révèle plus surprenante quand le nombre est équidistant de l’arrondi supérieur et de l’arrondi inférieur.

En effet, contrairement à la plupart des systèmes sur le marché (de Excel à Oracle en passant par SSIS ou MySql), sous Teradata l’arrondi d’un nombre équidistant de ses arrondis inférieurs et supérieurs ne se fait pas systématiquement vers le supérieur mais dépend de la parité du dernier chiffre avant troncature.

Ainsi obtiendra-t-on :

SELECT CAST(1.2345 AS DECIMAL(5,3)) –> 1.234

SELECT CAST(4.5 AS DECIMAL(2,0)) –> 4

Alors que :

SELECT CAST(1.2335 AS DECIMAL(5,3)) –> 1.234

SELECT CAST(3.5 AS DECIMAL(2,0)) –> 4

C’est à dire que si le dernier chiffre avant troncature (en rouge dans l’exemple) est pair , le nombre sera arrondi à l’inférieur. Si ce dernier chiffre est impair, le nombre sera arrondi au supérieur.

En clair, Teradata a pris le parti de répartir l’approximation de l’arrondi équidistant entre le supérieur et l’inférieur.

Conclusion :

Si ce comportement est particulièrement perturbant parce qu’il va à l’encontre de 80% des systèmes sur le marché, il peut être expliqué par le besoin de lisser l’erreur d’approximation lorsque l’on traite une très forte volumétrie de données.

A noter enfin qu’Informatica PowerCenter prend le contrepied en arrondissant les pairs au supérieur et les impairs à l’inférieur.

Extraire un PDF à partir d’un BLOB via Informatica

March 28th, 2013 No comments

Retour d’expérience projet où notre client souhaitait pousser 12 à 14 000 documents PDF de suivi de planning et d’absentéisme vers une application de mailing.

Ces documents étaient stockés en tant que BLOB (Binary Large Object) dans la base Oracle du portail BI dédié au personnel. Afin de pouvoir pousser ces documents vers les intéressés, nous avons utilisé l’ETL en place : Informatica PowerCenter.

Contexte technique : PDF stockés en BLOB sous Oracle 10g, Informatica PowerCenter 8.6.1

Solution : Transformation Java dans le mapping PowerDesigner

Document de Référence :   The Binary Reader and BinaryWriter Java Transformations

Résolution :

Il s’agissait donc de créer un mapping s’appuyant sur la table Oracle contenant le BLOB en question, pour l’extraire vers notre répertoire cible en tant que fichier PDF.

Ce mapping nécessitait au minimum 3 informations :

  • Le nom du fichier à générer
  • Le champ BLOB contenant le PDF
  • Le chemin du répertoire cible, dans notre cas un paramètre du mapping

Mapping d'extraction d'un blob

Mapping d'extraction d'un blob



 
Read more…

Homsys et Informatica, leader mondial des plateformes d’intégration de données

December 21st, 2012 No comments

Interviewé à l’occasion de l’Informatica Day le 4 octobre 2012, Yves Cointrelle présente le partenariat avec Informatica et sa représentation en France sur l’ensemble de l’offre Informatica (y compris des offres méconnues telles que Data Replication). Voir la vidéo : http://www.youtube.com/watch?v=rJJqC3w5K1s

Homsys est partenaire d’Informatica depuis plus de 10 ans. La relation est née au sein du département décisionnel d’Air France peu de temps après l’implantation de l’éditeur sur le marché français.

« Notre devoir de conseil est d’orienter nos clients vers les technologies les plus fiables et les plus robustes. Au-delà de l’alimentation de systèmes décisionnels, la valeur ajoutée de PowerCenter est aussi mesurable dans les projets de migration et de consolidation de systèmes, ou encore d’urbanisation de systèmes d’information. » Yves Cointrelle, Directeur général d’Homsys.

Génération de fichiers multiples à partir d’un mapping PowerCenter

February 10th, 2012 No comments

Objectif : générer, au travers d’un mapping PowerCenter, plusieurs fichiers de sortie qui ont pour nom la valeur contenue dans un fichier en entrée.

Exemple :

image

Construction du mapping : le mapping doit contenir au minimum les objets suivants :

  • Un objet « Source » : permet la définition des données en entrée.
  • Un objet « Expression Definition » : permet la définition de variables nécessaire au split des données en entrée.
  • Un objet « Transaction Control Transformation » : permet la génération des différents fichiers de sortie.
  • Un objet « Target » : permet la définition des fichiers de sortie.

clip_image002[4]

Définition des objets :

  • L’objet « Source » : dans cet exemple, il est supposé que le nom des différents fichiers de sortie est situé en début de ligne (colonne NOM_FIC).

clip_image004[4]

Il est également supposé que cette colonne est séparée du reste de la ligne par un caractère présent une seule fois par enregistrement.

image

  • L’objet « Expression Definition » : Dans l’exemple suivant, l’objet contient :

En entrée :

    • NOM_FIC : contient le nom des fichiers de sortie tel que donné par le fichier source
    • RESTE_LIGNE : contient le reste de l’enregistrement
      En intermédiaire :

    • Curr_Name : permet de stocker le nom de fichier de l’enregistrement précédent.
  • En sortie :

    • NOM_FIC_OUT : contient le nom complet des fichiers de sortie (répertoire + nom du fichier)
    • RESTE_OUT : contient le reste de l’enregistrement avec suppression des espaces en fin d’enregistrement.
    • Prev1_Out : contient le calcul de la variable Curr_Name
    • Prev2_Out : contient le nom du fichier de sortie tel que donné en entrée

clip_image002[6]

  • L’objet « Transaction Control Transformation » :

C’est dans cet objet que se réalise la génération des multiples fichiers de sortie. Dans l’onglet « Properties », il faut renseigner l’attribut « Transaction Control Condition ». Dans le cas où le nom de fichier courant est différent du nom de fichier de l’enregistrement précédent, il faut signifier la rupture avec la commande TC_COMMIT_BEFORE. Dans le cas contraire, il faut utiliser la commande TC_CONTINUE_TRANSACTION pour stocker les enregistrements jsqu’à la prochaine rupture.

N.B. : pour optimiser les performances et minimiser la log, il faut avoir en entrée un fichier trié sur le nom de fichier.

clip_image004[6]

  • L’objet « Target » :

Afin de signifier que le nom des fichiers de sortie est passé en paramètre, il faut cliquer sur le bouton « Add Filename column to the folder ». Il faudra renseigner le nouveau champ « FileName » avec la variable en sortie du « Transaction Control Transformation » qui contient le nom des fichiers.

image

Aucune particularité n’est nécessaire en ce qui concerne la configuration de le Session.

Retour sur PowerCenter 8.6

July 19th, 2011 No comments

Le 23 mars 2011, Informatica annonce la disponibilité de la version Informatica 9.1

Les versions PowerCenter 8.1.x, 8.5.x, 8.6.x ne seront plus supportées après le 31 Décembre 2011, mais il sera toujours possible de souscrire à un pack d’extension de maintenance.

Quel bilan peut – on tirer de PowerCenter 8.6 ?

PowerCenter 8.6. est devenu une plate-forme unificatrice qui rend interopérable ses acquisitions technologiques sous formes de briques logicielles :

Real Time Edition (Striva) : accès aux données en temps réel et sur Mainframe
Data Quality (Similarity Systems) : redressement de données et profiling
Identity Resolution (Identity Systems) : recherche et rapprochement  de données d’identité
B2B Data Exchange (Itemfield) : traitement des données non structurées (Ex : PDF, HL7)
– partenariat et accord O.E.M. avec Intalio : gestion des processus métiers (B.P.M)

Ces briques logicielles ont été interfacées avec PowerCenter 8.6.

Informatica 9 relève le défi d’intégrer l’ensemble de ces nouvelles technologies dans un produit unique.

Il existe dorénavant une console unique d’ administration pour Data quality, PowerCenter, Power Exchange et une interface de développement commune pour pouvoir supporter les transformations de PowerCenter et de Data Quality.

Informatica Day Paris – 2010

August 10th, 2010 No comments

Homsys sponsorise l’Informatica Day, le 23 septembre à Paris : l’événement phare du marché de l’Intégration et de la Qualité de Données.

Echanges, convivialité, partage d’informations et animations…Rejoignez-nous pour une journée entière d’informations et d’échanges autour des principaux challenges des entreprises en matière d’intégration et de qualité des données, aux côtés de clients utilisateurs, d’experts du marché, des équipes et des Partenaires Informatica !

  • Une table ronde / des témoignages clients, tous secteurs d’activité confondus, présentant des projets et initiatives d’intégration et de qualité de données exceptionnels
  • Des sessions plénières animées par des experts de l’intégration et de la qualité des données
  • Des ateliers « à la carte » : Intégration de données, Qualité de données, Échanges de données inter-entreprises, Résolutions d’identité, Master Data Management, Gestion du cycle de vie des données applicatives…

Yves Cointrelle, directeur général Homsys, animera un atelier sur le thème : « Quel est l’impact de la qualité de données sur l’activité de votre entreprise ? » (16h15 – 16h45)

En savoir plus :  http://fr.vip.informatica.com/?elqPURLPage=7666

Inscription en ligne