Archive

Archive for February, 2012

Génération de fichiers multiples à partir d’un mapping PowerCenter

February 10th, 2012 No comments

Objectif : générer, au travers d’un mapping PowerCenter, plusieurs fichiers de sortie qui ont pour nom la valeur contenue dans un fichier en entrée.

Exemple :

image

Construction du mapping : le mapping doit contenir au minimum les objets suivants :

  • Un objet « Source » : permet la définition des données en entrée.
  • Un objet « Expression Definition » : permet la définition de variables nécessaire au split des données en entrée.
  • Un objet « Transaction Control Transformation » : permet la génération des différents fichiers de sortie.
  • Un objet « Target » : permet la définition des fichiers de sortie.

clip_image002[4]

Définition des objets :

  • L’objet « Source » : dans cet exemple, il est supposé que le nom des différents fichiers de sortie est situé en début de ligne (colonne NOM_FIC).

clip_image004[4]

Il est également supposé que cette colonne est séparée du reste de la ligne par un caractère présent une seule fois par enregistrement.

image

  • L’objet « Expression Definition » : Dans l’exemple suivant, l’objet contient :

En entrée :

    • NOM_FIC : contient le nom des fichiers de sortie tel que donné par le fichier source
    • RESTE_LIGNE : contient le reste de l’enregistrement
      En intermédiaire :

    • Curr_Name : permet de stocker le nom de fichier de l’enregistrement précédent.
  • En sortie :

    • NOM_FIC_OUT : contient le nom complet des fichiers de sortie (répertoire + nom du fichier)
    • RESTE_OUT : contient le reste de l’enregistrement avec suppression des espaces en fin d’enregistrement.
    • Prev1_Out : contient le calcul de la variable Curr_Name
    • Prev2_Out : contient le nom du fichier de sortie tel que donné en entrée

clip_image002[6]

  • L’objet « Transaction Control Transformation » :

C’est dans cet objet que se réalise la génération des multiples fichiers de sortie. Dans l’onglet « Properties », il faut renseigner l’attribut « Transaction Control Condition ». Dans le cas où le nom de fichier courant est différent du nom de fichier de l’enregistrement précédent, il faut signifier la rupture avec la commande TC_COMMIT_BEFORE. Dans le cas contraire, il faut utiliser la commande TC_CONTINUE_TRANSACTION pour stocker les enregistrements jsqu’à la prochaine rupture.

N.B. : pour optimiser les performances et minimiser la log, il faut avoir en entrée un fichier trié sur le nom de fichier.

clip_image004[6]

  • L’objet « Target » :

Afin de signifier que le nom des fichiers de sortie est passé en paramètre, il faut cliquer sur le bouton « Add Filename column to the folder ». Il faudra renseigner le nouveau champ « FileName » avec la variable en sortie du « Transaction Control Transformation » qui contient le nom des fichiers.

image

Aucune particularité n’est nécessaire en ce qui concerne la configuration de le Session.

Le programme de Microsoft pour 2012 [2/2]

February 2nd, 2012 No comments

On en saura sans doute beaucoup plus à l’occasion des Microsoft Techdays 2012 (prévus les 7,8 et 9 Février prochain), mais voici déjà une brève présentation des différents produits et évolutions qui vont désormais constituer l’écosystème BI autour de SQL-Server 2012. SQL-Server “Denali” – c’est son nom de code – est prévu en version commerciale pour la fin de l’année. (Pour l’heure il n’est disponible qu’en Release Candidate depuis le site officiel). Petit tour d’horizon en deux parties.

Ce billet est la suite d’une première partie publiée le 27 Janvier qui présentait les nouveautés 2012 du SGBD SQL-Server, de Integration Services et de Analysis Services ainsi que le nouveau BI Semantic Model (BISM).

Aconcagua

Kilimandjaro 5891m, Denali 6194m, est-ce que l'Aconcagua, plus haut sommet d'Amérique Latine avec 6962m sera le petit nom de la prochaine version de SQL-Server ?

2.1/ Reporting Services

SSRS ne contient pas d’innovation majeure dans sa mouture 2012. Cela fait déjà plusieurs versions que Microsoft n’en fait plus sa priorité et cette outil à l’interface “old school” sera vraisemblablement remplacé prochainement. On attend par exemple toujours de savoir comment il pourra se connecter aux BISM, Microsoft n’étant pas très bavard sur le sujet.

Pour l’heure deux améliorations sont à noter:

  • Une meilleure intégration dans Sharepoint: celle-ci est grandement simplifiée
  • Un système d’alerte utilisateur:  SSRS possède maintenant un système d’abonnement plus efficace et mieux adapté aux besoins des consommateurs de rapports. Il est dorénavant possible de créer des règles qui alerteront vos usagers en fonction du mouvement de vos données dans vos rapports.

2.2/ Power View / Crescent

Power View (nom de code Crescent) est un outil permettant de visualiser les données, de partager rapidement les analyses et de créer des animations de rapports en quelques clics, facilitées par l’utilisation d’un ruban proche d’Office 2010.

Techniquement, Power View permet de manipuler des données dans une interface Silverlight intégrée à SharePoint. Power View s’appuie sur la nouvelle couche sémantique BI (BISM) et utilise un nouveau modèle de données de type tabulaire, utilisé par Power Pivot, et désormais greffé à Analysis Services.

Les analyses Power View se conçoivent comme des animations et peuvent être “publiées” au format Web ou Powerpoint.

Une démo Power View en vidéo:

2.3/ Powerpivot V2

Avec SQL-Server 2012, Powerpivot change de dimension. Avec la version 2008-R2 Powerpivot V1 était surtout un gros plug-in Excel. Aujourd’hui, ce n’est plus seulement un outil autonome, c’est aussi un client et un outil de conception de modèle d’analyse BISM en mode tabulaire. La nouvelle version de l’addin s’aligne avec les projet SSAS Tabular de Visual Studio. Enfin, Powerpivot utilise aussi le langage DAX (qui ressemble à du code de macro Excel) pour accéder aux données.

Principales nouveautés:

  • Création de KPI : permet de définir des objectifs aux mesures et une iconographie pour représenter l’atteinte ou non de ces objectifs
  • Tri des membres en fonction d’une autre colonne
  • Vue en mode Diagramme (comme dans Visual Studio)
  • Table de temps : permet de définir une dimension comme “temporelle”
  • Perspectives : permet de définir des “vues” différentes sur le modèle (ex : mesures et dimensions pour les commerciaux et pour le marketing) ; équivalent aux perspectives d’Analysis Services
  • Etc…

Voir aussi cette vidéo en ligne sur Powerpivot.

2.4/ Dependency Services / Projet Barcelona

SQL-Server 2012 propose aussi un outil additionnel qui vaut le détour. Issus du projet “Barcelona” Dependency Services comment ce composant additionnel permet d’aider à la traçabilité des données ou encore de maintenir une documentation à jour sur un processus d’intégration de données. L’idée est de tracer toutes les dépendances des données entre les composants d’une solution BI (sources, SQL, packages SSIS, rapports, modèles PowerPivot, etc.).

L’objectif est de pouvoir répondre à des questions comme : que ce passe t-il si je supprime cette colonne ?

Cet outil permet de générer des métadonnées, sous forme de tableaux ou de schéma qui peuvent ensuite être publié sous forma de pages web.

Voir aussi cette vidéo de présentation de Dependency Services.

2.5/ Parallel Datawarehouse / Projet Madison

Comme pour la version 2008-R2 SQL-Server inclue une offre Parallel Datawarehouse  (ex-projet Madison) qui lui permet de muscler son offre sur le segment du datawarehouse en dopant les performances et la capacité de données traitées.

Il s’agit d’une appliance couplant SQL Server à la technologie de Datallegro – une société rachetée en 2008 par Microsoft – qui vise les méga entrepôts de données. Datallegro fournit une version massivement parallèle (MPP pour Massive Parallel Processing) de SQL Server à même d’être déployée sur un grand nombre de nœuds serveurs afin d’accélérer le traitement des requêtes. Plusieurs partenaires matériels de Microsoft, dont Bull, Dell, HP, EMC et IBM, devrait dans un futur proche proposer des configurations prêtes à l’emploi autour de cette version de SQL Server.

Ces appliances permettent respectivement d’accélérer la mise en place d’un projet de datawarehouse (en fournissant hardware et SQL server pré-installé et optimisé pour un usage décisionnel) et d’assurer des performances optimisées sur des très gros volumes.

2.6/ Windows Azure

Windows Azure est la solution “cloud” de Microsoft. Elle permet d’héberger, exécuter et gérer des applications et données dans le ou les centre de données Microsoft de son choix (dont 2 en Europe).

Windows Azure

Schéma de fonctionnement de Windows Azure, à quand une solution BI complète dans le "cloud" ?

Concernant la business intelligence, Windows Azure n’offre pas encore de solution complète. Si une base relationnelle est disponible dans le nuage (SQL-Azure) avec des fonctionnalités de serveur de rapport qui seront accessible via BIDS 2012 (Business Intelligence Development studio), il faudra attendre encore un peu pour voir une suite BI complète déployée sur Azure. Pour l’heure la seule solution consiste à héberger les données sur les datacenters Microsoft et d’utiliser le connecteur AppFabric pour connecter son propre système d’information aux ressources hébergées chez Microsoft (comme le propose cette société).

Ainsi donc s’achève ce tour d’horizon des nouveautés SQL-Server 2012. Si certaines paraissent être plus de l’ordre du gadget, il y a néanmoins de nombreuses innovations majeures, que ce soit en terme d’outils ou de fonctionnalités, faisant de 2012 une année charnière dans le développement de la BI version Microsoft. On pourra cependant regretter que la firme de Redmond “tâte le terrain” dans toutes les directions dans le but de tester le marché et le besoin, plutôt que d’indiquer clairement la démarche dans laquelle elle souhaite se positionner à l’avenir.

Liens utiles :