Archive

Archive for March, 2013

Avez-vous besoin de Big Data ?

March 28th, 2013 No comments

A moins d’avoir été en hibernation totale les 18 derniers mois dans une contrée lointaine et perdue (et encore !), il est impossible de ne pas avoir subi la déferlante « Big Data ». Bien entendu lorsque vous croisez votre patron qui vous demande, emporté par le buzz, « nous faisons bien nous aussi du Big Data ? », il convient de répondre « oui, c’est un axe majeur de nos réflexions actuelles » .

Au fond de vous persiste toujours probablement une interrogation fondamentale : en ai-je besoin ?
Pour y voir clair, petit rappel sur ce qui se cache donc derrière ces 2 mots dont la traduction littérale ne donne qu’une vague idée. On appelle communément Big Data « une situation où les données ont atteint une telle volumétrie que les technologies conventionnelles n’arrivent plus à les gérer efficacement sur les aspects acquisition, stockage, recherche, partage, analyse et visualisation  des données ».

En bref la Big Data est pour vous si:
•    Vous traitez des Volumes de données importants : on a affaire à des téra, voir pétaoctets de données. Des volumes qui dépassent largement ceux qui sont usuellement traités par les systèmes d’information des entreprises.
•    Vous disposez d’une grande Variété de données: pour atteindre les quantités de données évoquées précédemment, il est aisé d’imaginer qu’elles ne sont pas homogènes. Il s’agit de données pouvant être traitées par les structures connues (BDD, tables, relations, index) mais aussi de données difficilement ou pas du tout gérées par ces structures : audio, vidéo, click stream, fichiers log etc. On parle de données semi-structurées ou non structurées.
•    Vous souhaitez traiter ces données avec une extrême rapidité : la difficulté technique majeure réside dans le traitement rapide de toute cette masse de données.
Si vous ne répondez à aucun de ces critères, un peu de pédagogie et de tact vous permettront de répondre à votre patron « non, il s’agit de merveilleuses technologies mais nous n’en avons vraiment pas besoin ».  Sinon testez, expérimentez, implémentez, vous tirerez de vos données une véritable Valeur ajoutée.

Categories: Big Data Tags:

Extraire un PDF à partir d’un BLOB via Informatica

March 28th, 2013 No comments

Retour d’expérience projet où notre client souhaitait pousser 12 à 14 000 documents PDF de suivi de planning et d’absentéisme vers une application de mailing.

Ces documents étaient stockés en tant que BLOB (Binary Large Object) dans la base Oracle du portail BI dédié au personnel. Afin de pouvoir pousser ces documents vers les intéressés, nous avons utilisé l’ETL en place : Informatica PowerCenter.

Contexte technique : PDF stockés en BLOB sous Oracle 10g, Informatica PowerCenter 8.6.1

Solution : Transformation Java dans le mapping PowerDesigner

Document de Référence :   The Binary Reader and BinaryWriter Java Transformations

Résolution :

Il s’agissait donc de créer un mapping s’appuyant sur la table Oracle contenant le BLOB en question, pour l’extraire vers notre répertoire cible en tant que fichier PDF.

Ce mapping nécessitait au minimum 3 informations :

  • Le nom du fichier à générer
  • Le champ BLOB contenant le PDF
  • Le chemin du répertoire cible, dans notre cas un paramètre du mapping

Mapping d'extraction d'un blob

Mapping d'extraction d'un blob



 
Read more…