Teradata – fonctions

December 31st, 2014 No comments
  • Fonctions qui proviennent d’oracle

La migration de Teradata en V14 donne accès à des fonctions compatibles avec Oracle. En voici quelques exemples.

oreplace(‘chaîne’, ‘a_remplacer’,’par’)

Cette fonction permet de remplacer l’intégralité de la chaîne de texte « a_remplacer » par la chaîne « par » dans « chaîne ».

Exemple :

Seule la chaîne de caractère “abc” complète a été remplacée par “efg”.

  

otranslate(‘chaîne’, ‘a_remplacer’,’par’)

Cette fonction permet de remplacer chaque caractère de « a_remplacer » par chaque caractère de « par » dans « chaîne ».

Exemple :

Tous les “a” sont remplacés par un “e”, de même pour “b” par “f” et “c” par “g”.

Si « a_remplacer » dans la fonction OTRANSLATE contient un seul caractère alors la fonction aura le même effet que la fonction OREPLACE avec également un seul caractère dans OREPLACE.

 

  • Fonctions non ANSI

Elles passent très bien dans « Teradata SQL Assistant » mais elles ne passent pas dans un script ou dans la création d’une vue par exemple.

left(‘chaîne’, ‘nb caract à garder’)

*** Failure 3706 Syntax error: expected something between ‘,’ and the ‘LEFT’ keyword.

Statement# 1, Info =28

*** Total elapsed time was 1 second.

.

substr(‘chaîne’, ‘caract de départ’,  ‘nb caract à garder’)

Avant l’arrivée de la V14, il y avait le même problème avec la fonction length qui devait être remplacée par la fonction character_length.

.

  • Fonctions qui ne passent pas sous SQL Assistant mais qui passent dans un bteq

Certaines fonctions ne passent pas sous SQL Assistant alors que dans des scripts elles fonctionnent très bien. Il est donc dommage de s’en passer. Voici deux exemples de fonctions :

RPAD(‘chaîne’,’nb caract’,’chaîne de complément’)

 

Sous SQL Assistant, une fenêtre s’ouvre

Puis une autre :

Pour obtenir le résultat dans UltraEdit :

Dans un script, nous avons directement la donnée suivante :

abcxxx

.

LPAD(‘chaîne’,’nb caract’,’chaîne de complément’)

C’est le même principe que pour la fonction RPAD.

Dans un script, nous avons directement la donnée suivante :

xxxabc

Categories: Trucs & astuces Tags:

Teradata – Gestion des nulls

December 31st, 2014 No comments

Le but de cet article est voir comment il est possible de gérer les valeurs nulles.

Partons du principe que nous avons les tables suivantes à notre disposition.

.
  • Problématique

Nous voulons tous les enregistrements de la table 2 qui ne sont pas présents dans la table 1.

Le résultat attendu est : ‘D’ et ‘E’.

Par un minus, voilà ce qu’on obtient.

Par une sous-requête, voilà ce qu’on obtient.

Le résultat attendu est renvoyé correctement avec le requête utilisant le minus mais pas avec la sous-requête.

Essayons de faire le contraire pour voir : tous les enregistrements de la table 1 qui ne sont pas dans la table 2.

Le résultat attendu est : ‘G’ et null.

Par le minus

Par la sous-requête

Le résultat est correct avec le minus et partiel avec la sous-requête.

Pourquoi ?

Read more…

Categories: Trucs & astuces Tags:

Les Variables dans QlikView

December 5th, 2014 No comments

L’utilisation de variables au sein d’un projet permet une maintenance simplifiée des programmes et des interfaces si celles-ci sont bien utilisées. En effet, une variable permet de paramétrer une valeur, une formule, un code couleur et autres à un endroit, ce qui facilite toute modification par la suite et diminue le risque d’avoir des écarts sur des notions identiques.

Dans un projet QlikView, il y a deux moyens de créer, gérer des variables :

  • Au sein des scripts, en utilisant les commandes SET et LET
  • Au sein de l’interface, dans le Menu « Paramètres » «  Vue d’ensembles des Variables… »

Cette présentation porte sur la gestion des variables par le Menu « Paramètres ». Pour expliquer sa mise en œuvre, voici les différents exemples d’utilisation qui vont être abordés :

I] Gestion des codes couleurs

II] Gestion de l’affichage du nombre d’enregistrements

III] Gestion d’affichage selon une liste de choix

———————————————————————————————————

I] Gestions des codes couleurs :

Un projet QlikView est composé d’un ensemble de feuilles qui se superposent, et se différencient par le nom donné à leur onglet.

Il est donc intéressant de jouer avec les codes couleurs pour différencier l’onglet actif de ceux inactifs.

Dans l’exemple ci-dessous, une couleur bleue est affectée à la trame de fond de l’onglet s’il est actif, blanc sinon :

1. Création des variables v_color_tab_ok (bleu), v_color_tab_ko

……..

Liste des Variables

…….. Read more…

Présentation du Machine Learning

December 5th, 2014 No comments

Préambule

.

Le machine learning est aujourd’hui au cœur des innovations les plus marquantes des dernières années, de la Google Car au programme Watson d’IBM, les champs d’applications du machine learning sont vastes. Nous verrons par la suite quelques projets phares réalisés ou en cours de réalisation.

Mais d’abord, qu’est-ce que le machine learning ?

Le machine learning (apprentissage automatique en français) est la capacité d’un ordinateur à apprendre sans avoir été explicitement programmé.  « définition d’Arthur Samuel, pionnier du machine learning »

On regroupe sous ce terme un ensemble d’algorithmes qui apprennent comment effectuer certaines tâches : détecter un spam, reconnaître un visage, effectuer des recommandations personnalisées …

Il existe de nombreux algorithmes pour résoudre des problèmes simples. Mais ces algorithmes sont destinés à répondre à une seule problématique, dès lors cela demande de multiplier les algorithmes pour répondre à des besoins complexes.

Les chercheurs en Intelligence Artificielle ont alors eu une idée : plutôt que de résoudre un problème puis de l’implémenter dans un langage informatique quelconque, pourquoi n’apprendrions nous pas à un ordinateur à trouver un algorithme lui-même à partir des données pour résoudre un problème. Le concept de l’apprentissage automatique était né.

Le Machine Learning c’est donc apprendre des données qui nous entourent pour en extraire des tendances et ainsi faire des prédictions sur le futur.

Il a pris son essort avec l’émergence du Big Data, des milliards de données sont désormais facilement à disposition pour alimenter les modèles permettant de construire les algorithmes.

Read more…

Categories: Big Data, Divers Tags:

INFORMATICA : Modifier facilement une source

December 3rd, 2014 No comments

Il est parfois fastidieux d’avoir à modifier un fichier comprenant de nombreux champs en source de Powercenter.

Voici donc une astuce pour réaliser facilement cette manœuvre dans le module designer !

Fixer la zone target puis sélectionner le fichier source et faites un glisser/déposer dans cette zone :

NB : La manipulation se fait en zone Target car en Source, il ne sera pas possible de générer la structure du fichier.

Vous vous demandez, mais pourquoi ne réimporte-t-on pas directement la nouvelle source de données ?

Pour les simples et bonnes raisons que cette méthode permet :

– > de récupérer les types de données des champs existants, ce qui évite d’avoir à tous les redéfinir

– > de ne pas perdre tout le paramétrage relatif à cette source dans le Workflow manager.

Lors du déplacement du fichier dans la zone Target, Informatica détecte un conflit, calmez-vous ! il propose les résolutions ci-dessous :

Cliquer sur Rename pour éviter l’écrasement du fichier :

Editer le fichier ainsi renommé et changer le type Flat file pour un Database type, dans notre cas, la base de données Teradata :

La structure s’affiche sous cette forme :

Read more…

Les enjeux du BIG DATA

September 4th, 2014 No comments

Cet article est un compte rendu de la conférence à laquelle j’ai assisté à l’école des mines d’Albi de François BOURDONCLE. Il est co chef de file du plan gouvernemental Big Data avec Paul Hermelin (PDG de Capgemini).

Les enjeux liés au BIGDATA sont colossaux. Comprendre l’intérêt que les acteurs des « datas » portent au BIG DATA c’est comprendre comment l’analyse de ces Zettaoctets de données  par ces acteurs des « datas » peuvent porter préjudice à une entreprise dite du  « non data » et notamment  dans la relation qu’a cette entreprise avec ses clients.

Les acteurs des « datas », sont tous les géants du numérique – les Google, Amazon, Facebook, Apple et autres IBM.  Leurs armes : les formidables outils à siphonner – et à traiter –  des Everest de données qu’ils ont bâtis et continuent de renforcer.
Qui sont les « anciens » ? Quasiment toutes les entreprises traditionnelles.

Exemple 1 :

Assureurs vs GOOGLE

Les Smartphones permettent au fournisseur d’accès internet mais aussi à google de géo localiser un téléphone. Qu’est ce qui empêche actuellement Google d’exploiter ces données  et de les analyser ?

A priori pas grand-chose. De l’exploitation de ces données, Google peut tirer des informations sur le type de conduite.

Grâce à ces données de géolocalisation google est capable d’analyser le comportement des conducteurs.

Plusieurs choix s’offre à ce dernier :

1/ Revendre ces analyses à des assureurs de manière que ces derniers ajustent les tarifs du conducteur en conséquence

2/ Google devienne assureur lui-même et propose à une classe de la population « non risquée » des assurances sur lesquelles il pourra marger de façon très nette laissant aux assurances traditionnelles la population dite « à risque ».

On voit bien dans cet exemple comment les technologies liées au big data peuvent faire perdre aux entreprises qui détiennent la technicité (ici les assureurs) leur relation avec les clients. Autrement dit, les assureurs courent un risque sérieux, et grave, de se faire confisquer leur relation clients

On en arrive à un point où l’interlocuteur n’est plus celui qui détient la technicité de l’objet industriel, mais celui qui détient la technicité de l’optimisation de l’objet ou de la relation client grâce aux technologies du Big Data.

Exemple 2 :

Pratt & Whitney vs IBM

La mésaventure du constructeur de moteurs d’avions Pratt & Whitney. Il s’est peu à peu vu déposséder de la relation avec ses clients, les compagnies aériennes,  par son prestataire de service, IBM. C’est ce dernier qui, possédant toutes les données de fonctionnement des moteurs qu’il recueille de longue date pour le motoriste, est désormais le mieux placé pour dialoguer avec les compagnies aériennes…

Grâce à l’analyse des données IBM sait mesurer précisément le degré d’usure de chaque pièce des moteurs qu’ils louent aux compagnies aériennes”.

IBM propose du coup une “maintenance prédictive” qui réduira leurs coûts, et évitera de mauvaises surprises à leurs clients.

Exemple 3 :

Hollywood vs NETFLIX

Netflix prend progressivement des parts de marché sur le géant Hollywoodien.

Chaque utilisateur fournit plusieurs types de données lors d’une visite sur le site web de Netflix. Jouer, partager ou rechercher une vidéo sont autant d’événements qui sont enregistrés et analysés. L’heure, la date, la géolocalisation, le matériel utilisé et le navigateur ou encore la manière dont une page défile peuvent aussi être utilisés pour identifier le contexte dans lequel un événement survient et ainsi, placer les utilisateurs dans des catégories. L’entreprise utilise ces données pour améliorer le service de son site web et prendre les décisions liées au business, comme l’identification des futurs investissements.

Cette approche permet à la société d’offrir un service bien plus personnalisé que la plupart de ses concurrents. Ainsi, il existe certes des catégories classiques comme les “films les plus populaires” ou un classement par genre. Mais, un utilisateur de Netflix peut se retrouver avec une catégorie “films traitant du voyage dans le temps et réalisés dans les années 80”, si, par exemple, il a démontré un intérêt pour “Retour vers le futur” ou pour l’acteur Michael J. Fox.

Les programmes consommés par les internautes le sont grâce à son système de recommandations et non pas par le biais du moteur de recherche. Huit cents ingénieurs travaillent, d’ailleurs, à l’analyse des données collectées auprès des utilisateurs et à l’amélioration des algorithmes utilisés pour proposer le bon film au bon moment.

NETFLIX a eu aussi l’idée de créer leur propre série (« house of cards ») : cette série a été conçue grâce à l’analyse de ces données : En croisant les données « meilleurs acteurs », « meilleur thème », … ils ont créé une série sur mesure.

On voit bien à travers ces trois exemples la puissance de frappe que peuvent avoir ces acteurs des « datas » sur les acteurs « traditionnels ».

Ces spécialistes de la data regardent les déclinaisons possibles dans d’autres secteurs traditionnels, fortement « challengeables » sur leur business model.

C’est aux  entreprises françaises à réinventer leurs services clients, où à défaut, les exécuter mieux que les autres.  Ces dernières doivent lancer des projets à grande échelle d’exploitation des données massives à des fins de business.

Categories: Divers, Ecosystème BI Tags:

QlikView: Exemples de Représentations

July 2nd, 2014 No comments

QlikView offre la possibilité de représenter des données, des tendances de manière très visuelle, de part des icônes, des images, des mini-graphes, ce qui amène de la lisibilité à l’information que l’on souhaite diffuser.

Ainsi cet article présente quelques représentations qui peuvent apporter de la valeur ajoutée aux données exploitées.

Sommaire :

1-      La représentation  « Mini Graphique » :

2-      La représentation « Image »

3-      La représentation  « Pop-Up »

1)      La représentation  « Mini Graphique » :

Le Mini Graphique consiste à représenter la trajectoire d’un indicateur en fonction d’une dimension donnée, et cela pour chaque ligne du tableau.

Dans le cas ci-dessus, est représentée l’évolution du Chiffre d’Affaires sur une année (mois par mois) pour chaque voyageur faisant parti du Top 100 des meilleurs voyageurs d’une compagnie aérienne sur les 12 derniers mois.

Read more…

Homsys devient Viseo

April 22nd, 2014 No comments

Près de 4 ans après avoir rejoint le groupe Viseo, les équipes Homsys ont le plaisir de vous annoncer leur changement de nom :

MARQUE UNIQUE DU GROUPE

Cet alignement nous permet de gagner en visibilité sur notre marché et de mieux promouvoir notre expertise en Business Intelligence avec plus 200 consultants dédiés au décisionnel.

Avec 1 100 collaborateurs répartis sur 4 continents et un chiffre d’affaires supérieur à 100 millions d’euros, VISEO accompagne ses clients dans la mise en œuvre de projets complexes. Son positionnement unique lui permet d’apporter une réponse globale à tous les enjeux numériques qui impactent les systèmes d’information, les métiers ou les organisations.
Pour plus d’information, rendez-vous sur www.viseo.com

Trucs et Astuces SQL Assistant TERADATA vol.1

April 2nd, 2014 No comments

L’outil d’Assistant SQL de TERADATA s’appelait, jusqu’à la version 12.0, « Queryman ». Désormais, il porte le nom de « Teradata SQL Assistant »

Cet outil permet à l’utilisateur de requêter librement sur les tables ou vues d’une base de données. Mais aussi à se connecter à des bases externes, importer et exporter des données et autres fonctionnalités.

Pour faciliter une première approche de l’outil, voici quelques trucs et astuces pour une utilisation simplifiée :

Au programme :

  • Les différentes parties de l’interface
  • Définir une connexion et base source
  • Interroger une définition de table
  • Paramétrer une requête pour faciliter l’exécution
  • Recherche simplifiée de requêtes historisées
  • Quelques raccourcis clavier à connaître

Read more…

SAP lève (enfin !) le voile sur une (r)évolution majeure dans sa suite SAP Business Planning…

February 3rd, 2014 No comments

1 ans après la sortie officielle de la version SAP BPC 10 en General Avalability, SAP passe à a la vitesse supérieure en dévoilant sa nouvelle version : SAP BPC 10 – 1.

Depuis le 20 Décembre 2013, cette version est officiellement disponible en Ramp-Up.

Intéressés ? Contactez-nous !

Pas convaincus ? lisez la suite !

Souvenez vous déjà de la version SAP BPC 10.0 netweaver…

La version 10-0 déjà à l’époque présageait de belles améliorations par rapport aux versions (désormais archaïques) 7x NetWeaver :

Read more…