La Business Intelligence en finance de march

13 dcembre 2012

Document So@t. Diffusion interdite.

Sommaire
Qui ?
Jean-Philippe QUEVAT

O ?
La finance de march

Quoi ?
FO-MO-BO

Comment ?
La Business Intelligence

Et Alors ?
Architecte dcisionnel chez Natixis

13 dcembre 2012

Document So@t. Diffusion interdite.

Qui ?

13 dcembre 2012

Document So@t. Diffusion interdite.

Jean-Philippe QUEVAT
Consultant SO@T depuis 8 ans
Dveloppements .Net : 3 ans Architecture BI Microsoft : 5 ans

Missions chez SGCIB, SEDOC, CA-CIB, Natixis (IXIS-CIB), AVIS, Architecte dcisionnel chez Natixis

13 dcembre 2012

Document So@t. Diffusion interdite.

O ?

13 dcembre 2012

Document So@t. Diffusion interdite.

La finance de march
Il sagit des filiales Corporate and Investment Banking des banques (SG SGCIB,) Elle existe afin de rpondre aux besoins de clients (prts, cuivre, dollars,) et pour placer la trsorerie de la banque (fonds propres)

But :
faire des marges en assumant les risques justes (valuation) avoir un meilleur rendement quun placement sans risque (stratgie)

2 marchs financiers distincts :

March organis (MO) March de gr gr (OTC)
13 dcembre 2012

Document So@t. Diffusion interdite.

La finance de march
Une salle de march est divise en Desk correspondant une activit:
Change (Fx) Taux (FI) Crdit Actions et drives (Equity) Matires premires (Commo) Exotiques

Les produits drivs:

Contrats (futures, forwards, swaps, ) Options

13 dcembre 2012

Document So@t. Diffusion interdite.

La finance de march
Progiciels de gestion, passage dordre,:
Summit Calypso Murex Infinity Systme propritaire pour certains produits

Besoins IT qui dcoule du risques

Audit Modlisation et calculs (P&L, Risk, ) Consolidation Reporting Scurit Redondance / recoupement des informations
13 dcembre 2012

Document So@t. Diffusion interdite.

La finance de march

Front

Saisie des Traders Princing / Modlisation (Quant) / CRM (Sales) Arbitrage

Middle

P&L Risks BI (reporting et consolidation)

P&L Comptabilit Vrification finale

Back
13 dcembre 2012

Document So@t. Diffusion interdite.

Quoi ?

13 dcembre 2012

Document So@t. Diffusion interdite.

10

Front-Office
Traders :
Achat / Ventes de produits financiers Pricing de produits pour Clients/Sales et reporting valuation des risques

Front

Quant :
Modlisation de produits Conception/Dveloppement de nouveaux produits

Sales :
Vente / dmarchage de clients

IT :
Progiciel Front : paramtrage + pricers (C++) Commando (Excel, VBA,)
13 dcembre 2012

Document So@t. Diffusion interdite.

11

Middle Office
Trso
Calcul liquidit

Middle

MarketData SDR
Consolidation du P&L

Risk
Consolidation des Sensi (StressTest) Suivi des limites

IT
Application Lourdes/Web
Historisation sur BdD (gros volumes) Consolidation dans DWH via ETL Reporting spcifique
13 dcembre 2012

Document So@t. Diffusion interdite.

12

Back Office
Comptabilit
Rapprochement P&L Eco / P&L Compta Validation des Deals

Back

13 dcembre 2012

Document So@t. Diffusion interdite.

13

Comment ?

13 dcembre 2012

Document So@t. Diffusion interdite.

14

Business Intelligence
Pourquoi le dcisionnel ?
Information dissmine dans des bases de gestion de plus en plus nombreuses Htrognit des sources de donnes Difficult croissante centraliser et recouper les donnes Besoins de prises de dcisions de plus en plus rapide Bases relationnelles inadaptes pour rpondre rapidement des requtes lourdes
13 dcembre 2012

Document So@t. Diffusion interdite.

15

Schma gnrique
Sources de donnes
Progiciel Summit, Clarity,

ETL

Entrept de donnes

Cubes OLAP

Outils de restitution

SQL : Sybase, Oracle

ETL
WebServices

DWH

Fichiers : XML, CSV

Data Mart

13 dcembre 2012

Document So@t. Diffusion interdite.

16

Datawarehouse
Le datawarehouse :
rassemble toutes les informations rcupres depuis les sources Contient des informations de qualit :
Exhaustives D doublonnes Vrifies, cohrentes

Le schma relationnel est diffrent de celui des sources :

Le besoin fonctionnel est diffrent Le profil des requtes est compltement diffrent

Schma en toile / en flocon

13 dcembre 2012

Document So@t. Diffusion interdite.

17

ETL

A quoi sert lETL ?

Cest un outil cr afin de rcuprer rgulirement des informations de sources de sonnes htrognes et les dplacer vers dautres bases de donnes. Pour cela, il combine 3 fonctions: Extraction Transformation Chargement

13 dcembre 2012

Document So@t. Diffusion interdite.

18

ETL

Les 3 fonctions de lETL

Extraction : utilise des connecteurs pour importer les donnes de dtail depuis les systmes de gestion Transformation : nettoie, rejette et retravaille les donnes en leur appliquant des filtres, des conversions, des agrgations, Chargement : importe les donnes dans les tables de la base du DataWareHouse

13 dcembre 2012

Document So@t. Diffusion interdite.

19

ETL

Conclusion
Cest un point critique du projet car cest ici que sont listes les sources, construit le rfrenciel, conu lhistorisation, la volumtrie, mis en place des sauvegardes : 60-70% du projet Il sagit ici de la version la plus complte dun ETL. En ralit, des versions dgrades sont gnralement utilises par les clients.

13 dcembre 2012

Document So@t. Diffusion interdite.

20

OLAP
Prsentation dOLAP
OLAP : On Line Analytical Processing Par opposition OLTP On Line Transaction Processing

Concept nonc par E.F Codd

Essentiellement attach la notion de multidimensionnel 12 rgles essentielles (transparence, accessibilit, consistance, etc)

13 dcembre 2012

Document So@t. Diffusion interdite.

21

OLAP
Concept de Cube
Cube : Entit multidimensionnelle contenant les donnes organises suivant des dimensions

Dimension 3 : Client

Dimension 1 : Temps

Dimension 2 : Produit

Vente dun Contrat ISIN 521523652 Le 29/10/2007 Au client N7042

13 dcembre 2012

Document So@t. Diffusion interdite.

22

OLAP
Concept de Cube
Un cube peut avoir virtuellement un nombre illimit de dimensions Il est toujours construit partir dun modle en flocon ou en toile :
Les tables de dimensions correspondent aux dimensions du cube La table de fait correspond la donne mesure stocke dans le cube

Navigation dans le cube

13 dcembre 2012

Document So@t. Diffusion interdite.

23

OLAP
Process et mode de stockage
Laction de rcuprer les donnes depuis le Datawarehouse et de calculer les aggrgats sappelle le process du cube.
Plusieurs modes de stockage existent : MOLAP, ROLAP, HOLAP, etc La diffrence est le niveau de dtail de donnes stockes dans le cube

Aggrgations
Le moteur OLAP a la possibilit de pr-calculer des aggrgations pour chaque niveau hirarchique de chaque dimension Ces pr-calculs rduisent considrablement le temps de rponse des requtes

Le nombre dagrgats calculer augmente

exponentiellement avec le nombre de dimensions et de niveaux hirarchiques
13 dcembre 2012

Document So@t. Diffusion interdite.

24

Reporting
La restitution des donnes
Pour lutilisateur final, quelque soit la quantit de la solution, le systme sera jug sur la capacit sintgrer son environnement de travail et son utilisation. La restitution doit tre multimdia et communicante La restitution doit tre adapte lutilisateur
Tableau de bord visuel Requtage sur le cube Reporting agrg

13 dcembre 2012

Document So@t. Diffusion interdite.

25

Reporting
Exemple de restitutions
Go-localisation
Connaitre la disponibilit des Autolib dans chaque station

DataMining
Analyser les flux , localiser les zones sur/sous-quipes

Analyse des donnes agrges

Dterminer lutilisation moyenne

KPI : Key Performance Indicator

Suivre une tendance (volution du nombre de nouveaux abonnements mensuels)

CRM
Analyser les habitudes des usagers pour les partenaires commerciaux
13 dcembre 2012

Document So@t. Diffusion interdite.

26

Et Alors ?

13 dcembre 2012

Document So@t. Diffusion interdite.

27

Architecte BI chez Natixis

Mission :
Mettre en place un environnement BI pour permettre lintgration des donnes des progiciels Front-Office (Summit, Murex, Calypso)

Problmatique :
intgrer 300 millions de lignes par nuit dans une base de donnes et les restituer de manire rapide aux utilisateurs

Equipe :
1 chef de projet 1 architecte 3 dveloppeurs

13 dcembre 2012

Document So@t. Diffusion interdite.

28

Architecte BI chez Natixis

Encadrement :
Chiffrage des diffrentes tapes de conception/dveloppement Lotissement des dveloppements et planning Formation des dveloppeurs (.Net, Java) la BI

Dveloppement et Tuning Fonctionnel :

Dfinir les besoins avec les utilisateurs (pas de MOAs) Dfinition du primtre Comprhension fonctionnelle
Pour le reporting (optimisation) Pour dfinir les axes danalyse Pour prvoir les volutions, les goulets dtranglement,
13 dcembre 2012

Document So@t. Diffusion interdite.

29

Architecte BI chez Natixis

Architecture :
Choix des technologies (ETL = SSIS, OLAP = SSAS, DB = Sybase IQ) Architecture technique :
Benchmark des mthodes : SQL, ETL, LoadTable, Dfinition du workflow

Conception / Dveloppement Flux dinformation :

Connecteurs de liaisons avec extrieur (dpt de fichiers, SQL, WebServices,) change Unix Windows

Archivage/purge

Infrastructure :
tude des machines (CPU, RAM, Stockage, Rseau,)
13 dcembre 2012

Document So@t. Diffusion interdite.

30

Architecte BI chez Natixis

Scurit :
Audit , Log , Gestion des droits Reprise sur chec

Dfinition de normes de dveloppement :

Mthode de livraison Usine logiciel
Gestion de configuration Analyseur de code Tests Unitaires

Best Practice

Veille Technologique / Benchmark des nouveauts (SQL Server 2012)

13 dcembre 2012

Document So@t. Diffusion interdite.

31

En Dtails

13 dcembre 2012

Document So@t. Diffusion interdite.

32

DWH : en dtails
Modle physique de donnes dun DataWareHouse
Conception : schma en toile (3eme forme normale, Boyce-Codd)
Types de donnes (date/datetime,) Dimensions clates ou non
en fonction des besoins Limitations techniques

Tuning
Index Partitionnement Archivage

Vues pour les accs des utilisateurs

Scurit Dcouplage

13 dcembre 2012

Document So@t. Diffusion interdite.

33

DWH : en dtails

13 dcembre 2012

Document So@t. Diffusion interdite.

34

ETL : En dtails
Archi SSIS dune alimentation :
DataFlow ControlFlow Log EventHandlers Gestion XML
Parsing

LoadTable / Bulk Copy Execution SQL

Avec VisualStudio pour la BI : BIDS ou SSDT (depuis 2012)

13 dcembre 2012

Document So@t. Diffusion interdite.

35

13 dcembre 2012

Document So@t. Diffusion interdite.

36

SSAS : En dtails
Architecture serveur :
Instances
Bases
Cubes Dimensions

Scurit:
Rles Assembly

Unified Dimensional Model (UDM) :

Data Source Data Source View
13 dcembre 2012

Document So@t. Diffusion interdite.

37

13 dcembre 2012

Document So@t. Diffusion interdite.

38

Au Final

Intgralit du panel dcisionnel rencontr Grande diversit des mtiers et technos dans le ple IT Problmatiques intressantes et nombreuses
Recherche de solutions adaptes Veille technologique permanente

Fonctionnellement trs riche

13 dcembre 2012

Document So@t. Diffusion interdite.

39

Questions ?

13 dcembre 2012

Document So@t. Diffusion interdite.

40