Comments
Description
Transcript
Data Warehouse
Business Intelligence Franco Perduca Factory Software [email protected] Il modello di riferimento Extract Transform Load (ETL) Applicazioni OLTP Staging Area Sorgenti dati normalizzate Normalizzato? Sorgenti non convenzionali Tool Modello dimensionale Data miner Report writer Storage relazionale Report consumer Storage nativo “While you will use technology to deliver your datawarehouse, the technology is at best a means to an end. As such, the technology and techniques you use to build your datawarehouse should not appear directly in your top job responsabilities.” [...] Ralph Kimball - http://www.kimballgroup.com 2 Agenda SQL Server 2005 per il Data Warehouse Unified Dimensional Model DBMS OLAP Data Mining Supporti per l’end-user 3 Agenda SQL Server 2005 per il Data Warehouse SQL Server 2005 Integration Services – servizi di ETL Partizionamento Unified Dimensional Model DBMS OLAP Data Mining Supporti per l’end-user 4 Agenda SQL Server 2005 per il Data Warehouse Unified Dimensional Model Integrazione di tutti i modelli analitici aziendali Dalla BI al Business Performance Management Sfida: Operational Reporting DBMS OLAP Data Mining Supporti per l’end-user 5 Agenda SQL Server 2005 per il Data Warehouse Unified Dimensional Model DBMS OLAP Implementazione dell’UDM Business Logic (MDX) Modalità di storage (“right time” MOLAP) Profiling Data Mining Supporti per l’end-user 6 Agenda SQL Server 2005 per il Data Warehouse Unified Dimensional Model DBMS OLAP Data Mining 8 algoritmi Forte integrazione con tutta la piattaforma Sfida: stimolarne la diffuzione Supporti per l’end-user 7 Agenda SQL Server 2005 per il Data Warehouse Unified Dimensional Model DBMS OLAP Data Mining Supporti per l’end-user Reporting • • 8 Ad Hoc Reporting Embedded Reporting Gestione delle notifiche Portale di BI (“content management”) Dashboard e KPI Suite di Business Intelligence Agenda SQL Server 2005 per il Data Warehouse SQL Server 2005 Integration Services – servizi di ETL Partizionamento Unified Dimensional Model DBMS OLAP Data Mining Supporti per l’end-user 9 ETL vs. ELT - Extract Load Transform Alerts & escalation Call centre data: semi structured Text Mining Staging Staging Legacy data: binary files Hand coding Cleansing & ETL Application database ETL Data mining ETL ETL Warehouse Reports Staging Processo di trasformazione si basa su staging area e procedure SQL Ricorso a tecnologie esterne per trasformazioni non gestibili in SQL Intrinsecamente un processo batch 10 Mobile data ETL vs. ELT - Extract Transform Load Alerts & escalation Text mining components Data mining components Custom source Merges Mobile data Call centre: semi-structured data Warehouse Legacy data: binary files Standard sources Application database 11 Data cleansing components SQL Server Integration Services Integrazione di dati e tecnologie Estrazione da fonti eterogenee su dataset in memoria Processo di trasformazione avviene in memoria, “row by row” Caricamento del dataset su database ed applicazioni Processo “right time” Reports Server per l’ETL Server dedicato per tutte le attività di ETL ETL concorrente alle query su Data Warehouse 32-bit box: operazioni row-by-row sono CPU-bound 64-bit box: operazioni che operano sull’intero data set sono memory-bound 12 Server farm per l’ETL SSIS Parent Package Execution via SQL Agent (scheduled) SSIS packages in SQL Parent calls children via SQL Agent on other machines Source data Destina tion data 13 Logging Error Rows SSIS support Server(s) Demo SQL Server 2005 Integration Services Agenda SQL Server 2005 per il Data Warehouse SQL Server 2005 Integration Services – servizi di ETL Partizionamento Unified Dimensional Model DBMS OLAP Data Mining Supporti per l’end-user 15 Partizionamento di indici e tabelle Colonna/e di partizionamento Tabella / Indice Partitioning Function (T-SQL) Partizione 1 Partizione 2 Partizione 3 Partizione 4 File Group 1 File Group 1 File Group 1 File Group 1 Partitioning Scheme (T-SQL) 16 Operazioni T-SQL su partizioni (SWITCH, MERGE, SPLIT) Ottimizzazioni di Query Processor e Storage Engine Agenda SQL Server 2005 per il Data Warehouse Unified Dimensional Model Integrazione di tutti i modelli analitici aziendali Dalla BI al Business Performance Management Sfida: Operational Reporting DBMS OLAP Data Mining Supporti per l’end-user 17 Unified Dimensional Model Tool ODS STG Model STG Model DM DWH Tool Tool Model Modello dimensionale Univocità del modello Metamodello relazionale Tool Orientamento all’utente finale Duplicazione dei dati Inconsistenza dei modelli Silos applicativi DM DWH 18 Tool ODS UDM Tool Tool Tool Sfida: Operational Reporting Rompere le barriere tra analisi e reporting Analisi Valore Strategico Strategia Reporting Tattica Operativa Direzione “Big” ETL Form factors Right Time BI 24x7 Analisti Manager Operatori Clienti 19 # persone XML for Analysis 20 http://www.xmla.org Agenda SQL Server 2005 per il Data Warehouse Unified Dimensional Model DBMS OLAP Implementazione dell’UDM Business Logic (MDX) Modalità di storage (“right time” MOLAP) Profiling Data Mining Supporti per l’end-user 21 L’Unified Dimensional Model Scorecarding Analisi Data Mining Ad hoc reporting Reporting XML for Analysis (XMLA) Security & Profiling End User Model Translations, coloring, KPI, hierarchy UDM Storage Proactive Cache, MOLAP Business Logic Scope (Products.Category.Frozen); Sales = (Products.Category.Fresh, Sales)*1.2 End Scope; DWH / ODS / Data Store Dimensional Model Data Source View 22 Demo SQL Server 2005 Analysis Services UDM: Modalità di aggiornamento 1/4 Aggiornamento batch SQL Server 2005 Integration Services Storage MOLAP ETL Process UDM Access Datawarehouse OLTP / ODS Fonti Business Users MOLAP Store 24 UDM: Modalità di aggiornamento 2/4 “Right Time” UDM aggiornato ogni pochi minuti SQL Server 2005 Integration Services Proactive Cache Notifica UDM ETL OLTP / ODS Web Service Access Datawarehouse / ODS Business Users MOLAP Cache 25 UDM: Modalità di aggiornamento 3/4 “Right Time” UDM aggiornato “al messaggio” Integrazione con servizi di Business Process Orchestration Datawarehouse come Web Service Proactive Cache Notify for changes Business Process Orchestration UDM Access Datawarehouse Service 26 Business Users MOLAP Cache UDM: Modalità di aggiornamento 4/4 “Right Time” UDM aggiornato ogni pochi secondi Integrazione con i sistemi di produzione Proactive Cache Notifiche UDM Access OLTP/ODS Business Users MOLAP Cache 27 UDM: Aggiornamento Misto ETL Batch ETL Batch BPI Current Month ETL “Right Time” Finance, MOLAP, 2 week HT, MOLAP, 1 day LOB application, Proactive Cache, real time Internet Sales, Proactive Cache, Right Time 28 Today Tomorrow Agenda SQL Server 2005 per il Data Warehouse Unified Dimensional Model DBMS OLAP Data Mining 8 algoritmi Forte integrazione con tutta la piattaforma Sfida: stimolarne la diffuzione Supporti per l’end-user 29 Agenda SQL Server 2005 per il Data Warehouse Unified Dimensional Model DBMS OLAP Data Mining Supporti per l’end-user Reporting • • 30 Ad Hoc Reporting Embedded Reporting Gestione delle notifiche Portale di BI (“content management”) Dashboard e KPI Suite di Business Intelligence SQL Server 2005 Reporting Services Sorgenti Dati LOB UDM RDB Host DataSet Web Service SharePoint Portale Report Consumer HTML 4.0, HTML 3.2 PDF, Excel, Word XML, TXT Reporting Services Web Service Server Farm Dev. Report 31 Admin. Report IT Formattazione Security Esecuzione query Notifica Web Service Report Writer Demo SQL Server 2005 Reporting Services Key Performance Indicators Consentono di costruire cruscotti sintetici Fruibili via Reporting Services e ADOMD.NET 33 Sviluppo di applicazioni per l’UDM Supporto nativo per XML/A Middle-tier scalabile “Zero footprint” sul client XMLA UDM ADOMD.Net C#, VB.Net ... OLE DB for OLAP 9 C++ ADOMD Win32 VB J2EE J2EE Any app, device, language, platform Any ADOMD.J 34 .Net Demo Applicazione di esempio Suite [SQL Server 2005 è una piattaforma ] Office system Excel SharePoint Office Business Scorecard Forte investimento in Office 12 36 Conclusioni End Use Browser, Office, Device Tool di amministrazione e sviluppo Front-end Server Farm Services: Reporting, Analytics, Portal, Notification, KPI Unified Dimensional Model / Data Mining Data Warehouse 3NF / Federazione di DM o Staging Area SQL Server 2005 Integration Services (ETL) Data Source Host 37 Binary Text XML Web Service RDB LOB Business Process Integration http://www.microsoft.com/sql/2005 http://www.microsoft.com/italy/businessintelligence http://www.microsoft.com/sql © 2003-2004 Microsoft Corporation. All rights reserved. This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary.