ORACLE - ppt 8.690 KB - Mosconi Consulting SRL

Copyright 2008 - Oracle Corporation
<Insert Picture Here>
Oracle Data Warehousing: la gestione efficiente ed efficace di grandi
volumi di dati
Vincenzo Guarino – Technology Sales Consulting
Maurizio Brandolini – Consulting Business Development
Padova, 11/06/2008
Agenda
• Scenario
• Il valore della proposizione Oracle per la
Business Intelligence ed il Data Warehouse
• L’approccio Oracle: tecnologie, competenze
ed esperienza nella realizzazione di sistemi
per la gestione di terabytes di dati
• Esperienze italiane di progetti “Terabyte”
• Sommario
• Q&A
Copyright 2008 - Oracle Corporation
<Insert Picture Here>
Scenario
Copyright 2008 - Oracle Corporation
La definizione di IDC per i Business Analytics
Copyright 2008 - Oracle Corporation
Dietro l’utente
Data Mart dipendenti
(Data Warehouse 2° livello)
• Strutture e viste dimensionali
dei dati
• Predisposizione per query
analitiche
• Ottimizzazione delle
performance
Repository centrale
(Data Warehouse 1° livello)
• Modelli dati in 3^ forma
normale
• Reporting di dettaglio e query
generiche
• Integrazione dati e metadati
Performance
Data Layer
Atomic
Data Layer
Area di Stage
Staging Area
Operational
Systems
• Orientata al trattamento, trasformazione ed
integrazione dei dati sorgenti (se necessaria)
• Controlli di Qualità dei dati e relativi processi
di correzione
• Riciclo degli scarti d’errore dei caricamenti
Dati sorgenti
• Applicazioni, Transazioni, dati complementari
Copyright 2008 - Oracle Corporation
Dietro l’utente
Data Mart dipendenti
(Data Warehouse 2° livello)
• Strutture e viste dimensionali
dei dati
• Predisposizione per query
analitiche
• Ottimizzazione delle
performance
Repository centrale
(Data Warehouse 1° livello)
• Modelli dati in 3^ forma
normale
• Reporting di dettaglio e query
generiche
• Integrazione dati e metadati
Performance
Data Layer
Atomic
Data Layer
Area di Stage
Staging Area
Operational
Systems
• Orientata al trattamento, trasformazione ed
integrazione dei dati sorgenti (se necessaria)
• Controlli di Qualità dei dati e relativi processi
di correzione
• Riciclo degli scarti d’errore dei caricamenti
Dati sorgenti
• Applicazioni, Transazioni, dati complementari
Copyright 2008 - Oracle Corporation
La legge di Moore e i volumi di dati
• Legge di Moore: la capacità di
calcolo delle CPU raddopia
ogni 18 mesi
• Ogni aspetto della vita è oggi
influenzato dai computer e
dall’informatica
– Cosa e quanto si produce
– Cosa e come si compra
– Quali nuovi farmaci vengono
scoperti
– Come comunichiamo
– Come viaggiamo
– E molto altro ancora…
I volumi di dati crescono ad un ritmo
maggiore della legge di Moore!
Copyright 2008 - Oracle Corporation
La crescita del volume di dati nei Data Warehouse
Grandezza del più grande
data warehouse secondo
la ricerca “2005 TopTen
Program” di Winter Corp.
100
80
Grandezza del
Database (TB)
60
40
245% Increase just from
2003 to 2005
20
0
1998
1999
2000
2001
2002
2003
Source: 2005 TopTen Program, November 2005 © Winter Corporation, Waltham, MA, USA
Copyright 2008 - Oracle Corporation
2004
2005
Yahoo! 2005: un Data Warehouse di 100 Terabyte
Oracle abilita i più grandi Data Warehouse
100 TERABYTE
Copyright 2008 - Oracle Corporation
Uno sguardo al futuro
• Tale impressionante crescita del volume dei dati sarà il fattore
chiave dei requisiti architetturali nell’area dei Data Warehouse
• Non si hanno evidenze che questa tendenza possa rallentare
• Questo impatta profondamente su come nel futuro tutti questi
dati saranno gestiti, immagazinati, acceduti ed analizzati
• Inoltre ci sono anche altre esigenze ed aspettative, sia da parte
dell’IT che da parte degli utenti di business, da perseguire
• Come gestire tutto questo?
Copyright 2008 - Oracle Corporation
Le principali esigenze nell’area del Data Warehouse
• Verificare le
attività e
pianificare le
modifiche
• Garantire la
disponibilità
del sistema in
accordo con
gli SLA
• Sicurezza: sugli
utenti, sui dati,
sui documenti,
…
• Gestire e
controllare
facilmente i
processi
• Allocare e
coordinare
dinamicamente
tutte le risorse
necessarie
• Consolidare le
infrastrutture
• Migliorare sempre più la
qualità dei dati
• Aggiungere nuove
funzionalità analitiche al
Data Warehouse
• Espandere le possibilità
d’analisi su qualunque tipo
di KPI: grafico, geografico,
documentale, numerico,
finanziario, statistico, …
• Sfruttare la potenza
dell’intelligenza artificiale
nell’uso quotidiano
• Gestire e
controllare la
crescita del volume
dei dati
• Risparmiare spazio
disco
• Gestire
efficacemente il
ciclo di vita dei dati
Copyright 2008 - Oracle Corporation
Le principali esigenze nell’area del Data Warehouse
• Verificare le
attività e
pianificare le
modifiche
• Garantire la
disponibilità
del sistema in
accordo con
gli SLA
• Sicurezza: sugli
utenti, sui dati,
sui documenti,
…
• Gestire e
controllare
facilmente i
processi
• Allocare e
coordinare
dinamicamente
tutte le risorse
necessarie
• Consolidare le
infrastrutture
• Migliorare sempre più la
qualità dei dati
• Aggiungere nuove
funzionalità analitiche al
Data Warehouse
• Espandere le possibilità
d’analisi su qualunque tipo
di KPI: grafico, geografico,
documentale, numerico,
finanziario, statistico, …
• Sfruttare la potenza
dell’intelligenza artificiale
nell’uso quotidiano
• Gestire e
controllare la
crescita del volume
dei dati
• Risparmiare spazio
disco
• Gestire
efficacemente il
ciclo di vita dei dati
Copyright 2008 - Oracle Corporation
Oracle è già pronto per il futuro
• Verificare le
attività e
pianificare le
modifiche
• Garantire la
disponibilità
del sistema in
accordo con
gli SLA
• Sicurezza: sugli
utenti, sui dati,
sui documenti,
…
• Gestire e
controllare
facilmente i
processi
• Allocare e
coordinare
dinamicamente
tutte le risorse
necessarie
• Consolidare le
infrastrutture
• Migliorare sempre più la
qualità dei dati
• Aggiungere nuove
funzionalità analitiche al
Data Warehouse
• Espandere le possibilità
d’analisi su qualunque tipo
di KPI: grafico, geografico,
documentale, numerico,
finanziario, statistico, …
• Sfruttare la potenza
dell’intelligenza artificiale
nell’uso quotidiano
• Gestire e
controllare la
crescita del volume
dei dati
• Risparmiare spazio
disco
• Gestire
efficacemente il
ciclo di vita dei dati
Copyright 2008 - Oracle Corporation
La chiave dei “Large Volume Data Warehouses”
• Fattori di successo
–
–
–
–
–
Gestire e controllare la crescita del volume dei dati
Allocare e coordinare dinamicamente tutte le risorse necessarie
Risparmiare spazio disco
Migliorare sempre più la qualità dei dati
Aggiungere nuove funzionalità analitiche al Data Warehouse a
disposizione degli utenti
• La soluzione Oracle
 Capacità di gestione dei Data Warehouse di qualunque grandezza
 Compressione dei dati e predisposizione regole di ILM
 Funzionalità complete di ELT e Data Quality all’interno del database
 Capacità analitica intrinseca del database sempre maggiore, da
sfruttare direttamente, invece di muovere terabyte di dati al di fuori
per essere analizzati
Copyright 2008 - Oracle Corporation
<Insert Picture Here>
Il valore della proposizione
Oracle per la Business
Intelligence ed il Data Warehouse
Copyright 2008 - Oracle Corporation
Oracle Database 11g Data Warehouse Platform
Analytic Platform
Data
Mining Option
Olap Option
Analytic
SQL
Functions
Statistical
SQL
Functions
Star Query
Optimization
ETL/ELT & Data Quality
Warehouse
Builder – Core
functionalities
OWB
Enterprise ETL
Option
OWB Data
Quality Option
OWB
connector for
MDM Option
OWB ERP
connectors
Option
Scalable Data Management
Real Application
Cluster Option
Partitioning
Option
Compression
Parallel
Operations
Options must be licensed separately
Copyright 2008 - Oracle Corporation
Automatic
Storage
Management
Coordinare dinamicamente le risorse e crescere
Oracle Real Application Cluster: capacity on demand for the Grid
• Database in cluster su più nodi con dischi
condivisi
• Soluzione di alta affidabilità e alta disponibilità
• Possibilità di realizzazione con Server
standard a costi contenuti
• Ampiamente configurabile secondo le
esigenze applicative
– Operazioni on-line per l’aggiunta ed eliminazione
dei server
– Configurazione delle istanze e dei servizi
secondo le necessità anche periodiche
• Bilanciamento automatico del carico sui server
–
Configurazione on-line dei servizi e delle priorità
• Tecnologia reale già disponibile da anni
– Centinaia di clienti in produzione da anni con
applicazioni “mission-critical”
Copyright 2008 - Oracle Corporation
Estendere le risorse secondo la crescita richiesta
Oracle Real Application Cluster: capacity on demand for the Grid
W
o 300%
r
k
200%
l
o
a 100%
d
3
6
9
12 15
Mesi
Copyright 2008 - Oracle Corporation
18
21
24
Oracle BI&W: la piattaforma
• Applicazioni analitiche pacchettizzate
– Dedicate ai vari settori di mercato e specializzate sulle aree
aziendali (finanza, marketing, logistica, …)
• EPM e strumenti di Business Intelligence
– Piattaforma di EPM e di BI versatile, completa e
prestazionale
• Integrated Data Warehouse Database
– Scalabilità, Disponibilità, Gestibilità
– Funzionalità analitiche e statistiche, Data Quality and
ETL/EL-T, Data Mining, dati Geo-Spaziali
Exploits Any Information
Copyright 2008 - Oracle Corporation
Oracle Enterprise Performance Management System
Modeling
Planning &
Budgeting
Financial
Management
Financial &
Statutory
Reporting
Metrics &
Scorecards
Financial Performance Management
Enterprise
Performance
Management
System
Transactional Systems
Operational BI Systems
Operational
Business
Intelligence
Sales & CRM
Financials
Supply Chain
HR
Procurement
Data
Warehouse
Data
Integration
Copyright 2008 - Oracle Corporation
Query &
Analysis
OLAP
Dashboards
Enterprise/
Operational
Reporting
Alerts &
Workflow
Suite completa di applicazioni BI pacchettizzate
Vertical Market
Comms
& Media
Energy
Consumer
Goods
Financial
Services
Insurance
Pharma
Healthcare
Automotive
Oil & gas
Business Intelligence Content
CRM
ERP
Contact
Sales
Service
Center
Analytics Analytics
Telephony
Fusion Ed. Fusion Ed.
Analytics
Procurement
Marketing Supply Chain
& Spend
& Order Mgmt
Analytics
Analytics,
Analytics
Fusion Ed. Fusion Ed.
Fusion Ed.
Financials
Analytics
Fusion Ed.
Human
Resources
Analytics
Fusion Ed.
Other Operational
& Analytic Sources
Prebuilt adapters:
Oracle BI Suite Enterprise Edition
Copyright 2008 - Oracle Corporation
<Insert Picture Here>
L’approccio Oracle:
tecnologie, competenze ed
esperienza nella realizzazione
di sistemi per la gestione di
terabytes di dati
Copyright 2008 - Oracle Corporation
L’evoluzione dei requisiti dei sistemi di BI&W
Tradizionale
Trend
Numero di utenti
e user-groups
latenza
Dettaglio richiesto
Volume dei dati
Efficienza rispetto ai costi
Disponibilità
Copyright 2008 - Oracle Corporation
La tecnologia HW è uno dei fattori abilitanti…
Grandezza del DWH più grande: Yahoo! 2005
Source: E. Grochowski and R. D. Halem, “Technological
impact of magnetic hard disk drives on storage systems”,
Internet publication April 21, 2003
http://www.research.ibm.com/journal/sj/422/grochowski.html
… ma i volumi dati crescono più velocemente delle
performance dei sistemi di I/O.
Copyright 2008 - Oracle Corporation
Perseguire performance e scalabilità
• In un contesto “Terabyte” è indispensabile progettare
e realizzare sistemi di BI&W ottimizzati.
• L’esperienza Oracle Consulting evidenzia 3 fattori
chiave:
– Disegnare la soluzione in modo integrato (architettura,
modello dati, applicazioni di Back End e Front End)
– Adottare i migliori componenti e tecnologie software
– Affrontare la fase esecutiva del progetto in modo strutturato
ed avvalendosi di metodologie specifiche e sperimentate
Copyright 2008 - Oracle Corporation
Indispensabili per i VLDB le funzionalità fornite
dalla tecnologia Oracle
Partitioning
Parallel Exec
Compression
MV Use
VPD
Read Only
ASM
RMAN
DB Res Mgr
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
Partitioning, parallelism, and compression are the
foundation for large-scale data warehousing
Source: TB Club Report: A survey of 30 multi-TB Oracle DW’s – data July 2006
Copyright 2008 - Oracle Corporation
100%
Metodologie Oracle a supporto delle fase progettuali
• Oracle Method - insieme integrato di metodologie per
la progettazione e implementazione di soluzioni di
Business:
–
–
–
–
–
–
Oracle Business Model (OBM)
Data Warehouse Method (DWM)
Application Implementation Method (AIM)
Custom Development Method (CDM)
EasyPath Migration Method (EMM)
Oracle Project Management Method (PJM)
Copyright 2008 - Oracle Corporation
Cenni sulle metodologie
Oracle Warehouse Method Fast Track
Definition Phase
Project Lifecycle
4 phases ...
Establish
Requirements
Requirements
Modeling Phase
Prioritize
Production Phase
Identify Prototype
Agree
Plan
Func. & Tech.
Modeling
Iteration
Integrate
Review
Transition Implementation
Create Prototype
Review
Identify Build
Components
Agree
Plan
Design & Build
Iteration
Review
Create
Components
Construction Phase
Copyright 2008 - Oracle Corporation
Support
Cenni sulle metodologie
Oracle Warehouse Method Fast Track
•
•
È basata su approccio iterativo e incrementale
4 Fasi:
–
–
–
–
•
Definition
Requirements
Modeling
Configuration
Production
Insieme Definito di:
–
–
–
–
Processi
Attività
Deliverable
Ruoli
OW Method FT Structure
Definition
Project Management
Requirements Definition [RF]
Requirements Analysis [RA]
Technical Architecture [TAD]
Data Acquisition [DA]
Data Access [AC]
Database Design & Build [DB]
Testing [TE]
Performance Testing [PT]
Documentation [DO]
Transition [TS]
Adoption & Learning [AP]
Support [SU]
Copyright 2008 - Oracle Corporation
Requirements
Modeling
Construction
Production
Cenni sulle metodologie
Oracle Project Management Method
•
•
Incorporata in tutte le metodologie di realizzazione progetti
Processi:
–
–
–
–
–
•
Control and Reporting
Work Management
Resource Management
Quality Management
Configuration Management
Insieme Definito di:
–
–
–
–
Processi
Attivita`
Deliverable
Ruoli
Copyright 2008 - Oracle Corporation
Oracle Consulting
MISSION
Offrire servizi per l’utilizzo
efficace della tecnologia Oracle
attraverso Competenze,
Metodologie e Professionalità
Copyright 2008 - Oracle Corporation
Oracle Consulting Italia
• Presente nelle principali sedi
italiane
• 400+ professionisti organizzati in
4 Business Unit: BI&W,
Applications / CRM, Technology
Services, Expert Services
• Inoltre può avvalersi di un
network di 700 società Partner
MI
PD
TO
Copyright 2008 - Oracle Corporation
BO
RM
Oracle Consulting BI&W
L’offerta
1/2
•
•
•
•
•
•
Project Management & Quality Assurance
Analisi requisiti utente, disegno soluzione
Analisi requisiti di sistema e Capacity Planning
Assessment/Audit su Sistemi Data Warehouse
Definizione architettura applicativa e di sistema
Progettazione di sistemi ETL
•
Progettazione di Data Model Logico/Fisici
Progettazione del Front-end
•
Progettazione migrazione da altri Data Base o Front end
•
FAST Start Services
Copyright 2008 - Oracle Corporation
Project Management
IT Consulting e Solution Concept
Oracle Consulting BI&W
L’offerta
2/2
•
•
•
•
•
•
•
•
•
Implementazione Data Warehouse e Data Mart
Implementazione processi ETL
Implementazione del Front-end
Allestimento ambienti di sistema
Supporto alle fasi di deployment e roll-out delle soluzioni
applicative
Manutenzione ed evoluzione delle soluzioni applicative
Monitoraggio e tuning performance
Migrazione DW da altri DB verso DB Oracle
Migrazione Front-end non Oracle
FAST Start Services
Copyright 2008 - Oracle Corporation
Project Management
Prototyping, Implementation e Support
Valore per il Cliente
IT Consulting e Solution Concept
•
•
•
•
•
•
•
•
•
Project Management & Quality Assurance
Analisi requisiti utente, disegno soluzione
Analisi requisiti di sistema e Capacity Planning
Assessment/Audit su Sistemi Data Warehouse
Definizione architettura applicativa e di sistema
Progettazione di sistemi ETL
Progettazione di Data Model Logico/Fisici
Progettazione del Front-end
Progettazione migrazione da altri Data Base o Front End
Prototyping, Implementation e Support
•
•
•
•
•
•
•
•
•
Implementazione Data Warehouse e Data Mart
Implementazione processi ETL
Implementazione del Front-end
Allestimento ambienti di sistema
Supporto alle fasi di deployment e roll-out delle soluzioni applicative
Manutenzione ed evoluzione delle soluzioni applicative
Monitoraggio e tuning performance
Migrazione DW da altri DB verso DB Oracle
Migrazione Front-end non Oracle v/s Oracle
FAST Start Services
Value
 Continuità tra le fasi di disegno e realizzazione (approccio “end-to-end”)
 Rapidità nella realizzazione delle soluzioni (“time to market”)
 Semplificazione nella gestione dei progetti con minimizzazione dei rischi
 Utilizzo della tecnologia Oracle al massimo delle potenzialità
 Competenze “state-of-the-art” sui prodotti della suite Oracle tali da garantire al Cliente il più
efficace impiego di tutte le funzionalità disponibili
 Metodologie e Know-how unici, frutto di molteplici e pluriennali esperienze nella realizzazione di
progetti BI&W basati su tecnologie Oracle, molte riguardanti VLDW
Copyright 2008 - Oracle Corporation
<Insert Picture Here>
Esperienze italiane di progetti
“Terabyte”
Copyright 2008 - Oracle Corporation
I successi di Oracle Consulting per i DWH nel
mondo
Copyright 2008 - Oracle Corporation
Industria alimentare: Sales & Marketing DWH
Caratteristiche:
Soluzione:
Data Warehouse centrale: circa 300 utenti di
sede e più di 800 sparsi sul territorio italiano
Immediata comprensibilità delle informazioni
 DWH size: 3.5 TB Compressi
 Più di 1100 utenti
 Tempo totale di elaborazione: 5 ore
Redditività clienti e prodotti
Performance ed analisi della forza vendita
Efficienza della logistica
Semplicità d’accesso e navigazione
Completezza dei KPI previsti
Molteplici sistemi ERP sorgenti (SAP, Oracle,
JDE, …) ed applicazioni custom
Oracle DB & Compression, Oracle Warehouse
Builder, Oracle Application Server & Portal,
Oracle Business Intelligence
Approccio al progetto:
Oracle Consulting con responsabilità primaria
per tutte le fasi
Coinvolgimento dell’IT come parte attiva del
progetto
Copyright 2008 - Oracle Corporation
Telecomunicazioni: DWH del traffico telefonico
Caratteristiche:
Soluzione:
Data Warehouse per l’analisi del traffico e delle
offerte commerciali
Controlli automatici di qualità del dato a
diversi livelli di elaborazione mediante appositi
“sensori”
Numero di sistemi sorgente: 10
Numero di tabelle coinvolte: 5000
Oracle DB in architettura Real Application
Cluster, Oracle Warehouse Builder, Oracle
Application Server
 DWH size: 6 TB
 Più di 250 ML record/gg
 Tempo di validazione ed elaborazione: 6
ore
Approccio al progetto:
Approccio incrementale
Requisiti Utente con definizione modello dati
enterprise
Knowledge transfer  Documentazione
tecnica e training on the job
Metodologia  DWM Fast Track
Copyright 2008 - Oracle Corporation
Media: DWH dei giochi
Caratteristiche:
Soluzione:
Punto centrale di raccolta e certificazione dei
dati riconosciuto all’interno dell’azienda
Rete telematica composta da più di 44000
terminali per le giocate
Portale di BI punto d’ingresso per tutte le
analisi e navigazioni
Numero dei sistemi sorgenti: 5
Numero delle tabelle gestite: 240
Dati acceduti secondo le regole d’accesso e
sicurezza definite dai profili utente
Oracle DB, Oracle Warehouse Builder, Oracle
Application Server & Portal, Oracle BI
 DWH Size: 1.5 TB
 35 ML record/2 gg
 Tempo totale di elaborazione: 2 ore
Approccio al progetto:
Fasi di Assessment e Test sotto la responsabilità
dell’IT
Requisiti utenti  Definiti a partire da report SAS
Key users  Business Analysts
Assessment  Workshop
Knowledge transfer  Training on the job
Metodologia  DWM Fast Track
Copyright 2008 - Oracle Corporation
Servizi finanziari: DWH della borsa valori
Caratteristiche:
Soluzione:
Centralizzazione e normalizzazione dei dati di
borsa che consente query ed analisi rapide,
garantendo il rispetto della regolamentazione
internazionale ed italiana con un elevato livello
di sicurezza
Processi di ETL giornalieri automatizzati
Modello Dati: Relazionale in 3 Forma Normale
e Star schema
Regole d’accesso ai dati coerenti con i profili
utente
Oracle DB e Oracle Warehouse Builder
Approccio al progetto:
Metodologia  DWM Fast Track
Raccolta Requisiti  Oracle Consulting per la
definizione dei requisiti funzionali e tecnici
IT come parte attiva del progetto
 DWH Size: 2 TB
 3 ML record/gg
 50 flussi di ETL
 24 mesi di finestra temporale dei dati
Key users  Utenti di Business, Sviluppo e
ricerca, Compliance & Regulation
Knowledge transfer  Training on the Job
IT prosegue in piena autonomia lo sviluppo
e la gestione del sistema
Copyright 2008 - Oracle Corporation
Oracle Consulting Italia
• Esperienza
– Tecnica e di Business
– DW, BI, Tech, PM
• Focus
– Service Line dedicata al DWH
– Knowledge Management
• Metodologia
– Assessment e Workshop
– DWM, DWM Fast Track, OM, PJM...
Copyright 2008 - Oracle Corporation
<Insert Picture Here>
Sommario
Copyright 2008 - Oracle Corporation
The way we work
Tecnologie software innovative e comprovate
competenze professionali assicurano una soluzione
di successo ai nostri Clienti e Partner
Copyright 2008 - Oracle Corporation
www.oracle.com/solutions/business_intelligence/index.html
Ulteriori informazioni
www.oracle.com/solutions/business_intelligence/dw_home.html
Copyright 2008 - Oracle Corporation
DWH & Analytical features
Performance
Copyright 2008 - Oracle Corporation
Copyright 2008 - Oracle Corporation
Copyright 2008 - Oracle Corporation