사례로 보는 프로젝트의 한지수 이사 한국이엠씨컴퓨터시스템즈㈜

사례로 보는 Big Data 프로젝트의 Success Factor
한지수 이사
한국이엠씨컴퓨터시스템즈㈜
© Copyright 2015 EMC Corporation. All rights reserved.
1
목차
• Big Data는 무엇인가?
• BI/DW와 Big Data의 차이점?
• Big Data프로젝트의 목표
• Big Data 프로젝트 수행의 3가지 어려움
• Big Data 프로젝트 사례와 시사점
• Key Success Factor
• Big Data 수행을 위한 조직
• Big Data 수행을 위한 Technology
• Big Data 프로젝트 수행 단계
• Best partner for Big Data
© Copyright 2015 EMC Corporation. All rights reserved.
2
Big Data는 무엇인가?
Big Data
비즈니스
가치
향상된 Insight 제공
사내 + 사외
(정형, 비정형)
Smart 의사결정
Data 기반 사고 혁신
사내(정형)
기존 데이터
• 사내  사내 + 사외 (Web, SNS 등)
Volume
Various
Velocity
Business 경쟁력 제고
데이터
• 정형  정형+비정형 (문서, 메일, 이미지, 동영상, 로그 등)
© Copyright 2015 EMC Corporation. All rights reserved.
3
BI/DW 와 Big Data의 차이점?
Big Data Analytics (Data Science)
Interpretation
based
Why it
happened?
What
we will do?
ANALYSIS
데이터 유형
분석기법
일반적 질문
What
happened?
Fact
based
Past
TIME
Business
Intelligence
Big Data
Analytics
© Copyright 2015 EMC Corporation. All rights reserved.
What
will
happen?
Future
• 대규모 data set
• 정형/비정형 Data, File, 음성/이미지/텍스트 등
• 최적화 모델 / 통계학적 분석 / 예측분석 모델 /
Forecasting / Early Warning 등
• 어떤 결과가 나올 것인지?(What-if simulation)
• 우리 비즈니스에 최적화된 시나리오는 무엇인지?
• 향후에 어떤 일이 발생할 것인지?
Business Intelligence
데이터 유형
분석기법
일반적 질문
• 비교적 소규모의 data set
• 정형 Data, 전통적 RDBMS 소스
• 집약적 대시보드 / 스탠다드 ad hoc 리포팅 / Alerts
/ 정형 Query 등
• 지난 분기에 발생한 일은?
• 왜 발생했는지?
• 과거 실적 및 영업이익은?
4
Big Data의 프로젝트의 목표
고객 중심의
R&D
생산/품질 향상
계정계 데이터
흐름에 대한 분석
금융회사의
목표
제조회사의
목표
마케팅 분석의
고도화
고도의 AS 정보
제공
고객 중심의
이니셔티브
Strong
Analysis
병렬처리 프로세싱
* Source: the Saïd Business School at the University of Oxford
© Copyright 2015 EMC Corporation. All rights reserved.
5
Big Data 프로젝트 수행의 3가지 어려움
1
왜 Big Data를 도입해야 하나?
• 회사의 비즈니스와 Align 하여 “무엇”을 “왜” 분석해야 하는지 목표가 명확하지 않다
• “무엇을 예측”할 것인가?, “무엇을 최적화”할 것인 가에 대한 막연한 목표
2
IT 부서 주도의 기술구현 프로젝트
• 업무현장의 Insight를 반영하기 어렵고, 분석의 효과로서 목적하는 바가 분명하지 않다
• 기존의 시스템으로부터 “어떤 데이터”를 “어떠한 방식”으로 수집할 것인지 확실치 않다
3
매우 다양한 분석 요구사항과 시스템 연계
• 분석데이터를 요구하는 조직마다 매우 “다양한 원천데이터”와 “다양한 분석기법”을 요구
© Copyright 2015 EMC Corporation. All rights reserved.
6
Big Data 프로젝트 사례와 시사점(1/3)
왜 Big Data 를 도입해야 하나? > 추진 과제 선정 프로젝트의 선행
Challenging Questions
Cases
C 증권
조직 차원의 분석 목표와
분석 대상을 정의하였는가?
대상 Biz-Case 핵심과제를
도출하였는가?
C레벨의 스폰서쉽을
확보하였는가?
Key Findings
<월별 주가 예측 리포트>
주가 예측 정확도 향상
1) 95개 주가 종목의 예측이 가능한
K-Index 지표 개발
2) 통계경제지표, SNS, 블로그 등
내/외부 통합데이터 분석 플랫폼 구축
 적합한 주제/목표
3) ’13년 Big Data Award우수상 수상
 분석 데이터의
식별
P 제조
빅데이터 기반 생산관리시스템
<생산관리시스템 품질관리>
전직원 공모(358개)
투자 효과에 대한 분석과
예측이 가능한가?
선행과제 실행으로
Big Data 선
부서별 토론/임원 토론
경험으로
향후 시행착오를
현업부서장(우선순위: 35개) 줄이고자 함
선행과제 20개 추출
© Copyright 2015 EMC Corporation. All rights reserved.
• 추진과제 고도화
 ’13년: 20여개의 Pilot 과제
 ’14년: 기 수행 7개 과제
검증 및 개선
7
Big Data 프로젝트 사례와 시사점(2/3)
IT 부서 주도의 기술구현 프로젝트 > 회사 전체의 Big Data 수준 향상
Challenging Questions
Cases
D중공업
현업분석가, Biz전문가가
함께 참여하였는가?
데이터 분석인력(Scientist)
는 육성 및 확보하였는가?
Biz-Case에 적합하게 적용할
분석 모델은 수립하였는가?
Pilot을 통한 주제분석 및 사전 교육
1. 과제별 현업전문가, 분석전문가 및
Data Scientist 양성
Key Findings
Pilot
과제수행
심화교육
(2주)
기본교육
(1주)
분석가 활용
 조직의 빅데이터
역량 향상을 위한
데이터 분석가 양성
C 물류
현실성 있는 분석 모델 개발
1. 실무진과의 참여와 검증을 통해
물동량 예측을 위한 모델 개발
 적합한 과제와 분석
모델 적용
H중공업
조직 전사 수준의 빅데이터
수준 진단은 되어있는가?
© Copyright 2015 EMC Corporation. All rights reserved.
빅데이터 수준 진단 및 과제선정
H
사
1. 빅 데이터 조직 수준을진단
2. 전체 업무 중 25개를 빅데이터 분석
과제로 선정, 최우선과제 4개 정의
8
Big Data 프로젝트 사례와 시사점(3/3)
매우 다양한 분석 요구사항과 시스템 연계 > BIG DATA ON CLOUD
Challenging Questions
Cases
Key Findings
S 제조
추가 요구사항 수렴이
용이한 확장 구조인가?
구현
목표
공정 품질
관제 체계
Big Data
기반 자동
분석 체계
다양한 분석
및 결과
Feed
Back
품질 추적
체계 고도화
안정적으로 대용량을
지원하는 플랫폼인가?
 최적의 솔루션 구축
 안정적인 운영/확산
산재된 데이터 통합 및
연계방안은 검토되었는가?
각 분석 환경에 유연한
대응은 가능한가?
Cloud 환경 적용
© Copyright 2015 EMC Corporation. All rights reserved.
9
Key success factor
1
적합한 주제/목표
수행 조직과 역할
(Master Plan)
2
3
4
분석 데이터의 식별
역량향상을 위한 데이터 분석가 양성
적합한 과제와 분석 모델 적용
적용 Technology
철저한 사전 준비와
검증을 통한
Big Data
프로젝트 수행
(Implementation)
5
최적의 솔루션 구축
6
안정적인 운영/확산
© Copyright 2015 EMC Corporation. All rights reserved.
10
Big Data 수행을 위한 조직
People
Business
Role & Responsibility
• Biz Expert (업무 담당자)
• 주제/과제 정의
• Data Scientist (분석가)
• 업무 통찰력 / 분석 수행
• Big Data Coordinator
• 우선순위, 키워드 정의
목적과 효과
• 분석 방법론 적용
Data
• Data Architect
• Solution Architect
• Big Data Consultant
Technology
• DB Administrator
• Hadoop Administrator
• HW/SW/NW Engineer
• Solution Specialist
© Copyright 2015 EMC Corporation. All rights reserved.
• 필요 데이터 식별/확보
• 원천/목표 데이터 정의
• 데이터 논리/물리모델 설계
• 속성 데이터 정의
• 데이터 관리 및 활용 체계 수립
Data 수집과 관리
• 아키텍처 총괄적 설계, 관리
• 데이터 기술적 관리, 처리
• 서버, NW, 스토리지 기술지원
• 관련 소프트웨어 기술지원
• 제품별 유지보수
Solutions
11
Big Data 수행을 위한 technology
기업의 Value Chain 에서 생성되는 모든 데이터의 저장
소셜
데이터
Aster
Mobile
데이터
Crawler
Extract
시스템
데이터
ETL
CEP
Analytics
GemFire
Staging
8
Analytic
Mart
EDW
GP
Loader
GPHDFS
protocol
GP
Loader
Greenplum &
Hadoop
Interface
Enterprise
DW
예측 모델
Adatper
HAWQ
Staging
4
© Copyright 2015 EMC Corporation. All rights reserved.
Big Data 시각화,
모바일
GPFDIST
protocol
Hadoop
SQLFire
Visual
Analytics
HighPerformance
Analytics
In-DB Scoring
Load
분석 UI
Cloud Architecture
Greenplum DB
Flume
SmartTV
데이터
생산설비
데이터
Data Ingestion & ETL
SpringXD
Analytic on Demand
Big Data Lake
데이터 수집
데이터 원천
DB SandBox
전처리
Hadoop In-DB
Scoring
결과
GPHDFS
protocol
Hadoop
SandBox
12
Big Data 프로젝트 수행 단계
Master Plan
수립
Pilot 수행
전문가 양성
Implementation
© Copyright 2015 EMC Corporation. All rights reserved.
“점진적 추진” : 과제 우선 순위 – 선택과 집중
“시작이 반” : 신속한 추진 전략과 Roadmap
“백문이 불여일견” : Pilot을 통해 실제 체험
“강력한 Sponsorship 확보” : C 레벨의 의지
“소수 정예” : 전문가를 양성하고 전담 조직 구성
“역량 내재화” : 외부 전문업체를 활용하여 기술내재화
“전사 프로젝트” : 최고 효율과 최대 성과를 획득
“뛰어난 Partnership” : 성공확률 극대화
13
Best partner for big data
Solution과 경험을 보유한 Big Data 프로젝트의 최고의 파트너는 EMC
Big Data 위한 최적의 플랫폼
Big Data 전용 솔루션
Big Data를 위한 맞춤형 서비스
1. 적합한 주제/목표
2. 분석 데이터의
식별
Data
Scientist
Big Data Planning
교육
3. 역량향상을 위한 데이터 분석가 양성
Big Data 분석
4. 적합한 과제와 분석
모델 적용
DB/HD
대용량
HDFS
Big Data Architecting
5. 최적의 솔루션 구축
백업
Big Data Implementation
BigData를 구현하기 위한
Converged Infra, Storage, Virtualization
© Copyright 2015 EMC Corporation. All rights reserved.
6. 안정적인 운영/확산
Big Data를 효과적으로 저장, 관리, 분석 위한
최적의 제품 및 솔루션
Big Data 구축
관리 자동화
Big Data를 통한 비즈니스 가치 창출을 위한
최적의 프로페셔널 서비스 제공
14