富士フイルムにおける ビッグデータ分析・活用基盤構築事例 EMC FORUM 2015 平成２７年１０月１５日

EMC FORUM 2015
富士フイルムにおける
ビッグデータ分析・活用基盤構築事例
平成２７年１０月１５日
富士フイルムICTソリューションズ株式会社
システム事業部 IT企画部 兼 ITインフラ部 部長
柴田英樹
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
目次
1
会社概要
2
中期経営計画とグローバルIT戦略
3
テクノロジートレンドとＩＴ価値の変化
4
ビッグデータの活用の狙い
5
データ分析基盤の整備方針
6
データ分析基盤の目指す姿
7
データ分析基盤の整備ステップ
8
データ分析基盤の仕組み
9
データレーク基盤のシステム構成
10
まとめ
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
#2
1. 会社概要 ①
創
立
代表取締役会長・
ＣＥＯ
代表取締役社長・
ＣＯＯ
連結売上高
連結営業利益
連結従業員数
連結会社数
１９３４年 （昭和９年）
古森 重隆
中嶋 成博
(2014年度)２兆４,９２６億円
(2015年度予想)２兆５,８００億円
(2014年4月～2015年3月)
(2015年4月～2016年3月)
(2014年度)１,７２４億円
(2015年度予想)１,９００億円
７９,２３５人 （2015年3月末現在）
２７３社 （2015年3月末現在)
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
#3
1. 会社概要 ②組織・体制
事業会社
持株会社
シェアードサービス会社
１００％
関係会社
７５％
関係会社
６６％
関係会社
１００％
(2015年3月末現在)
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
#4
1. 会社概要 ②IT部門
社名
富士フイルムICTソリューションズ株式会社
設立
1998年7月(富士写真フイルムのIT部門が機能分社)
所在地
東京都港区(本社)、米国NewYork、ドイツDüsseldorf 、
中国上海、シンガポール
従業員数
約160名
役割
富士フイルムグループの情報戦略の策定・推進
－基幹業務に関わるアプリケーション･インフラ
－国内・海外の拠点を結ぶネットワーク
－情報システムの安全性や機密性を保持する
セキュリティマネジメント
事業内容
戦略
技術
情報
ｼｽﾃﾑ
ｿﾘｭｰｼｮﾝ
・ＩＴ戦略策定・推進、ＩＴガバナンス整備
・ システム構想・企画、構築・導入
・ システム保守・運用管理
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
#5
1. 会社概要 ③全事業
フォトイメージング
オフィスドキュメント
写真関連事業
関連事業
記録メディア
産業用途・
ライフサイエンス事業
フラットパネル
ディスプレイ材料
産業機材
電子材料
光学デバイス
デジカメ
医薬
ライフサイエンス
グラフィックシステム
メディカルシステム
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
#6
1. 会社概要 ④グローバル展開
アジア他
28.5％
2014年度
欧州
11.6
％
仕向地別
連結売上高
構成比
日本
41.2
％
米州
18.7
％
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
#7
２. 中期経営計画とグローバルIT戦略 ①
中期経営計画 VISION2016
（指数）２０００年総需を１００とした場合の指数
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
#8
３．テクノロジートレンドとＩＴ価値の変化①
■ＩＴ部門が直面する課題
環
境
変
化
の
圧
力
ドライビング・フォース：オープン化、スマート化、サービス化
テクノロジー：IoT、ビッグデータ、人工知能など
市場環境：グローバル化、不確実性増大、ビジネス・スピード加速
ITの価値は「工数の提供」から「ビジネス価値の提供」にシフト
ビジネス価値＝スピード・変革・差別化
ビジネス・ユーザーの期待に応えるためには
開発工数の削減
顧客資産の削減
スピードと変化への対応
どのような対策を取るべきか
 サブスクリプションや成果報酬
 社内特区やクラウドファースト
 外部との異文化交流
 「何でもできます」、「何でもやります」は、差別化にならない。
 グローバルに踏み出せなければ、成長のチャンスを失う。
 クラウド・ネイティブのノウハウなくして、チャレンジ･チャンスは生まれない。
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
#9
9
４．ビッグデータの活用の狙い
①
■なぜ、いまビッグデータなのか
頻度
モバイル
ソーシャル
クラウド
業務処理
ビッグ
データ
分析処理
データが増大し
ビッグデータになった
新たなニーズや適用領域
を生みだした
利用技術の進化
量
大規模処理アルゴリズム、人工知能、
小型センサ・プロセッサ、近接通信など
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 10
４．ビッグデータの活用の狙い
経営層の目的
ソーシャル・メディア
Webサイト
③
業務システム
IoT/センサー
 経営戦略や経営計画の立
案
全社の戦略に沿った部門別
の計画立案
 事業部門への指示と実行
 月次などで行う経営会議で
のモニタリングと問題点の分
析の指示
 問題点の分析と問題点を修
正するための意思決定と指
示
現場部門の目的
ー部門での業務実行
日々のモニタリング
ビックデータ
問題点の分析と上位部門へ
の報告や修正
DWH
非構造化データ
構造化データ
アナリティクス
BI
Analysis
Business Intelligence
リポーティング
OLAP分析
データマイニング
プランニング
問題の兆候を発見する
問題の要因を検証する
対処のヒントを得る
計画の根拠を得る
集計、推移、比較、内訳、順
位、関係、シグナル表示
多次元データベース、スライ
シング、ドリルダウン＆ドリ
ルアップ、ドリルスルー
クロス分析、相関分析、回帰
分析
モデリング、シミュレーショ
ン
 Webリポート（リポートを
Webページなどで多数のユー
ザーに公開）
 ダッシュボード（複数のリ
ポートを単一の画面で表示）
 大量の分析元データの処理
 最新の分析元データの共有
 大量の分析元データの処理
 より高度なマイニングアルゴ
リズムの利用
 多くの部署から収集された計
画データの統合
BI：Business Intelligence
BA：Business
Analytics
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 11
11
４．ビッグデータの活用の狙い
④
膨大なデータに内在する相互の関係や構造を分析・整理し
わかりやすく表現して、事実に基づく意思決定を支援すること
経験や勘ではなく､事実に基づいて、ビジネス上の判断をできるようにすること
営業戦略
売り上げの増大
マーケティング戦略
企業価値の向上
製造の効率化
コスト削減
製品開発
競争力強化
カスタマー・サポート
顧客満足の向上
企業経営の最適化
事業活動の最適化
EPM
Enterprise Performance Management
「何かが起こってから変わる企業」から「何かが起こる前に変わる企業」へ
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 12
５．データ分析基盤の整備方針
①
＋リアルタイム/データサイエンス
新ビジネスモデルの創出
・ビッグデータ活用以前の問題として、
既存DBシステムに様々な課題が
－ 性能の劣化
－ 高い導入コスト
BIを使って現在の
－ 維持・管理コスト増大
ビジネス状況を見る
－ チューニング
－ 拡張時のコスト
従来型
BI/DWH
新しいビジネスモデルの創出
• 迅速なビジネス展開
–
–
新たな売り上げ機会を創出
アジャイル開発とデータサイエンスの融合
＋将来予測分析
ビジネス最適化
因果関係把握/メカニズム検知
• 市場やビジネスの急激な変化対応
–
–
–
ビジネス監視
これらの課題を解決しながら、今後
のビジネス展開を見据えた拡張性を
担保できるデータ分析環境が必要
＋Hadoop環境
ビジネス洞察力
Big Data Enabled Apps
予測分析によって、ビジネスオペレーション
を最適化するプロセスに組込む
Agile Process & Tools
商材やビジネス・スキームが変化
新たなマーケットや販売手法の迅速な対応
分析や利活用により新たな経済的な価値が発生
情報収集/蓄積/探して活用
全体的な新しいビジネスモデルを創造
するために顧客の利用パターンと市場
のトレンドに影響力を持つ
Analytic Productivity Platform
未対応・対応可能な物事を予測分析で見つけ、
既存報告機会に組込む
• 加速するビッグデータ時代の対応
–
–
–
Volume（容量）
：技術革新に伴う処理量の増加
Variety（種類）
：音声/画像/センサー/ログ等の非構造データ
Velocity（頻度）
：データ生成/分析の高速化
音声
ファイル
画像
ファイル
映像
ファイル
Big Data
Infrastructure
Analytics Engines
ログ
Webコンテンツ
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 13
５．データ分析基盤の整備方針
②
■阻害要因の明確化：3つの力のどこが不足しているのか
• ビジネス上の問題とコンテキストを理解する能力
• ビジネス部門の利害関係者と共同作業を行う能力
ビジネス
•統計やマーケティング
に関する知識
•分析ツールやツールで
提供される関数の知識
•複数のデータ間の
関係性を発見し、
モデル化する能力
分析
データ
•最新のテクノロジを
適材適所で活用する能力
(インメモリ、Hadoop、
クラウド、etc)
•多様な分析ニーズに
応え得るデータ処理基盤
•分析に使用する
関連データセットを
構成する能力
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 14
６．データ分析基盤の目指す姿
BAaaS（Business Analytics as a Service）
ONE FUJIFILM BAaaS
定型分析
エンタープライズ・ビジネス・インテリジェンス
•定期的な定型レポート提供
•グローバル/リアルタイムでの個別サービス
予測分析
•一部セルフサービス化
新データ分析基盤
Data Lake
富士フイルム
ユーザー
カスタム分析
グローバル統合DWH
•レポート閲覧
•カスタムレポート
依頼
データロード
頻度に応じて
定型サービス化
Hadoop基盤
•ユーザー自身で
のアドホック分析
HDFS
意思決定・
ビジネスへの反映
BUクラウド
SNS
マシンデータ
モバイルデータ
アクセスログ
オンライン注文履歴
売上データ
顧客データ
ビジネス市場/顧客
Big Data
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 15
７．データ分析基盤の整備ステップ
3
1
SAP BWを分散RDB
（TeraData）に集約
SAP BWを集約
2
①
4
非構造化データ分析
ニーズの対応
ビジネス・ドメインにおける
分析環境を迅速に提供
検索とETL処理の
Hadoopへのオフロード
分散RDB＋Hadoop技術による
データレーク基盤の構築
Webログ/SNS
センサーデータ
✓ SAP基幹のグローバルDWH
✓ One FUJIFILMにおける
アクセスログ/テキスト
✓ 統一されたマスターDB化に
✓ 分散RDB環境のリソースを
画像/音声
集約
よる効率的なBI分析
データレーク基盤のベース構築
分析処理に集中
✓ 将来的な容量枯渇を解決
✓ 分析制限の緩和により、多種
多様な分析ニーズ対応
セキュリティ
✓ 共通のデータ蓄積基盤
✓ ビジネスの変化に伴う、迅速
な分析環境を提供
✓ 用途にあわせたBI/BAツール
と連携した分析
事業部固有のDWH
を取り込み
次世代データ分析基盤の拡張
ビジネス・ドメインを超えた分析
✓ 個別DWH（構造化デー
タ）の取り込み
✓ 様々なデータを連携させ分析
ビジネス・コラボレーション
✓ 顧客マスターの共有参照
5
ビジネス戦略に密接した
役割に進化
データサイエンティストから製品/
アプリケーション開発への融合
✓ 分析~仮説~検証~実装サ
イクルをアジャイルに実現
✓ データ収集の仕組みと戦略を
密結合
✓リアルタイム分析における
In-Memory技術の活用
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 16
８．データ分析基盤の仕組み
富士フイルムグループ
Teradata
ERP-1
ERP-2
高速分析
定型分析
データ蓄積
非定型分析
グローバル統合
DWH
データ
ロード
SAP BW
の集約
音声
画像
映像
ファイル ファイル ファイル
ログ
Webコンテンツ
主要分析以外の負荷と
容量をオフロードすることで
快適な分析を実現
定型
分析
非定型
分析
PivotalHD
1日4サイクルの
ETLローディング
ERP-3
レポート生成
Ｉ
Ｔ
部
門
Pig
MapReduce
HDFS
バッチ処理
ソート処理
非構造化データ
多種多様なデータ
集約
アドホック検索
全件検索
個別分析要件
蓄積基盤による
データ連携分析
クレンジング
コード変換
etc
：施策実現
の為の新しい
仕組み
個別データ分析
基盤の集約
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 17
９．データレーク基盤のシステム構成
②
Isilon
OneFS
MapReduce
分析
HDFS
Isilonによる
Hadoop環境
HDFS
結果
Hadoop用ストレージ
12 Data Servers
20TB * 4Nodes
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 18
１０．まとめ
■ドライビング・フォース、テクノロジー、市場変化の圧力の中で、IT部門は
スピード・変革・差別化＝ビジネス価値を提供する必要がある。
■モバイル・ソーシャル・クラウドによりデータが増大する一方、利用技術が進化し
新たなニーズや適用領域が生み出されたビッグデータの分析・活用時代となった。
データ分析力が競争優位の源泉になっている。
■経験や勘ではなく､事実に基づいて、ビジネス上の判断をできるようにすることで
「何かが起こる前に変わる企業」へ変革するデータ分析基盤が必要である。
■One FUJIFILMとしてBusiness Analytics as a Serviceを提供できるよう
データレーク基盤を整備した。
■既存の分散RDBの課題解決を図るとともに、非構造化データ分析ニーズへの
対応を進める。
■情報活用シーン・目的・用途に合わせた最適なBI/BAを組み合わせ、
ビジネス最適化、新ビジネス創出に貢献する基盤への拡張、成熟度アップを
推進する。
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 19
ご清聴ありがとうございました
Copyright (C) 2015 FUJIFILM ICT SOLUTIONS CO.,LTD All Rights Reserved.
# 20