Software Defined Storageの真実 ~ 検証結果からScaleIOは使えるのか？その答えに迫ります！ ~ ネットワンシステムズビジネス推進本部 第二応用技術部PFチーム

Software Defined Storageの真実
~ 検証結果からScaleIOは使えるのか？その答えに迫ります！ ~
ネットワンシステムズビジネス推進本部
第二応用技術部PFチーム
神保 敏幸
要約
EMCのSDS製品であるScaleIOについて設計・導入・拡張・運用さまざま
目線での検証結果について解説致します。
OpenStackとの親和性や類似製品であるCephとの比較など製品単体で
はなく、実際どのように利用できるのか？といった疑問にお答えできる内容と
なっております。
OpenStackをご検討中のお客様はもちろん、ScaleIOってどんなストレージ？
というお客様必見のセッションです！
2
Agenda
 SoftwareDefinedStorage の
トレンドと定義
 OpenStack と ScaleIO の 関 係
の理解
 ScaleIO vs Ceph比較




各製品機能のおさらい
機能観点
運用観点
OpenStackとの連携(親和性)
 パフォーマンス試験結果
 テスト環境（サーバ・ストレージ・
ネットワーク）
 ハイパーコンバージド構成におけ
る性能測定 ScaleIO
 2tier 構 成 に お け る 性 能 測 定
ScaleIO vs Ceph
 検証結果まとめ
まとめと設計に関する考察
3
SoftwareDefinedStorageの定義
SOFTWARE-DEFINED STORAGE
• 特定ベンダハードウェアに依存しない
• コモディティサーバで稼働させることが可能
4
OpenStackとは
•
2010年にNASAとRackspaceで開始
•
非常に拡張性の高いパブリックおよび、プライベート クラウドを
構築する為のオープン ソース ソフトウェアです
•
「自社データセンター内の Amazon に相当します」
5
OpenStackのおさらい
• リリース名は、アルファベット順でOpenStack Summitが
開催される場所の周囲の都市 or 通りの名前であること。
https://wiki.openstack.org/wiki/Release_Naming/M_Proposals
Libertyの次リリース名：Meiji（来年春リリース）
• 6か月ごとにリリース
– 4/5月リリース or 10/11月リリース
• バージョン形式は”西暦.リリース番号”
Juno : 2014.2
• サポートリリースは2/3か月ごと
Juno : 2014.2.1
https://wiki.openstack.org/wiki/Releases
6
リリースバージョン
Juno – April 2014
Icehouse– April 2014
Havana – October 2013
Grizzly– April 2013
Liberty
– October 2015
Folsom –Sept 2012
2011
2012
2013
2015
2014
Essex– April 2012
Diablo – September 2011
Catus – April 2011
Kilo – April 2015
Bexar– Feb
2011
Austin – Oct 2010
7
オープンスタックのコンポーネント
8
Red Hat Enterprise LinuxOpenStack Platform
•Red Hat Enterprise Linuxでの稼働を実施するOpenStack
Platformがディストリビューション
•デプロイの簡素化の方法として、PackstackやForemanが提供さ
れている。日本語サポート、Linuxも含めた幅広いサポートが特徴
9
BlockStorageのCinder連携
• 複雑化するストレージの要件
– テナントにより異なる SLA や機能、性能、コスト要求
– OpenStack 変化のスピードへの追従
• Cinderが提供する機能
– Cinderは仮想・物理のインスタンスに対して、ブロックストレージ機能を提供する。Cinderでは作成されるスト
レージ領域を「ボリューム」と呼び、その作成・削除・添付・スナップショット作成が可能だ。ボリュームを作成する
際に、ボリュームソースとしてイメージを選択すると、イメージサービス「Glance」からイメージが転送されて、ボ
リューム内に保存される。Glanceから提供されるイメージがOS起動イメージである場合、そのボリュームからイン
スタンスが起動可能となる。
• Cinder連携とカタログ化
– Cinderでは、管理者がストレージをカタログ化することで、利用者はボリューム作成時にカタログからストレージ
の種別を選択できる。このストレージカタログの作成では、RAIDの種別、SSDの利用有無、サードパーティのス
トレージなどの要件を自由に加味できる。
– Cinderは標準でLVM(Logical Volume Manager)上の領域を利用するが、EMCやNetAppといった大
手ストレージベンダーが提供しているCinder用のドライバを利用することにより、サードパーティのストレージ製品
との連携が可能となる。これによって、スナップショット作成などの各種作業をストレージシステム側にオフロードで
きる
– EMC ScaleIOもCinder用ドライバーを提供
10
ScaleIOのおさらい
•ソフトウェアベースのストレージ
– 拡張規模は1000台以上
•サーバの内蔵ディスクを共有ストレージ化
•主要OS・ハイパーバイザにインストール可能
– Redhat,Suse,Centos,Xentserver,Windows
– VMware,KVM,Citrix XenServer,Hyper-v
•OpenStackのブロックストレージとして使用可能
– Cinder Driverを提供可能
•アプライアンス製品の発表
– サーバーを組み合わせた検証済み構成の「ScaleIO Node」
11
ScaleIOの基本機能
• ストレージ容量と性能のプール化
Flash | SSD | HDD | RAID Cache | RAM
Bare Metal | KVM | VMware | Hyper-V
Servers
100 IOPS
1 TB
100 IOPS
1TB
100 IOPS
1TB
100 IOPS
1TB
100 IOPS
1TB
100 IOPS
1TB
100 IOPS
1TB
100 IOPS
1TB
100 IOPS
1TB
100 IOPS
1TB
Network
1,000 IOPS
Storage
Converged
Architecture
10TB’s
12
Cephおさらい
• RADOS – 核となるオブジェクト
ストレージ基盤
– 高信頼性、自己修復、分散型をテーマとし
た論文の理論を実装し、その後、起業
OSD – データの読み書きを担う、自身や
他OSDの状態監視
– Monitor – Ceph クラスター階層マップを
管理
● LIBRADOS
RADOS機能に直接アクセスするライブラリ
● RBD
RADOSをブロックストレージとして見せる
● RGW
S3, Swift等Ceph ネイティブ「でない」
API 用のゲートウェイ
13
Cephの構成上の制限
•最新版は1.3
•最低3物理ノード必要
– Mgmtx1/Monx3/OSDx3(Mgmt/MonはOSPノード同居可能)
•ボリューム容量のサブスクリプションライセンス
– 2015/9/1～提供開始
•RAID Controllerは非推奨
– 使用する場合はRAID0でストライピングでの構成がRedhat推奨
14
機能観点での比較軸
APP 1
APP 2
APP 3
フォールトトレランス
ラックレベル
高可用性
保護
書き込み可能
スナップショット
効率性
弾力性
シン
プロビジョニング
自動
リバランス
マルチテナンシー
IOPS and QoS
Controls
インターオペラビリティ
パフォーマンス
セキュリティ
モニタリング
運用管理性
Openstack Cinder
Restful API
Flash Cache
データマスキング
MDM & SDC
SNMP &
Call Home
GUI
15
フォールトトレランス
比較項目
EMC
Scale IO(1.32)
RedHat
Ceph Storage(1.3)
2面ミラー
3面ミラー
実効容量
物理容量の1/2
(障害用のスペア領域を除く)
物理容量の1/3
(障害用のスペア領域を除く)
ラックレベル
高可用性
○
○
データ複製数
（デフォルト）
特記事項
16
効率性
比較項目
シンプロビジョニング
EMC
Scale IO(1.32)
RedHat
Ceph Storage(1.3)
○
○
• ボリューム単位に適用
• デフォルトはThick
• Thin指定により適用可能
実際に消費している
ディスク容量
特記事項
サーバが認識する
ディスク容量
17
保護
比較項目
EMC
Scale IO(1.32)
RedHat
Ceph Storage(1.3)
○
○
書込み可能スナップ
ショット
特記事項
・アタッチして読み書き可能
Volume
1
Snapshot
1
ボリュームから
スナップショット作成
Volume
1’
スナップショットから
ボリューム作成
18
弾力性
比較項目
自動リバランス
EMC
Scale IO(1.32)
RedHat
Ceph Storage(1.3)
特記事項
○
追加した/dev/sdxを追加すると
自動でVolumeのチャンクが自動
で再配置される
○
OSD Prepare後、
OSD Activateで追加後に
reweightすれば
再配置される
Cephの場合
手動で再配
置設定が必
要
19
マルチテナンシー
比較項目
IOPS and QoS
Controls
Bronze
Volume
Silver
Volume
50
IOPS
1000
IOPS
EMC
Scale IO(1.32)
RedHat
Ceph Storage(1.3)
○
EMCではストレージの種別や、
QoS、シンプロビジョニングの有無
等のEMC特有の情報をカタログの
一部とする事ができます。
×
Gold
Volume
制限なし
特記事項
非対応
Extra Specs
説明
sio:pd_name
プロテクションドメインを指定します。デフォルト設定を上書きします。
sio:sp_name
ストレージプールを指定します。デフォルト設定を上書きします。
sio:iops_limit
ボリュームのIOPS制限を指定します。制限をかける場合には、IOPSの数値は10以上で設定
する必要が有ります。数値を0に設定すると、制限がかかりません。
sio:bandwidth_limit
ボリュームの帯域制限(KB/sec)を指定します。数値を0に設定すると、制限がかかりません。
sio:provisioning
シンプロビジョニング機能を使用したい場合に”thin”を指定します。指定しない場合にはデフォ
ルトのシックプロビジョニングが行われます。
20
オープンスタック連携
OpenStack操作
ストレージ側
連携機能項目
EMC
Scale
IO(1.32)
RedHat
Ceph Storage(1.3)
スナップショットの作成・削除
書込み可能スナップ
ショット連携
○
○
スナップショットからのボリューム
の作成
書込み可能スナップ
ショット連携
○
○
ボリュームの接続・切断
－
○
○
ボリュームの追加・削除・拡張
シンプロビジョニング
連携
○
○
IOPS and QoS
Controls連携
○
×
イメージからのボリュームの作成
－
○
○
ボリュームからのイメージの作成
－
○
○
特記事項
•ScaleIOはボリューム単位でストレージQoS(IOPSやMB/s)を実施できる
21
運用管理性
比較項目
EMC
Scale IO(1.32)
RedHat
Ceph Storage(1.3)
GUI管理画面
での初期構成・追加構成
プール作成
プールへのデバイス(/dev/sdx)の追加可能
Volume作成のみCLI
プールの作成のみ可能
プールへのデバイス(/dev/sdx)の追加と
Volume作成はCLI
容量の拡張
○
GUI or CLIで提供
追加するストレージメディアに特段の意識不要
△
CLIのみで提供
ジャーナルの意識が必要（5HDDあたり1SSD)
性能の拡張
○
GUI or CLIで提供
追加するストレージメディアに特段の意識不要
△
CLIのみで提供
ジャーナルの意識が必要（5HDDあたり1SSD)
導入容易性
○
GUIやコマンドによる入力の必要を最小限に抑えら
れており、インストールは簡単
×
コマンドや導入の手順が複雑でイントールに高度な
設計、知識を要する
運用容易性
○
サーバ管理者による運用。システムによる性能管理、
バランシングが自律的に稼働し、性能管理、障害
時の対応が容易
△
トレーニングを受けた専任技術者による維持・運用
が不可欠
運用コスト
○運用容易であり、少ない人数で1000台までに
拡張するスケールサーバを管理しやすい
△
専任技術者による維持・運用が必要で
運用管理ツールでの自動化など
導入事例
○100台規模の導入事例あり
○10PBでの稼働実績、比較的多くの導入実績あ
り
特記事項
22
パフォーマンス
比較項目
キャッシュ機構
EMC
Scale IO(1.32)
○
DRAM read cache per
volume and increased
number of volumes per SDC.
メタ情報
メモリ上に保持（8PBのボリューム
領域に関する情報に対して、SDC
では約2MBのメモリが必要
RedHat
Ceph Storage(1.3)
特記事項
○
Flash Pool ティアリング
SSDを構成し、メタ情報
(Journal領域)を配置する
23
検証結果
24
© NetOneSystems Co., Ltd. All rights reserved.
検証項目
•ハイパーコンバージド構成における性能測定
– ScaleIO
•2tier構成における性能測定
– ScaleIO vs Ceph
•検証結果まとめ
25
ハードウェア構成
10GbE
Fabric Interconnect 6248
UCS B22M3
①
UCS B22M3
②
UCS C240M3
①
UCS C240M3
②
UCS C240M3
③
UCS C240M3
④
UCS Bシリーズ
26
ハードウェアスペック
モデル
Cisco UCS B22M3
CPU
メモリ
Intel XeonE5 2470 (2.30GHz 8core TH) 192GB
x2
モデル
CPU
Cisco UCS C240M3
Intel XeonE5 2680V2 (2.80GHz 10core TH)
x2
メモリ
ディスクドライブ
ー
ディスクドライブ
・300GB SAS 15K RPM 2.5 inch x 8
64GB ・200GB SSD x 6 (eMLC)
27
C240 M3 RAID構成とLocal Storage
R1
R0
R0
R0
R0
R0
R0
R0
R0
R0
R0
R0
R0
・・・HDD（OS領域）
・・・HDD（ソフトウェアストレージ用）
・・・SSD（ソフトウェアストレージ用）
R0
R1 ・・・RAID 1
R0 ・・・RAID 0
Type
スペック
SSD
200GB SSD(eMLC)
HDD
300GB SAS 15K RPM 2.5 inch
28
ソフトウェアバージョン
#
ソフトウェア
バージョン
1
RHEL OSP6
OpenStack
2
EMC Scale IO
1.34
3
RedHat
RHEL 7.1
4
Flexible IO
tester(FIO)
2.2.9
5
Ceph
1.3
備考
Red Hat Enterprise Linux Server 7.1
Kernel 3.10.0-229.14.1.el7.x86_64
29
ハイパーコンバージド構成における性能測定
クライアントとストレージが同一サーバにおける構成の性能測定を実施します。
尚、RedHat Cephは本構成は推奨されておりませんので、EMC Scale IOのみの測定を行います。
S
C
S
C
S
C
S
C
S
C
S
C
ETH/IB
S
C
S
C
S
C
S
C
S
C
S
C
30
EMC Scale IO検証 論理構成図
OpenStack Controller Node
10GbE ネットワーク
UCS B22M3①
OpenStack Cinder
Volume Manager
Scale IO Cinder Driver
Fabric Interconnect6248
UCS C240M3①
UCS C240M3②
UCS C240M3③
UCS C240M3④
Instance
Instance
Instance
Instance
OpenStack Nova
Scale IO Nova Driver
Scale IO
SDC
Scale IO
SDS
Scale IO
Tie Breaker
OpenStack Nova
OpenStack Nova
OpenStack Nova
Scale IO Nova Driver
Scale IO Nova Driver
Scale IO Nova Driver
Scale IO
SDC
Scale IO
SDS
Scale IO
MDM
Primary
Scale IO
SDC
Scale IO
SDS
Scale IO
MDM
Secondary
Scale IO
SDC
Scale IO
SDS
Scale IO
REST
Gateway
OpenStack Compute Nodes & Storage Nodes
31
EMC Scale IO ストレージ構成イメージ図 （SSD）
Instance
RedHat
(KVM)
RHEL
RHEL
RHEL
RHEL
(benchmark tool) (benchmark tool) (benchmark tool) (benchmark tool)
Volume
320GB
320GB
320GB
320GB
SSD Pool
（4.3TB）
Pool
Disk
RHEL
RHEL
RHEL
RHEL
Node1:
SSD
SSD
SSD
SSD
SSD
SSD
Node2:
SSD
SSD
SSD
SSD
SSD
SSD
Node3:
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
SSD
Node4:
32
EMC Scale IO ストレージ構成イメージ図 （HDD）
Instance
RedHat
(KVM)
RHEL
RHEL
RHEL
RHEL
(benchmark tool) (benchmark tool) (benchmark tool) (benchmark tool)
Volume
480GB
480GB
480GB
480GB
HDD Pool
（6.5TB）
Pool
Disk
RHEL
RHEL
RHEL
RHEL
Node1:
HDD
HDD
HDD
HDD
HDD
HDD
Node2:
HDD
HDD
HDD
HDD
HDD
HDD
Node3:
HDD
HDD
HDD
HDD
HDD
HDD
Node4:
HDD
HDD
HDD
HDD
HDD
HDD
33
ストレージノード分離構成における性能測定
クライアントとストレージが異なるサーバにおける構成の性能測定を実施します。
EMC Scale IOとRedHat Cephの両方の性能測定を実施し比較を行います。
RedHat CephでAll SSD構成は推奨されておりませんので、HDDでの測定を行います。
C
C
C
C
C
C
ETH/IB
S
S
S
S
S
S
34
EMC Scale IO検証 論理構成図
OpenStack Controller Node
UCS B22M3①
10GbE ネットワーク
OpenStack Cinder
Volume Manager
Scale IO Cinder Driver
OpenStack Compute Node
UCS C240M3
①
Instance
Instance
Instance
OpenStack Nova
Storage Nodes
UCS C240M3
②
Scale IO
SDS
Fabric Interconnect
6248
SDC
Scale IO
Tie Breaker
MDM
Primary
UCS C240M3
③
Scale IO
SDS
Scale IO Nova Driver
Scale IO
Scale IO
Scale IO
MDM
Secondary
UCS C240M④
Scale IO
SDS
Scale IO
REST
Gateway
35
EMC Scale IO ストレージ構成イメージ図 （HDD）
Instance
RHEL
RHEL
RHEL
(benchmark tool) (benchmark tool) (benchmark tool)
RedHat
(KVM)
RHEL
Volume
430GB
430GB
HDD Pool
（4.9TB）
Pool
Disk
430GB
Storage Node1:
HDD
HDD
HDD
HDD
HDD
HDD
Storage Node2:
HDD
HDD
HDD
HDD
HDD
HDD
Storage Node3:
HDD
HDD
HDD
HDD
HDD
HDD
36
RedHat Ceph検証 論理構成図
OpenStack Controller Node
Storage Management Node
UCS B22M3①
UCS B22M3②
OpenStack Cinder
Ceph
admin
Volume Manager
RBD Cinder Driver
OpenStack Compute Node
UCS C240M3
①
Instance
Instance
Instance
OpenStack Nova
Ceph
Calamari
10GbE ネットワーク
Storage Nodes
UCS C240M3
②
Ceph
OSD
Fabric Interconnect
6248
Scale IO
MON
UCS C240M3
③
Ceph
OSD
Ceph
MON
LibvirtNetVolumeDriver
UCS C240M④
Ceph
OSD
Ceph
MON
37
RedHat Cephストレージ構成イメージ図（SSD Cache + HDD）
RHEL
RHEL
RHEL
(benchmark tool) (benchmark tool) (benchmark tool)
Instance
RedHat
(KVM)
RHEL
Device
430GB
Pool
Disk
430GB
430GB
HDD Pool
（4.9TB）
Journal
Storage Node1:
SSD
HDD
HDD
HDD
HDD
HDD
HDD
Storage Node2:
SSD
HDD
HDD
HDD
HDD
HDD
HDD
Storage Node3:
SSD
HDD
HDD
HDD
HDD
HDD
HDD
38
設計時に考慮すべきこと
• スモールスタートかつPOCからはじめたい。
–
–
–
–
最低７台(Ceph) vs 最低３台(ScaleIO)ただし、
RHEL-OSPと組み合わせる場合に追加で必要なサーバ数はCephが3台、ScaleIO３台
CLI中心(Ceph) vs 導入支援容易性に優れたGUI(ScaleIO)
内蔵ストレージの空き領域を共有ストレージ領域に組み込みリソース活用も視野に！
• ハイパーコンバージド設計を考慮
– Ceph構成ノードはOpenStack NOVAと同居構成を非サポート
– ScaleIO構成ノードは同居構成をサポート
– サーバ(NOVA)の追加に伴ってストレージ容量と性能のリニアなスケールアウトが可能
• スナップショット機能の使いところを理解
– Scale IO /Cephのスナップショットは書き込み可能とうたっている
– Snapshot取得後の性能劣化を防ぐ、設計、運用にする
– スナップショットからボリュームを作成機能は有用だが、その後スナップショットは削除するような運用が望まし
い
– または、データ更新(書込み)が必要ない静的コンテンツ用途としてなら使用に限定する
39
ご清聴ありがとうございました
40