data tech 2017 に行ってきました －HTAPめも－

data tech 2017のメモその２です。

今回はHTAPについてのパネルディスカッションのメモです。

ソリューション講演
DB Online公開収録
HTAPを知ってるかい？－DBは分けるべきか、統合するべきか？

DB Online チーフキュレーター　谷川耕一さん
日本アイ・ビー・エム　野間愛一郎さん
日本アイ・ビー・エム　苧阪浩輔さん
ミックさん

●HTAPとは？

• OLTPとDWHのハイブリッド。
• データを移す手間を省くことで意思決定のスピードを早める手段となりうる。ビジネスアジリティを高めることができる。
• ただし、現状はリソースとAPの制限がある。
• 例えば同じシステムをグローバルで使う場合、USは朝でオンライン処理をしているけど、日本は夜でバッチ処理をしているようなシステムではリソースを食い合う問題がある。
• ミックさんは「古くて新しい危険思想」だと感じたそう。

私はHTAPという言葉を知らなかったので、とりあえずWikipedia。

Hybrid transactional/analytical processing (HTAP) - Wikipedia

OLTPとDWHのハイブリッドと書きましたが、OLTPとDWHの壁を取り払う＝データを蓄積するところ（OLTP)とデータを分析するところ（DWH）の間でデータの移動をなくす、と考えるとわかりやすいです。

SQL Server でいうと、Operational Analytics にあたるものなのかなと思いました。

channel9.msdn.com

●なんでうまくいかないの？

野間さん：

• RDBはshared nothingの形がとれない。この形でDBがスケールアウトできればうまくいくんだけど。
• IBMのお客様で10～20TBのデータを回している会社は、きちんとパーティションを切って（40個くらい）ノード間で競合しないデザインになっている。

ミックさん：

• リソースの問題がクリアできても、そもそもデータがうまく分散するような形（分析できる形）になっていないケースが多い。
• HTAPは目指すべき方向としては良いが、本当にやろうとしたらここから手をいれなければならない。

●HTAPはSAPがチャレンジしてるよね、Oracle もin-memoryがんばってるけど、IBMのHTAPはどんなもの？

苧阪さん：

• 「まだできていないので、おかえりいただかなくて大丈夫です！笑」（ 前のセッションで神林さんが「できてるとか言ってたら帰っていいですよ」と言ったからｗ）
• BLU表という表（インメモリ/カラムストア）１つでOLTPもDWHもやることで速くする。
• 他社さんのものは、インスタンスは1つだけど、実はインメモリの表と実表の２つを使っていてリソースを2倍使っているものが多い。
• これには特別なハードは必要なく、SWで実現する。
• Dynamic in memory → すべてをキャッシュに乗せるわけではない。

www-03.ibm.com

●ミックさんからIBMさんへ質問

質問：今までは読み込みの速度を上げる努力はたくさんしてきたと思う（indexだったりin-memoryだったりレプリケーションだったり）。でも最近は更新がスケールしなくて困ることが多い。このあたりは何か考えているか？

今までやってきた努力としては、ログの書き込みバイト数を減らしたり、
shared nothingだと書き込みを分散させるなど。
HTAPは、カラムストアだけど（カラムストアは書き込みが遅いというデメリットがある）これを行ストアと同じ速度くらいまでもっていこうとしている。

●ミックさんから情シス、ユーザ部門の皆さんへメッセージ

先も話したが、HTAPはデータが分散する形、分析する形になっていないと意味をなさない概念。これができるのはSIerではなくて皆さんです。私たちが支援することは可能だけど、皆さんの尽力なくしては成り立たない。頑張ってほしい。

私の思うこと

これからのRDBは設計の形を変えて、もっと面白くなりそう！

ただ、ミックさんの言う通り、テーブルのデザインの仕方は従来のセオリーが使えなくなるのかもしれません。（今だって従来のセオリーすらちゃんと使えていないテーブルがわんさかあるしね～）

テーブルの形が変われば、移行のときどうやってデータを入れる？という問題が出てくる。単純にハードが速くなってBulk Insertがめっちゃ速くなっただけじゃ解決できない。そしてもちろんAPも変えなきゃいけない。

書き出してみるとSIerが渋る理由しか出てこないけど、やってみたいですね、HTAP。実用化できるまでいくのが楽しみです。野間さんは「東京オリンピックくらいまでには、、」とおっしゃっていたので、期待です！

あと、神林さんが「かろうじて動いているのがSAP」とおっしゃっていたので、これ読んでみようかなぁ。 

SAP HANA入門―Powered by IBM Power Systems