何故、データからの洞察発見がうまくいかないのか？それを理解するための重要なポイント
はじめに
現在の企業において「データドリブン」「データ利活用」「デジタルマーケティング」といった言葉が使われ、データの有効活用を標榜している企業は非常に多くなってきています。これは企業規模に関係なく、中小企業であったとしてもSNSやECを活用して多くの消費者にリーチするなど期待値が大きく高まっているからとも言えます。
データ活用自体はかなり過去から一貫して対応方法が語られていながら、現在も解決できていない課題でもあります。データの構造理解、実務への応用、組織・体制の問題、スキルやコストなど様々な問題が絡み合っています。
今回はこの中でも「データから知見を得る」という事にフォーカスをして、Data as a Product（PaaD）、Data as a Service(DaaS)という観点と拡張分析による新たなデータ活用を紹介したいと思います。
この記事では「BIを導入したけど、良いアイディアが全然出てこない」といった課題に直面している担当者にとって良いヒントになれば幸いです。
データ活用の簡単な歴史
企業のデータ活用の歴史は、基幹系データによる帳票作成、RDBMSと連携したOLAP、データマート、BI、、、といった方法が中心でした。それらは「社内のデータを簡単に、見たいようにすぐ見れる仕組み」となっています。根本的には過去のデータを蓄積して、好きな切り口で、「正しく」「クイックに」見れるようにしたいという事が最重要視されています。
もう一つ、別のアプローチとしては、データマイニングといった「今まで知らなかったルールを見つけたい」という要望に応えるため、新たなデータ活用の方法も発達してきました。しかしながら、この場合には一般ユーザーにとって大きな壁があり、なかなか企業内部への浸透が進まず、一部の企業・部門で利用される程度であり、内製化・自走化には大きな課題が残っています。
DaaPからDaaSへの変遷
近年は、SaaS、IaaS、PaaSといった形で、あらゆるものが「サービス」として提供されてきています。この中でもDaaS（Data as a Service）としてのデータ活用が非常に重要になってきています。もう一つの概念として、DaaP(Data as a Product)がありますが、今までのデータ活用ではこちらの考えの方が主流であったと思います。（Desktop as a Serviceではないです！）
DaaP(Data as a Product)は、その名の通り、データを商品（成果物）として提供するアプローチです。データを配布することが目的で、知見獲得はデータの受け手の役割です。これは「データというCSV」だけではなく、グラフやダッシュボードでも同様です。データをクロス集計表、グラフといった形式で、理解しやすく可視化された形で提供されます。またデータサイエンティストか予測結果をスコアとして渡すこともこちらに含まれています。これらは意思決定のためのデータは出すが、その使い方は任せるという形です。添えを算出する過程の難易度ではなく、そのあとの使われ方です。
しかしながら現在の企業で求められているのは “DaaS” であり、データから洞察を獲得できるように、AI、機械学習、アナリティクス、データモデルが データとともに”サービス” として提供され、それを業務に戦略的に活用できる事が重要となってきています。単なるデータの成果物の提供だけではなく、DaaSという仕組みから、意思決定に影響を与えるような知見を得て、「データドリブンでの意思決定」が企業を良い方向に導く全体的なサービスが大事になります。
企業におけるデータ活用の混乱
現在の「データの可視化」「データからの洞察の発見」が区別できず、ツール選定、企画、計画、実装が期待通りに行かない場合が多くなっています。
Google AnalyticsやTableauで過去データを可視化して状況を把握することと、PythonやDataRobotで予測をすることは異なります。可視化によって現状を理解することと、AIや機械学習を利用して複雑なデータから、項目同士の関係性が提示されることはプロセスや活用方法が違います。
さらにこの結果から洞察を得るという事はさらに異なります。人が価値あるルールとして認識することが重要です。この「人が価値あるルールとして認識する」というプロセスを機械やデータで自動でできるのではないか？という淡い期待が「AIが何でも決めてくれる」という誤解につながり、期待値とのギャップで大きく、事態を複雑にしています。
洞察は人の意志で見つけるもので、データを眺めていると見えてくるものでもないという事です。また「見ること」と「見つけること」が混在していることも課題として挙げられます。
- 様々なグラフ・集計表から洞察を得たい
- AIや機械学習から洞察を得たい
「1.」は、洞察を得たいと考えていても、「グラフ」「集計表」とした時点で、ユーザーが見たい角度に限定しており、あくまでも過去の結果の確認です。組み合わせも２～３つの条件の組み合わせが中心です。結局、この「1.」はわかりやすく、受け入れやすいですが、発見できる洞察は限られたものになるか、膨大な手作業が多くなります。
「2.」は洞察を得るためには、整理されたデータが必要であり、統計、機械学習の知識が必要になり、この壁が高くなり、あきらめて「1.」に戻ることがあります。使いこなせれば数百項目の中から「売上」「レスポンス」「解約」に関しての重要な知見を得ることが可能となり、「1.」とは比較にならないほどの分析量をこなすことが可能となります。
ここで大きな問題は、単に難易度やツールの機能差ではなく、そもそも目的と手段の選択が間違えているという事です。ここは正しい目的に応じた、正しい手法・ツールの活用が必要になります。どんなに高度な機械学習システムも、単純なダッシュボード、グラフの作成すら簡単にはできません。
そして洞察はAI・機械学習から提示された結果から、人が考えて獲得する必要があるという事です。スコアやレコメンドなどを活用した意思決定は自動化できますが、「洞察の獲得」の主体はやはり人間であるという事です。よって最後は担当者が主体的にAIやBIから受け取った情報から洞察を作り出す必要があります。
このことから見ると、単なるデータの取得とグラフの提示といったデータの納品・取得というDaaPの仕組みから、ルールの発見、意思決定、戦略的な活用でDaaSまで昇華をして、最後の洞察をスムーズに作り出し獲得するための仕組みが必要になってきます。
DaaPとDaaSの隙間を埋める「拡張分析＆探索型データ解析」
データ活用というフェーズで「業務レポート」が必要であれば、BIや帳票ツールで正しいアウトプットを得るための厳密な設計とシステム開発が必要です。ビッグデータ、Python、機械学習による予測分析モデルやパーソナライズは数名のデータサイエンティストが対応することになると思います。
しかしながら世の中の多くの意思決定は、社内で取得できる身近なデータから下していく必要があります。従業員・社員が高度な統計的な知見が無くても、日々の意思決定にAIの力を利用でき、「１円の誤差も許さない」というよりは、顧客や売上の傾向のパターンや変化を理解することだと思います。
例えば、「人材配置をどうするべきか？」「経費が多いときはどういう条件か？」「キャンペーンに反応する人の共通要因はないか？」「NPSで点数が低い人の共通要因は何か」といった、日々の意思決定が多くの業務担当者にとって身近な問題がそれにあたるでしょう。そしてそのようなものはデータサイエンティストのリソースを使うには、雑多でスキルセットが異なるかもしれません。
そのような場合、CDP、MA、NPSなどのSaaSシステムから、一般的な従業員・社員がデータをダウンロードし、ExcelやMS-Accessでデータ加工した結果を使って意思決定をすることが企業内では大半になると思います。一般の従業員がRedShiftとSQLでデータ加工を自由自在にするのは、まだまだ稀なケースではないでしょうか。
そしてデータ分析では、チャート、クロス集計では機能としては足りませんが、ビッグデータを活用したPythonやRだとハードルが高いくなります。その解決策として提示しているのが、多くのユーザーで活用できる「拡張分析・探索型データ解析」のソリューションとなります。
これらのソリューションはブラウザ上で動くという気軽さ、多くの人数で利用できるというコストメリット、対話的な散布図・ヒストグラムを活用してデータ探索・深堀が行え、また機械学習が裏で自動的に実行され、データに潜むルールを発見してユーザーにルールを提示し、より良い洞察獲得を強力に支援をします。
BrainPadが提供する、VizTactはこのようなコンセプトをベースに、多くの企業なの一般ユーザーにAIを活用した意思決定のパワーを提供しています。
今後の展望とポイント
今回の内容で重要なポイントは以下の3つとなります。
- 「データを得る」という、DaaP的な形のアウトプットはどちらかと言うと、今までの知見・見たい形式での獲得であるため、理解しやすいが、得られる”新たな”知見は限られています。また意思決定のためのデータを得ることはできますが、洞察を得るような仕組みは別に必要となります。
- 「データから洞察を得る」という、DaaS的なアウトプットは、データに内在する人が見つけられない複雑なルールをAIや機械学習を活用して様々なルールを発見し、施策・戦略にまで結び付ける過程を支援する仕組みがサービスとして提供される。
- 「データとAIをビジネスに活用する」というのは、データ・ツールから得られた結果・ヒントを元に、分析者が強い意図と意志で「これはビジネスに使えるに違いない」という洞察を獲得し、意思決定を下すことである。データやツールが洞察を勝手に提示して、そちらに責任を転嫁できないという事を理解する。
上記のようなことをデータ分析の企画、システム導入をする場合には、理解しておく必要があると思います。レコメンドエンジン、接客ツール、MAなどその他のソリューションを導入する際にも成功のキーとなる考え方です。なぜならデータ分析で得られたより良い洞察が競合他社に差をつけるための施策案、パーソナライズ、ターゲティングにつながるからです。「アルゴリズム」「機能」は洞察を強化するためのもので、それだけで成果は決まらないと考えています。
BrainPad VizTactは、そのような強力な洞察獲得と意思決定を自走化・支援するソリューションを目指しています。ご興味があれば、是非、無料トライアルのお問い合わせや、YouTubeチャンネルを見てください！
