アソシエーションルールを可視化。

Cloud DatalabにてCSPADEアルゴリズムの拡張モジュールであるpycspadeを用いて作成したアソシエーションルールを、BigQueryに書き出し、Tableauで可視化しながら系列パターンの分析を行います。

まずは前回の続きで、以下のコードを入力エリアに記述し、実行してみましょう。なお「to_gbq」関数の引数には、アソシエーションルールを格納したデータフレーム、書き込み先のテーブル名、GCPのプロジェクトIDを指定します。

なお、BigQueryへの書き出しがうまく行かない場合は、以下のコードでCSVファイルに書き出し、GCS（Google Cloud Storage）経由でBigQueryに取り込みます。

以下のように、BigQueryのデータセット「XM」の中に「sum_rules_spm」というテーブルが作成されていることを確認します。

続いて、テーブル「sum_rules_spm」をTableauに取り込んで分析します。Tableau Desktopであれば、スタート画面の［接続］にあるメニュー［Google BigQuery］から選択するだけでシームレスに連携できます。Tableau Publicであれば、GCS（Google Cloud Storage）経由でCSVファイルとしてエクスポートしてから取り込みます。

Tableauへの取り込みが完了したら、以下の手順でクロス集計表を作成し、アソシエーションルールを可視化します。

1. フィールドの「Sequence」を［行］、「Confidence」を［列］シェルフにそれぞれドラッグ＆ドロップ。
2. フィールドの「Confidence」を［マーク］カードの［色］にドラッグ＆ドロップ。
3. 右上に表示される「合計（Confidence）」カードの右上の▼のメニューで［色の編集…］を選択。
4. ［色の編集］モーダルで［ステップド カラー］チェックをオン、［詳細］ボタン押下で表示される［中央］チェックをオンに設定。
5. フィールドの「Confidence」「Support」「Lift」を順に［マーク］カードの［テキスト］にドラッグ＆ドロップ。
6. フィールドの「Confidence」「Support」「Lift」のそれぞれについて、ピルの右端の▼のメニューで［フィルタを表示］を選択。

系列パターンを分析する。

では、この表をもとに系列パターンを分析してみましょう。「アソシエーション分析入門 #01」でも触れたとおり、アソシエーションルールの指標の中でも、信頼度（Confidence）は、商品Xを購買した顧客が商品Yも購買する確率のことで、事象間の相関性を分析する基本指標となります。

一方で、前回に述べたとおり、リフトは1を下回ると負の影響力を意味するため、予め除外するのが通例ですが、pycspadeでは閾値設定ができないため1未満の系列パターンも含まれてしまっています。そこでリフトを1以上としてフィルタをかけます。右側の「合計（Lift）」フィルタの左側の最小値設定を1.0に変更すると、以下のように表示が切り替わります。ただし、初期ビューで見えている系列パターンはすべてリフトが1以上であるため、初期ビューの表示自体は変わりません。

信頼度の降順に見ていくと、まず最後に商品カテゴリIDが「9」すなわち「エレクトロニクス・コンピューター」を購買しているパターンが多いことが一目瞭然となります。さらに、その前に「4」すなわち「家庭・ガーデニング用品」を購買しているパターンが多いこともわかります。

これらの原因はわかりませんが、とにかくこのパターンで購買商品カテゴリが変化している購買行動パターンが多いという事実が可視化され、把握することが可能となるわけです。

対象ユーザーを抽出して観察。

最後に、獲得した行動パターンに基づいて、観察対象とするユーザーを抽出し、行動を観察します。すなわちデータエスノグラフィ（Data Ethnography）¹⁾データエスノグラフィって？を行うわけです。UXモデリングにより獲得したモデルは、あくまで機械的に抽出された行動パターンに過ぎません。ユーザーの行動の因果関係を把握し、意思決定プロセスを理解するには、やはり一人ひとりの行動データをミクロ視点で観察し、時系列に追う必要があります。UXモデリングはそれを効率化する手法という位置付けです。

とはいえ、抽出したパターンに一対一で紐づく会員のリストを得ることができないため、系列パターンに含まれる商品カテゴリを購買履歴に含む会員を抽出し、その中からサンプリングしつつ観察するというアプローチをとることにします。

指定した商品カテゴリを購買履歴に含む会員を抽出しやすいようにデータを加工します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。また、このクエリ結果をデータセット「XM」に「sum_orders_ptn」という名前で保存します。

続いて、テーブル「sum_orders_ptn」をTableauに取り込んでデータエスノグラフィをします。ワークシート編集画面で「A00_member_id」を［行］、「C01_frequency」「C02_monetary」を［列］、「C00_rank」を［フィルター］と［色］に、それぞれドラッグ＆ドロップすると、データエスノグラフィ環境の構築は完了です。

ここで、さきほどの系列パターン分析で注目した、商品カテゴリ「4」と「9」を含む会員IDを抽出して行動データを観察できるようにします。それには「D00_category_ptn」をフィルターに追加し、［フィルターの編集］から［フィルター］モーダルを立ち上げ、［条件］タブの［式設定］にて、以下のフィルター条件を指定します。なおこれは、「D00_category_ptn」カラムに「4」と「9」のどちらも含む会員IDに絞り込むことを意味します。

CONTAINS([D00_category_ptn],'4') 
AND CONTAINS([D00_category_ptn],'9')

絞り込まれた会員IDから任意に選んで、実際の購買履歴データを見てみましょう。例えば会員ID「16360」の会員の購買履歴はこのようになっています。

確かに「家庭・ガーデニング用品」関連商品の購入から始まり、次の訪問時に「エレクトロニクス・コンピューター」関連商品の購入をしています。さらにサブカテゴリを見ると、「カー・エレクトロニクス」関連商品が共通項として見られます。またその二年後には「赤ちゃん向けおもちゃ」関連商品を購入しています。このあたりにライフステージの変化のヒントがあるように考えられます。

このようにUXモデリングは、大量のデータから、系列パターンというシンプルなユーザー行動モデルを機械的に抽出し、観察すべきユーザーの絞り込みを効率化する手法であることを理解してもらえたのではないかと思います。

モデリング用のデータを準備。

まずはBigQueryでモデリング用のテーブルを作成します。なお、ここでは系列パターンマイニング（Sequential Pattern Mining：SPM）の代表的なアルゴリズムであるCSPADEを使用しますが、それには会員IDと購買単位ごとの購買商品カテゴリIDの配列をもつテーブルが必要になります。購買単位とは一回の購買を意味し、通常は買い物かごを指しますが、今回のデータには買い物かごに相当するものが存在しないため、同じ日付の購買を一回の購買とみなすことにします。

また、今回の商品マスタには商品カテゴリIDに相当するものが存在しないため、以下のようにIDを定義して付与します。なお、IDは本来は整数で扱うべきですが、後ほど使用するPythonのデータ分析用拡張モジュールである「pandas」においてBigQueryデータの読み込みがうまく処理されないため、文字列で定義します。

BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。

なお、処理の効率化のために10%のサンプリングをしていますが［※1］、これは会員IDを10で割った剰余が0の場合に限定するという意味です。また、欠損を除外するために性別がNULLでない会員に限定し［※2］、年齢の異常値を除外するために10歳以上90歳未満の会員に限定しています［※3］。さらに、時系列データの開始と終了の問題を解決するために、初回購買日が2006年1月以後かつ最終購買日が2012年12月以前の会員に限定しています［※4］。

すると、以下のスキーマのテーブルが出力結果で表示されるので、それをデータセット「XM」に「sum_visits」という名前で保存します。

モデリング用の実行環境を準備。

続けて、Cloud DatalabでSPMによるアソシエーションルールを作成するための実行環境を準備します。とはいえCloud Datalabには、GCP（Google Cloud Platform）との連携や、メジャーなデータ分析・機械学習系の拡張モジュールがあらかじめインストールされているため、多くはインポートするだけです。

まずはデータ分析用の拡張モジュールである「pandas」をインポートします。これはBigQueryから取り込んだ分析用テーブルをデータブレームで操作するためですが、同時にBigQueryとの直接クエリによる連携も可能となります。

また、ここではSPMの代表的なアルゴリズムであるCSPADEのPython向け拡張モジュールである「pycspade」を使用しますが、Cloud Datalabにはインストールされていないため、追加インストールを行います。

ここまでの拡張モジュールの準備は、以下のコードで行うことが可能です。入力エリアに記述し、実行してみてください。

拡張モジュールの準備が完了したら、BigQueryで作成した分析用テーブルを取り込みます。それには「read_gbq」関数を使い、引数にBigQueryのクエリを実行するSQL文とGCPのプロジェクトIDを指定します。以下のコードを入力エリアに記述し、実行してみてください。

なお、商品カテゴリIDについては、先述の理由で文字列型で設定していましたが、ここで整数型に変換します。これでSPMによるアソシエーションルールを抽出するためのデータおよび環境が整いました。

アソシエーションルールを作成。

では、CSPADEアルゴリズムの拡張モジュールであるpycspadeを用いて、系列パターンのアソシエーションルールの作成を行います。プログラム内容の詳細な説明はここでは割愛しますが、以下のようなコードで実現できます。入力エリアに記述し、実行してみてください。

なお、アソシエーションルール（Association Rule）の詳細の説明は「アソシエーション分析入門 #01」に譲りますが、簡単に言えば「商品Xを購入した顧客は商品Yも購入している」といった規則性のことで、信頼度・支持度・リフトの三つの指標を使うのが一般的です。

信頼度（Confidence）は、商品Xを購買した顧客が商品Yも購買する確率のことで、併売戦略やレコメンデーションにむけた分析の基本指標となります。

支持度（Support）は、全体の購買の中で商品Xと商品Yのどちらも購買される確率のことで、補足指標となります。仮に、商品Xを購買した顧客が商品Yも購買する確率（信頼度）が80%だったとしても、商品Xと商品Yのいずれも購買した顧客が全体の1%にも満たない場合、統計的な信頼性が低いだけでなく、それをもとに併売戦略を立てたところでビジネス的に意味はありません。そこで補足指標として支持度を用います。

リフト（Lift）は、全体の購買の中で商品Yが購買される確率に対する商品Xを購買した顧客が商品Yも購買する確率（信頼度）の割合のことで、こちらも補足指標となります。仮に、商品Xを購買した顧客が商品Yも購買する確率（信頼度）が80%だったとしても、そもそも商品Yが購買される確率が80%であれば、商品Xの購買が商品Yの購買に与える影響力を説明することはできません。そこで補足指標としてリフトを用います。

ところで、分析作業の効率化のために、リフトが閾値（1が一般的）を下回る組み合わせは、事前に分析対象から除外するのが慣例ですが、pycspadeではリフトの閾値設定ができません。一方で、支持度の閾値設定は可能であるため「0.05」を指定しています。

最後の行の「df_table」というデータフレーム型の変数に、作成したアソシエーションルールが格納されています。入力エリアに「df_table」と記述して実行してみましょう。すると以下のような表が出力されます。

上表の列「Sequence」は系列パターンすなわち購買商品カテゴリの時系列パターン、「Confidence」は信頼度、「Support」は支持度、「Lift」はリフトとなります。例えば、Sequenceが「(7)-(9)」とは、「自動車・工業」関連商品を購入後に、「エレクトロニクス・コンピューター」関連商品を購入した、という系列パターンであり、その信頼度・支持度・リフトは、それぞれ「0.38308」「0.090715」「0.976826」という意味になります。この状態でもアソシエーションルールの一部は見てとれますが、より分析をしやすくするためにTableauで可視化することにします。

次回は、作成したアソシエーションルールをBigQueryに書き出し、Tableauで可視化しながら、系列パターンの分析と、観察対象とするユーザーの抽出と行動観察を行います。

SPMによるUXモデリング。

頻出する事象の組み合わせを抽出する手法を総称して頻出パターンマイニング（Frequent pattern mining）といいます。その代表的な手法がアソシエーション分析（Association Analysis）¹⁾アソシエーション分析入門であり、「商品Xを購買した顧客は商品Yも購買している」というような向きのある相関関係を得られることが特徴ですが、一方で時系列的な順序が考慮されないという欠点があります。

アソシエーション分析の一種であるバスケット分析（Basket Analysis）は、文字通り同じ買物かごに含まれる商品の組み合わせのパターンを分析する手法ですが、このように”同時“に発生する事象については問題ないものの、複数回の買物で購買商品がどのように推移したかというような、時系列の概念を含むパターンを分析することには向かないわけです。

そこで、時系列を考慮した頻出パターンマイニングである系列パターンマイニング（Sequential Pattern Mining：SPM）が、1995年にIBM研究所のR.AgrawalとR.Srikantによって提唱されました。また、このSPMがUXモデリングの比較的簡単なアプローチのひとつとして適用可能であることは、前回の「UXモデリング入門 #01」で説明した通りです。

そこで今回は、SPMを使ったUXモデリング実践の入門編をご紹介したいと思います。なお、分析ツールはGoogle BigQuery、Tableau Desktop、Google Cloud Datalabの三つを用いて進めます。それぞれについては「BigQueryではじめるSQL」「TableauではじめるBI」「アソシエーション分析入門 #02」を参照してください。

UXモデリングの手順。

UXモデリングは以下の手順で進めます。

1. 分析の背景の整理と目的の明確化
2. データ準備と基礎分析
3. 行動パターンのモデリング
4. 対象ユーザーの抽出と観察

データ分析に限らず、何らかの課題解決をするには、まずその背景を整理し、目的を明確化する必要があります。当たり前の話ですが、失敗するデータ分析の多くは、ここをあいまいにしたまま、とにかく何らかの有用な知識を獲得したいという思いのみで行われており、時間とコストを浪費する結果となっています。

またデータは「存在する」状態と「分析できる」状態では全く異なります。そして多くのデータは分析することを目的に収集されておらず、そもそも構造化されていない、あるいは欠損・異常値・表記揺れ（同義だが異句の状態）を含むこともあります。それらを加工し「分析できる」状態にすることをデータ準備（Data Preparation）といいます。

さらに、あまねく全てのデータを準備することはできないため、必然的に選択が行われ、偏りが必ず発生します。これを選択バイアス（Selection Bias）といいます。例えば、プリペイドカードの購買履歴には、カードの入金額の上限を超える高額商品の購買履歴がそもそも含まれていません。おそらくクレッジトカードなどの他の決済手段で購買しているのでしょう。このような偏りのあるデータで無邪気にRFM分析などを行うと、ミスリード（Misslead）を起こします。

選択バイアスを無くすことが理想ですが、現実には不可能であるため、データの全体像を俯瞰して分布と偏りを把握し、分析を進める上での前提条件として捉えておくことが重要です。その作業を基礎分析（Basic Analysis）といいます。

ここまで完了してようやくUXモデリングが実施可能となります。今回はUXモデリングの比較的簡単なアプローチとして系列パターンマイニング（Sequential Pattern Mining：SPM）を用い、時系列を考慮したユーザーの典型的な行動パターンをモデリングします。

最後に、獲得した行動パターンに基づいて、観察対象とするユーザーを抽出し、行動を観察します。すなわちデータエスノグラフィ（Data Ethnography）²⁾データエスノグラフィって？を行うわけです。UXモデリングにより獲得したモデルは、あくまで機械的に抽出された行動パターンに過ぎません。ユーザーの行動の因果関係を把握し、意思決定プロセスを理解するには、やはり一人ひとりの行動データをミクロ視点で観察し、時系列に追う必要があります。UXモデリングはそれを効率化する手法という位置付けです。

購買商品の時系列変化を捉える。

では、UXモデリングの実践を進めて行きましょう。まずは分析の背景の整理と目的の明確化を行います。

今回は「データエスノグラフィ入門」と連動し、総合ECサイトの会員の購買商品の時系列変化のパターンを捉え、優良化のヒントを獲得するという設定で進めます。分析対象データは、とある総合ECサイトの会員の購買履歴データとし、概要は以下のとおりです。

• 種類：総合ECサイトの会員の購買履歴
• 期間：2005年1月〜2013年12月（9年間）
• 会員数：639,777人
• 購買数：7,599,650件（平均11.9件/人）

データソースは以下の３つを使用します。なお、こちらはすでにBigQueryに投入済みとします。また、データセット名とテーブル名は任意ですが、ここでは「データエスノグラフィ入門」と合わせるため、データセット名を「DE」、テーブル名はファイル名をそのまま設定します。

これらのデータを使用し、ユーザーの購買商品の時系列変化の典型的なパターンをモデリングして行きます。なお、データ準備と基礎分析のプロセスは「データエスノグラフィ入門 #02」と同様であるためここでは割愛し、次回は行動データのモデリングの実践を行います。

行動パターンを発見する。

ユーザーの行動データから、購買の意思決定プロセスを把握したい、あるいは、思いもよらないニーズを発見したい。多くのマーケターやビジネスパーソンにとって、それはデータ活用におけるもっとも重要な関心ごとのひとつでしょう。

あるコンテンツXの閲覧（事象X）と、ある商品Yの購買（事象Y）には、強い共起性があるから、事象Yの意思決定に事象Xがなんらか関与している可能性が高いのではないか。そのような分析はよく行われることと思います。

一方で、事象Xと事象Yの因果関係の説明は難しい問題です。事象Xによる気持ちの変化があったから事象Yにいたったのか、最初から事象Yが起こることは決まっていて、たまたま事象Xをしただけなのかが判別しづらいからです。

因果関係を説明するには、まず時間の関係を把握することが必要です。当たり前ですが、原因と結果の前後が入れ替わることはありません。また、事象Xと事象Yの間に大きな時間の隔たりがある場合は因果関係を説明しづらくなります。加えて、事象Xが事象Yの発生に影響を与えていることも重要です。事象Xの有無に関わらず事象Yが起こるのであれば、因果関係は説明しづらくなります。

ユーザーの行動の因果関係を把握し、意思決定プロセスを理解するのに、一人ひとりの行動データをミクロ視点で観察し、時系列に追うデータエスノグラフィ（Data Ethnography）¹⁾データエスノグラフィって？という手法が有用であることは「データエスノグラフィって？」でも触れたとおりです。とはいえ、大量のデータから観察すべきユーザーを特定し、典型的な行動パターンを見つけることは容易ではありません。

シンプルな行動モデルを取り出す。

そこで、大量のデータからユーザーの行動モデルを機械的に取り出す手法が有効となります。クロスハックではこれをUXモデリング（UX Modeling）²⁾UXモデリングって？と呼んでいます。

大量データをモデリングする手法として真っ先に思いつくのは、機械学習（Machine Learning）³⁾いまさら聞けない機械学習でしょう。とりわけ深層学習（Deep Learning）⁴⁾いまさら聞けない深層学習は、特徴表現を自動的に行うため、大量データのモデリングには極めて有効です。

一方で、「UXモデリングって？」でも触れたとおり、深層学習には導出されたモデルが複雑化・ブラックボックス化するという欠点があります。複雑でブラックボックス化されたモデルは、解釈や説明ができません。解釈や説明ができないモデルは、ビジネスやデザインの意思決定に応用することができず、役に立ちません。UXモデリングでは、複雑なユーザー行動から解釈や説明をしやすいシンプルで汎用性のあるモデルを取り出すことが重要です。

時系列のアソシエーション分析。

ユーザーの行動データから行動パターンを取り出す手法の一つに、アソシエーション分析があります。アソシエーション分析（Association Analysis）⁵⁾アソシエーション分析入門は、事象Xと事象Yの事象間の相関性を分析する手法で、データマイニング（Data Mining）⁶⁾再考するデータマイニングの中核をなす分析手法のひとつです。

アソシエーション分析の詳細は「アソシエーション分析入門」に譲りますが、簡単に言うと、それにより得られるのは向きのある相関関係です。向きのある相関関係とは、例えば「商品Xを購買した顧客は商品Yも購買している」というようなものです。ただし、これはあくまで相関関係であり、因果関係を証明するものではありません。しかしながら、これをきっかけに因果推論（Causal Inference）⁷⁾いまさら聞けない因果推論やベイズ推定（Bayesian Inference）⁸⁾いまさら聞けないベイズ推定などを行うことで因果関係を明らかにする可能性が高まります。

ところで、アソシエーション分析は事象間の相関性を分析する手法の総称であり、特定の分析手法をさすものではありません。共起性に基づく分析手法が一般的ですが、他にもニューラルネットワーク（Neural Network）などを用いたアプローチもあります。また、共起性に基づく手法の中でも最もよく利用されるものにアプリオリ（Apriori）というアルゴリズムがあります。「アソシエーション分析入門」では、このアプリオリ・アルゴリズムを使った分析方法を解説しました。

一方で、アプリオリ・アルゴリズムを中心とした一般的なアソシエーション分析では、時間の関係が無視されます。例えば「商品Xを購買した顧客は商品Yも購買している」というのは、時系列的に商品Xと商品Yのどちらが先かは問われず、また商品Xと商品Yの購買の時間間隔も考慮されていません。

冒頭でも述べたとおり、因果関係の説明には時系列的順序や時間間隔といった時間の関係が極めて重要な要素となります。また、時間の関係がわからないと、次に発生するユーザー行動を予測することができません。そこで、時間の概念を考慮したアソシエーション分析が必要となります。それを系列パターンマイニング（Sequential Pattern Mining：SPM）といいます。

そこで、この「UXモデリング入門」では、UXモデリングの比較的簡単なアプローチのひとつとして、このSPMを用いた手法をご紹介します。次回以降で、その具体的なプロセスに触れて行きます。

2019年4月10日、物理学・天文学における快挙が発表されました。世界で初めてブラックホールの撮影に成功した、というものです。アインシュタインの一般相対性理論によりその存在は知られていたものの、その実体を視覚的に捉えることはできませんでした。なぜなら、極めて大きな天体であるため、観測するには地球ほどのサイズの望遠鏡が必要となるからです。しかしながら、世界８箇所の望遠鏡で同時に観測したわずかなデータから、スパースモデリングという画像解析技術でその実体を浮かび上がらせることに成功しました。（※2019年4月11日に加筆）

スパースモデリング（Sparse Modeling）は、物事に潜むスパース性を利用した情報抽出技術で、いま注目されている技術のひとつです。スパースとは「まばらな」を意味し、スパース性とは物事の本質的な特徴を決定づける要素はわずかであるという性質を示します。

写真の画像データを例にすると、画像は画素の集合ですが、隣り合う画素間で値が大きく異なるところはわずかで、写っている物質が変化する境界線の部分だけになります。このような場合に、スパース性があるといいます。

スパースモデリングには以下の三つの特長がありますが、ここであることに気づきます。

• データが不足している状態でも分析ができる
• 大量データをスパースにすることで分析の時間やコストを圧縮できる
• 複雑なデータ構造をわかりやすく表現できる

「UXモデリングって？」でも触れたように、ビッグデータ（Big Data）¹⁾再考するビッグデータによる機械学習（Machine Learning）²⁾いまさら聞けない機械学習には、大量の学習データが必要である、導出された予測モデルのメカニズムがブラックボックス化して説明しづらくなるという欠点があります。つまりスパースモデリングの特長は、ビッグデータによる機械学習の欠点の裏返しであり、補完できることを意味します。

スパースモデリングは、機械学習のもつ変数選択と予測モデルの説明の難しさの問題を、高次元なデータを数学的に説明可能な次元まで落として、シンプルな数理モデルにすることで解決してくれます。数学的に説明可能というとわかりづらいですが、連立方程式の問題としてとらえると比較的わかりやすいでしょう。

連立方程式の問題。

連立一次方程式の問題で考えてみます。

問１：以下の数式を満たすx, yを求めよ。

$$2x+3y=7\\x-y=1\\$$

答えは (x, y) = (2, 1) で、何の問題もありません。では次の問題。

問２：以下の数式を満たすx, yを求めよ。

$$2x+3y=7\\$$

この問題は解くことができません。正確には、答えが (x, y) = (2,1)、(x, y) =(5,-1) など無数にあるため一意に特定できない、ということになります。これは未知数の数に対して数式の数が足りないことが原因です。ここで欲しくなるのが、数式の数が足りない連立方程式から一意の解を見つける手法です。次の問題を考えてみます。

問３：以下の数式を満たすx, y, zを求めよ。ただしx, y, zのうち0でないものは1つだけである。

$$x+y+2z=1\\x-2y-z=-2\\ $$

答えは (x, y, z) = (0, 1, 0) となります。未知数の数に対して数式の数が足りないにもかかわらず、「x, y, zのうち0でないものは1つだけ」というヒントにより一意の解が得られることになります。このヒントのことをスパース条件といいます。

つまり、物事の本質的な特徴を決定づける要素はわずかであるという性質（スパース性）を、スパース条件として表現できれば、未知数の数に対して数式の数が足りなくても、答えを導出できることになります。この原理が、データが不足している状態での分析や、大量データをスパースにした分析を可能にします。

ちなみに、スパース条件の変数選択との違いは、いくつの未知数を無視できるかがわかればよく、どの未知数を無視できるかがわからなくても答えが得られるという点です。これは非常に大きな違いです。なお、未知数を無視するとは、存在しないものとすることで、数学的には0として扱うことを意味します。

スパースモデリングを応用する。

この非常にシンプルな連立方程式の理論が、スパースモデリングのひとつである圧縮センシング（Compressed Sensing）という技術を支えています。圧縮センシングとは、観測対象データがある表現空間にはスパース性があると仮定して、必要とする未知数の数よりも少ない観測データから、あるスパース条件の下で対象を復元する手法です。

観測データを大量に獲得することが難しいケースがあります。そもそも物理的に取得できない場合はもちろんですが、たとえば医療の現場では、一刻を争うような患者の診断を行う場合に、患者の負担軽減なども含めて、MRIの撮影にかかる時間はなるべく短縮したいというニーズがあります。

京都大学医学部では、スパースモデリングを使ってMRIの撮影にかかる時間を短縮させる研究が行われており、MRIのデータが80%欠損していても、ほぼ正確な画像を復元することに成功しています。これには、物質と物質の境界線のみで画素値が大きく変化するというMRI画像の特性が利用されています。

今後の応用分野として注目されるのは、マーケティングでしょう。ユーザーの行動データから未来の行動を予測したいという欲求は常にありますが、5GとIoTの普及により行動データが大量かつ広範囲にわたって収集されることになり、そのニーズはさらに加速する一方で、分析は非常に難しくなります。

「UXモデリングって？」でも書いたとおり、人間は実にいろいろな要因に影響を受けて意思決定を行います。つまり考慮すべき変数が異常に多いわけです。機械学習や深層学習で予測モデルや特徴量の抽出が機械的に行われたとしても、そのモデルのメカニズムを説明することは困難です。この問題に対するスパースモデリングの有用性が期待されます。

また、スパース条件を事前確率ととらえれば、スパースモデリングがベイズ推定（Bayesian Inference）³⁾いまさら聞けないベイス推定の一つであることがわかります。ベイズ推定は、目の前に現れる事実と、これまでの経験（事前確率）から、知りたいことを少ない情報で推定する手法で、幅広く応用されています。

最後に、この記事を書くにあたり、日高昇治氏・松下亮祐氏・楠田哲也氏による著書「スパースモデリングって何だ？―データ構造を解き明かす先端技法」を参考にさせていただいたことをお伝えします。スパースモデリングの本質や理論がとてもわかりやすく解説されていますので、興味のある方はぜひ読んでいただきたいと思います。

ユーザーの行動データから意思決定プロセスなどの行動特性をとりだして、似たようなユーザーの未来の行動を予測したい。あるいはこちらの意図した行動を再現したい。こういったニーズはビジネスシーンではよく起こります。

これに対し、ユーザーの行動データを観察することは有効なアプローチです。クロスハックでは、データエスノグラフィ（Data Ethnography） ¹⁾データエスノグラフィって？という、一人ひとりの行動データをミクロ視点で観察し、時系列に追うことで、ユーザーの意思決定プロセスの理解や発見を行なう技術を研究開発しています。とはいえ、大量のデータから観察すべきユーザーを見つけることは容易ではなく、マクロ視点での分析も求められます。

真っ先に思いつく解決手段として、機械学習（Machine Learning）²⁾いまさら聞けない機械学習があります。データを基にした予測・分類・回帰などの問題に対して、機械学習は有効な手段です。とりわけ深層学習（Deep Learning）に代表されるビッグデータ（Big Data）³⁾再考するビッグデータによる機械学習は、コンピュータやネットワークの技術革新により、大量データの収集や分析が容易になったことで、その有用性が非常に注目されています。

一方で、ビッグデータによる機械学習には大きく二つの欠点があります。ひとつは、大量の学習データが必要なこと。もうひとつは、予測結果は出せるものの、導出された予測モデルのメカニズムがブラックボックス化して説明しづらくなることです。

前者は、データ蓄積が充分でない場合や、発生がまれでデータ量が確保できない場合に困ります。たとえば大地震の発生や株価の大暴落の予測を、ビッグデータによる機械学習で行うのは難しいでしょう。後者は、変数が多い場合に、機械学習によって作られる予測モデルが複雑化するために起こる現象です。予測精度は悪くないものの、メカニズムを説明できないため、再現性への疑問が払拭できない、ということになるわけです。

では、ユーザーの行動を予測して再現したい場合はどうでしょう。かつてない新商品の購買行動を機械学習で予測することはできません。学習データが存在しないからです。一方で学習データが大量にある場合はどうでしょうか。人間は実にいろいろな要因に影響を受けて意思決定を行います。つまり考慮すべき変数が異常に多いわけです。はたして機械学習は有効な手段なのでしょうか。

複雑なユーザー行動をシンプルに。

意思決定プロセスなどの複雑なユーザー行動をデータから取り出してモデル化する場合には、解釈や説明をしやすいシンプルで汎用性のあるモデルにする必要があります。クロスハックではこれをUXモデリング（UX Modeling）と呼んでいます。モデリングとは、事象を抽象化し、数学的に扱える形の数理モデル（Mathematical Model）にすること意味します。

ある瞬間の意思決定にフォーカスすれば、機械学習は有効かと思われます。たとえばECサイトで商品をレコメンドした際の購買の予測などがそれです。意思決定の要因となる変数を、初めからかなり限定できるからです。年齢・性別などのデモグラフィック属性、過去の購買履歴から導出した嗜好性、レコメンドした商品の特徴などから、比較的シンプルなモデルを作成できるでしょう。

一方で、月や年単位におよぶ購買行動の変化や、自動車や住宅などの検討期間が長い商材の購買意思決定などはどうでしょう。意思決定の要因となる変数は、時間とともに雪だるま式に増えるため、とても複雑なものになりそうです。

変数を選択するための手法。

ここで問題となるのが、変数をどのように選択するのかということです。これは次元圧縮（Dimensionality Reduction）ともいわれ、統計やデータサイエンスの根本課題でもあります。主成分分析や多次元尺度構成法なども次元圧縮の手法ですが、これは人間が視覚的に認識できるよう低次元（三次元以下）に落とすことを目的としています。ここでいう次元圧縮は、高次元なデータを数学的に説明可能な次元まで落として、シンプルな数理モデルにすることを意味します。連立方程式にできれば数学的に捉えることができる、といえば何となくイメージできるかと思います。

変数選択や次元圧縮の問題に対して、いま注目されている手法にスパースモデリング （Sparse Modeling）⁴⁾スパースモデリング って？があります。スパースは「まばらな」を意味し、希薄なデータから目的の情報をとりだしたり、複雑なデータをスパースにすることで本質を浮かび上がらせる手法です。

この他にも、変数の多い複雑なデータをシンプルな数理モデルで捉えるための手法やアプローチはたくさんあります。さまざまな手法を試しながら、複雑なユーザー行動をシンプルなモデルにするUXモデリングの方法論を体系化して行きたいと思っています。

ユーザーの行動データから、購買の意思決定プロセスを把握したい、あるいは、思いもよらないニーズを発見したい。多くのマーケターやビジネスパーソンにとって、それはデータ活用におけるもっとも重要な関心ごとのひとつでしょう。

あるコンテンツXの閲覧（事象X）と、ある商品Yの購買（事象Y）には、強い共起性があるから、事象Yの意思決定に事象Xがなんらか関与している可能性が高いのではないか。そのような分析はよく行われることと思います。

一方で、事象Xと事象Yの因果関係の説明は難しい問題です。事象Xによる気持ちの変化があったから事象Yにいたったのか、最初から事象Yが起こることは決まっていて、たまたま事象Xをしただけなのかが判別しづらいからです。

因果関係を説明するには、まず時間の関係を把握することが必要です。当たり前ですが、原因と結果の前後が入れ替わることはありません。また、事象Xと事象Yの間に大きな時間の隔たりがある場合は因果関係を説明しづらくなります。

加えて、事象Xが事象Yの発生に影響を与えていることも重要です。事象Xの有無に関わらず事象Yが起こるのであれば、因果関係は説明しづらくなります。アソシエーション分析¹⁾アソシエーション分析とは（アソシエーション分析入門 #01）のリフト値は、この影響力の強さを示す指標として扱うことができます。また、A/Bテストで影響力を検証することもあるでしょう。

なお、因果関係を確率的に推論する手法として、A/Bテストの基本概念である因果推論（Causal Inference）²⁾いまさら聞けない因果推論や、条件付き確率に基づくベイズ推定（Bayesian Inference）³⁾いまさら聞けないベイス推定があります。

行動観察が理解や発見をうながす。

このように、行動データをマクロ視点で分析することで、ユーザーの意思決定プロセスをある程度は理解できます。一方で、一人ひとりの行動データをミクロ視点で観察し、時系列に追うことで、ユーザーの意思決定プロセスの理解や発見が進むことがあります。クロスハックではこれをデータエスノグラフィ（Data Ethnography）と呼んでいます。

エスノグラフィ（Ethnography）⁴⁾エスノグラフィとは（UXリサーチ入門 #03）とは、生活者のありのままの行動を観察することで、アンケートやインタビューからは得られない洞察や発見の獲得を目指す手法のことですが、これはそのデータ版と言えます。

ユーザーの行動をつぶさに観察することで、行動の実態が見えて来ます。あるコンテンツAを見た次の日に来店し、普段から買う商品Bと合わせて商品Cを買い、さらにそれ以降の来店では商品Bと商品Cを必ずセットで購買している、などの行動がとらえられれば、コンテンツAが商品Cの購買の要因になっているのではないかという仮説にたどり着きます。

仮説の発見をマクロ視点の分析で行うことをデータマイニング（Data Mining）⁵⁾再考するデータマイニングといいますが、なかなか難しいものです。そんなときに、このようなミクロ視点の観察が役に立ちます。

思考を理解するためには。

データエスノグラフィには、エスノグラフィにはない欠点が存在します。それは、行動は思考の結果にすぎず、なぜその行動に至ったかの思考を理解することができないという点です。思考を理解できなければ、再現性を高めることはできません。エスノグラフィでは、思考の理解をインタビューで補完できます。

データエスノグラフィで思考を理解するには、ユーザーに後追いでインタビューをするか、行動から思考を想像するしかありません。ただ、パターンランゲージ（Pattern Language）⁶⁾パターンランゲージって？ように、ユーザーの意思決定プロセスが、いくつかの思考と行動の集合によって構成されているとすれば、行動から思考を類推できる可能性があります。

たとえば、あるECサイトで同じワイシャツの色違いを三着同時に買ったユーザーがいたとします。この時点では、色違いを着回ししたいという思考が想像されます。ただ、その後二着を返品したとすると、実際の色を確認して選びたいという思考が浮かび上がります。こういった思考と行動の集合をパターンランゲージとして捉えていく、ということです。

またデータエスノグラフィは、ユーザーの意思決定プロセスの理解や発見に大変有効な手段ですが、大量のデータから観察すべきユーザーを見つけることは容易ではありません。そのためには、似たユーザーをセグメント（Segment）に分類し、観察すべきセグメントを選定するという手順を踏まえる必要があるものの、多くの時間と労力を要します。クロスハックではそれを支援するものとして、UXモデリング（UX Modeling）⁷⁾UXモデリングって？という、大量のデータからシンプルなユーザー行動モデルを取り出す技術を研究開発しています。

このような欠点と余白に、データエスノグラフィの学問としての面白さや可能性を感じます。データエスノグラフィに関する研究の状況や成果については、追ってお伝えしていきたいと思います。

uxmeetsdata.com はじまる 。

5GとIoTの普及により、あらゆるユーザー体験（User Experience：UX）がデータ化され、世界中で共有されることになります。そのデータからユーザーを理解し、UXにフィードバックする技術があれば、世界中のUXデザイナーやデータサイエンティストらの手によって新しい価値が創発されることでしょう。クロスハックではそれをデータドリブンUX（Data-driven UX：DDX）と呼んでいます。

uxmeetsdata.comでは、新しい価値の創発をめざし、UXとデータの横断あるいは周辺領域の、さまざまな先進的な考え方・手法・技術・研究・取り組みをご紹介します。また、クロスハックで研究開発を進めているデータドリブンUX手法であるデータエスノグラフィ（Data Ethnography）¹⁾データエスノグラフィって？やUXモデリング（UX Modeling）²⁾UXモデリングって？についても随時お伝えしていく予定です。

このメディアをとおして、より創造的でゆたかな社会や生活が実現されることを期待しています。