アソシエーションルールを可視化。

Cloud DatalabにてCSPADEアルゴリズムの拡張モジュールであるpycspadeを用いて作成したアソシエーションルールを、BigQueryに書き出し、Tableauで可視化しながら系列パターンの分析を行います。

まずは前回の続きで、以下のコードを入力エリアに記述し、実行してみましょう。なお「to_gbq」関数の引数には、アソシエーションルールを格納したデータフレーム、書き込み先のテーブル名、GCPのプロジェクトIDを指定します。

なお、BigQueryへの書き出しがうまく行かない場合は、以下のコードでCSVファイルに書き出し、GCS（Google Cloud Storage）経由でBigQueryに取り込みます。

以下のように、BigQueryのデータセット「XM」の中に「sum_rules_spm」というテーブルが作成されていることを確認します。

続いて、テーブル「sum_rules_spm」をTableauに取り込んで分析します。Tableau Desktopであれば、スタート画面の［接続］にあるメニュー［Google BigQuery］から選択するだけでシームレスに連携できます。Tableau Publicであれば、GCS（Google Cloud Storage）経由でCSVファイルとしてエクスポートしてから取り込みます。

Tableauへの取り込みが完了したら、以下の手順でクロス集計表を作成し、アソシエーションルールを可視化します。

1. フィールドの「Sequence」を［行］、「Confidence」を［列］シェルフにそれぞれドラッグ＆ドロップ。
2. フィールドの「Confidence」を［マーク］カードの［色］にドラッグ＆ドロップ。
3. 右上に表示される「合計（Confidence）」カードの右上の▼のメニューで［色の編集…］を選択。
4. ［色の編集］モーダルで［ステップド カラー］チェックをオン、［詳細］ボタン押下で表示される［中央］チェックをオンに設定。
5. フィールドの「Confidence」「Support」「Lift」を順に［マーク］カードの［テキスト］にドラッグ＆ドロップ。
6. フィールドの「Confidence」「Support」「Lift」のそれぞれについて、ピルの右端の▼のメニューで［フィルタを表示］を選択。

系列パターンを分析する。

では、この表をもとに系列パターンを分析してみましょう。「アソシエーション分析入門 #01」でも触れたとおり、アソシエーションルールの指標の中でも、信頼度（Confidence）は、商品Xを購買した顧客が商品Yも購買する確率のことで、事象間の相関性を分析する基本指標となります。

一方で、前回に述べたとおり、リフトは1を下回ると負の影響力を意味するため、予め除外するのが通例ですが、pycspadeでは閾値設定ができないため1未満の系列パターンも含まれてしまっています。そこでリフトを1以上としてフィルタをかけます。右側の「合計（Lift）」フィルタの左側の最小値設定を1.0に変更すると、以下のように表示が切り替わります。ただし、初期ビューで見えている系列パターンはすべてリフトが1以上であるため、初期ビューの表示自体は変わりません。

信頼度の降順に見ていくと、まず最後に商品カテゴリIDが「9」すなわち「エレクトロニクス・コンピューター」を購買しているパターンが多いことが一目瞭然となります。さらに、その前に「4」すなわち「家庭・ガーデニング用品」を購買しているパターンが多いこともわかります。

これらの原因はわかりませんが、とにかくこのパターンで購買商品カテゴリが変化している購買行動パターンが多いという事実が可視化され、把握することが可能となるわけです。

対象ユーザーを抽出して観察。

最後に、獲得した行動パターンに基づいて、観察対象とするユーザーを抽出し、行動を観察します。すなわちデータエスノグラフィ（Data Ethnography）¹⁾データエスノグラフィって？を行うわけです。UXモデリングにより獲得したモデルは、あくまで機械的に抽出された行動パターンに過ぎません。ユーザーの行動の因果関係を把握し、意思決定プロセスを理解するには、やはり一人ひとりの行動データをミクロ視点で観察し、時系列に追う必要があります。UXモデリングはそれを効率化する手法という位置付けです。

とはいえ、抽出したパターンに一対一で紐づく会員のリストを得ることができないため、系列パターンに含まれる商品カテゴリを購買履歴に含む会員を抽出し、その中からサンプリングしつつ観察するというアプローチをとることにします。

指定した商品カテゴリを購買履歴に含む会員を抽出しやすいようにデータを加工します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。また、このクエリ結果をデータセット「XM」に「sum_orders_ptn」という名前で保存します。

続いて、テーブル「sum_orders_ptn」をTableauに取り込んでデータエスノグラフィをします。ワークシート編集画面で「A00_member_id」を［行］、「C01_frequency」「C02_monetary」を［列］、「C00_rank」を［フィルター］と［色］に、それぞれドラッグ＆ドロップすると、データエスノグラフィ環境の構築は完了です。

ここで、さきほどの系列パターン分析で注目した、商品カテゴリ「4」と「9」を含む会員IDを抽出して行動データを観察できるようにします。それには「D00_category_ptn」をフィルターに追加し、［フィルターの編集］から［フィルター］モーダルを立ち上げ、［条件］タブの［式設定］にて、以下のフィルター条件を指定します。なおこれは、「D00_category_ptn」カラムに「4」と「9」のどちらも含む会員IDに絞り込むことを意味します。

CONTAINS([D00_category_ptn],'4') 
AND CONTAINS([D00_category_ptn],'9')

絞り込まれた会員IDから任意に選んで、実際の購買履歴データを見てみましょう。例えば会員ID「16360」の会員の購買履歴はこのようになっています。

確かに「家庭・ガーデニング用品」関連商品の購入から始まり、次の訪問時に「エレクトロニクス・コンピューター」関連商品の購入をしています。さらにサブカテゴリを見ると、「カー・エレクトロニクス」関連商品が共通項として見られます。またその二年後には「赤ちゃん向けおもちゃ」関連商品を購入しています。このあたりにライフステージの変化のヒントがあるように考えられます。

このようにUXモデリングは、大量のデータから、系列パターンというシンプルなユーザー行動モデルを機械的に抽出し、観察すべきユーザーの絞り込みを効率化する手法であることを理解してもらえたのではないかと思います。

モデリング用のデータを準備。

まずはBigQueryでモデリング用のテーブルを作成します。なお、ここでは系列パターンマイニング（Sequential Pattern Mining：SPM）の代表的なアルゴリズムであるCSPADEを使用しますが、それには会員IDと購買単位ごとの購買商品カテゴリIDの配列をもつテーブルが必要になります。購買単位とは一回の購買を意味し、通常は買い物かごを指しますが、今回のデータには買い物かごに相当するものが存在しないため、同じ日付の購買を一回の購買とみなすことにします。

また、今回の商品マスタには商品カテゴリIDに相当するものが存在しないため、以下のようにIDを定義して付与します。なお、IDは本来は整数で扱うべきですが、後ほど使用するPythonのデータ分析用拡張モジュールである「pandas」においてBigQueryデータの読み込みがうまく処理されないため、文字列で定義します。

BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。

なお、処理の効率化のために10%のサンプリングをしていますが［※1］、これは会員IDを10で割った剰余が0の場合に限定するという意味です。また、欠損を除外するために性別がNULLでない会員に限定し［※2］、年齢の異常値を除外するために10歳以上90歳未満の会員に限定しています［※3］。さらに、時系列データの開始と終了の問題を解決するために、初回購買日が2006年1月以後かつ最終購買日が2012年12月以前の会員に限定しています［※4］。

すると、以下のスキーマのテーブルが出力結果で表示されるので、それをデータセット「XM」に「sum_visits」という名前で保存します。

モデリング用の実行環境を準備。

続けて、Cloud DatalabでSPMによるアソシエーションルールを作成するための実行環境を準備します。とはいえCloud Datalabには、GCP（Google Cloud Platform）との連携や、メジャーなデータ分析・機械学習系の拡張モジュールがあらかじめインストールされているため、多くはインポートするだけです。

まずはデータ分析用の拡張モジュールである「pandas」をインポートします。これはBigQueryから取り込んだ分析用テーブルをデータブレームで操作するためですが、同時にBigQueryとの直接クエリによる連携も可能となります。

また、ここではSPMの代表的なアルゴリズムであるCSPADEのPython向け拡張モジュールである「pycspade」を使用しますが、Cloud Datalabにはインストールされていないため、追加インストールを行います。

ここまでの拡張モジュールの準備は、以下のコードで行うことが可能です。入力エリアに記述し、実行してみてください。

拡張モジュールの準備が完了したら、BigQueryで作成した分析用テーブルを取り込みます。それには「read_gbq」関数を使い、引数にBigQueryのクエリを実行するSQL文とGCPのプロジェクトIDを指定します。以下のコードを入力エリアに記述し、実行してみてください。

なお、商品カテゴリIDについては、先述の理由で文字列型で設定していましたが、ここで整数型に変換します。これでSPMによるアソシエーションルールを抽出するためのデータおよび環境が整いました。

アソシエーションルールを作成。

では、CSPADEアルゴリズムの拡張モジュールであるpycspadeを用いて、系列パターンのアソシエーションルールの作成を行います。プログラム内容の詳細な説明はここでは割愛しますが、以下のようなコードで実現できます。入力エリアに記述し、実行してみてください。

なお、アソシエーションルール（Association Rule）の詳細の説明は「アソシエーション分析入門 #01」に譲りますが、簡単に言えば「商品Xを購入した顧客は商品Yも購入している」といった規則性のことで、信頼度・支持度・リフトの三つの指標を使うのが一般的です。

信頼度（Confidence）は、商品Xを購買した顧客が商品Yも購買する確率のことで、併売戦略やレコメンデーションにむけた分析の基本指標となります。

支持度（Support）は、全体の購買の中で商品Xと商品Yのどちらも購買される確率のことで、補足指標となります。仮に、商品Xを購買した顧客が商品Yも購買する確率（信頼度）が80%だったとしても、商品Xと商品Yのいずれも購買した顧客が全体の1%にも満たない場合、統計的な信頼性が低いだけでなく、それをもとに併売戦略を立てたところでビジネス的に意味はありません。そこで補足指標として支持度を用います。

リフト（Lift）は、全体の購買の中で商品Yが購買される確率に対する商品Xを購買した顧客が商品Yも購買する確率（信頼度）の割合のことで、こちらも補足指標となります。仮に、商品Xを購買した顧客が商品Yも購買する確率（信頼度）が80%だったとしても、そもそも商品Yが購買される確率が80%であれば、商品Xの購買が商品Yの購買に与える影響力を説明することはできません。そこで補足指標としてリフトを用います。

ところで、分析作業の効率化のために、リフトが閾値（1が一般的）を下回る組み合わせは、事前に分析対象から除外するのが慣例ですが、pycspadeではリフトの閾値設定ができません。一方で、支持度の閾値設定は可能であるため「0.05」を指定しています。

最後の行の「df_table」というデータフレーム型の変数に、作成したアソシエーションルールが格納されています。入力エリアに「df_table」と記述して実行してみましょう。すると以下のような表が出力されます。

上表の列「Sequence」は系列パターンすなわち購買商品カテゴリの時系列パターン、「Confidence」は信頼度、「Support」は支持度、「Lift」はリフトとなります。例えば、Sequenceが「(7)-(9)」とは、「自動車・工業」関連商品を購入後に、「エレクトロニクス・コンピューター」関連商品を購入した、という系列パターンであり、その信頼度・支持度・リフトは、それぞれ「0.38308」「0.090715」「0.976826」という意味になります。この状態でもアソシエーションルールの一部は見てとれますが、より分析をしやすくするためにTableauで可視化することにします。

次回は、作成したアソシエーションルールをBigQueryに書き出し、Tableauで可視化しながら、系列パターンの分析と、観察対象とするユーザーの抽出と行動観察を行います。

SPMによるUXモデリング。

頻出する事象の組み合わせを抽出する手法を総称して頻出パターンマイニング（Frequent pattern mining）といいます。その代表的な手法がアソシエーション分析（Association Analysis）¹⁾アソシエーション分析入門であり、「商品Xを購買した顧客は商品Yも購買している」というような向きのある相関関係を得られることが特徴ですが、一方で時系列的な順序が考慮されないという欠点があります。

アソシエーション分析の一種であるバスケット分析（Basket Analysis）は、文字通り同じ買物かごに含まれる商品の組み合わせのパターンを分析する手法ですが、このように”同時“に発生する事象については問題ないものの、複数回の買物で購買商品がどのように推移したかというような、時系列の概念を含むパターンを分析することには向かないわけです。

そこで、時系列を考慮した頻出パターンマイニングである系列パターンマイニング（Sequential Pattern Mining：SPM）が、1995年にIBM研究所のR.AgrawalとR.Srikantによって提唱されました。また、このSPMがUXモデリングの比較的簡単なアプローチのひとつとして適用可能であることは、前回の「UXモデリング入門 #01」で説明した通りです。

そこで今回は、SPMを使ったUXモデリング実践の入門編をご紹介したいと思います。なお、分析ツールはGoogle BigQuery、Tableau Desktop、Google Cloud Datalabの三つを用いて進めます。それぞれについては「BigQueryではじめるSQL」「TableauではじめるBI」「アソシエーション分析入門 #02」を参照してください。

UXモデリングの手順。

UXモデリングは以下の手順で進めます。

1. 分析の背景の整理と目的の明確化
2. データ準備と基礎分析
3. 行動パターンのモデリング
4. 対象ユーザーの抽出と観察

データ分析に限らず、何らかの課題解決をするには、まずその背景を整理し、目的を明確化する必要があります。当たり前の話ですが、失敗するデータ分析の多くは、ここをあいまいにしたまま、とにかく何らかの有用な知識を獲得したいという思いのみで行われており、時間とコストを浪費する結果となっています。

またデータは「存在する」状態と「分析できる」状態では全く異なります。そして多くのデータは分析することを目的に収集されておらず、そもそも構造化されていない、あるいは欠損・異常値・表記揺れ（同義だが異句の状態）を含むこともあります。それらを加工し「分析できる」状態にすることをデータ準備（Data Preparation）といいます。

さらに、あまねく全てのデータを準備することはできないため、必然的に選択が行われ、偏りが必ず発生します。これを選択バイアス（Selection Bias）といいます。例えば、プリペイドカードの購買履歴には、カードの入金額の上限を超える高額商品の購買履歴がそもそも含まれていません。おそらくクレッジトカードなどの他の決済手段で購買しているのでしょう。このような偏りのあるデータで無邪気にRFM分析などを行うと、ミスリード（Misslead）を起こします。

選択バイアスを無くすことが理想ですが、現実には不可能であるため、データの全体像を俯瞰して分布と偏りを把握し、分析を進める上での前提条件として捉えておくことが重要です。その作業を基礎分析（Basic Analysis）といいます。

ここまで完了してようやくUXモデリングが実施可能となります。今回はUXモデリングの比較的簡単なアプローチとして系列パターンマイニング（Sequential Pattern Mining：SPM）を用い、時系列を考慮したユーザーの典型的な行動パターンをモデリングします。

最後に、獲得した行動パターンに基づいて、観察対象とするユーザーを抽出し、行動を観察します。すなわちデータエスノグラフィ（Data Ethnography）²⁾データエスノグラフィって？を行うわけです。UXモデリングにより獲得したモデルは、あくまで機械的に抽出された行動パターンに過ぎません。ユーザーの行動の因果関係を把握し、意思決定プロセスを理解するには、やはり一人ひとりの行動データをミクロ視点で観察し、時系列に追う必要があります。UXモデリングはそれを効率化する手法という位置付けです。

購買商品の時系列変化を捉える。

では、UXモデリングの実践を進めて行きましょう。まずは分析の背景の整理と目的の明確化を行います。

今回は「データエスノグラフィ入門」と連動し、総合ECサイトの会員の購買商品の時系列変化のパターンを捉え、優良化のヒントを獲得するという設定で進めます。分析対象データは、とある総合ECサイトの会員の購買履歴データとし、概要は以下のとおりです。

• 種類：総合ECサイトの会員の購買履歴
• 期間：2005年1月〜2013年12月（9年間）
• 会員数：639,777人
• 購買数：7,599,650件（平均11.9件/人）

データソースは以下の３つを使用します。なお、こちらはすでにBigQueryに投入済みとします。また、データセット名とテーブル名は任意ですが、ここでは「データエスノグラフィ入門」と合わせるため、データセット名を「DE」、テーブル名はファイル名をそのまま設定します。

これらのデータを使用し、ユーザーの購買商品の時系列変化の典型的なパターンをモデリングして行きます。なお、データ準備と基礎分析のプロセスは「データエスノグラフィ入門 #02」と同様であるためここでは割愛し、次回は行動データのモデリングの実践を行います。

行動パターンを発見する。

ユーザーの行動データから、購買の意思決定プロセスを把握したい、あるいは、思いもよらないニーズを発見したい。多くのマーケターやビジネスパーソンにとって、それはデータ活用におけるもっとも重要な関心ごとのひとつでしょう。

あるコンテンツXの閲覧（事象X）と、ある商品Yの購買（事象Y）には、強い共起性があるから、事象Yの意思決定に事象Xがなんらか関与している可能性が高いのではないか。そのような分析はよく行われることと思います。

一方で、事象Xと事象Yの因果関係の説明は難しい問題です。事象Xによる気持ちの変化があったから事象Yにいたったのか、最初から事象Yが起こることは決まっていて、たまたま事象Xをしただけなのかが判別しづらいからです。

因果関係を説明するには、まず時間の関係を把握することが必要です。当たり前ですが、原因と結果の前後が入れ替わることはありません。また、事象Xと事象Yの間に大きな時間の隔たりがある場合は因果関係を説明しづらくなります。加えて、事象Xが事象Yの発生に影響を与えていることも重要です。事象Xの有無に関わらず事象Yが起こるのであれば、因果関係は説明しづらくなります。

ユーザーの行動の因果関係を把握し、意思決定プロセスを理解するのに、一人ひとりの行動データをミクロ視点で観察し、時系列に追うデータエスノグラフィ（Data Ethnography）¹⁾データエスノグラフィって？という手法が有用であることは「データエスノグラフィって？」でも触れたとおりです。とはいえ、大量のデータから観察すべきユーザーを特定し、典型的な行動パターンを見つけることは容易ではありません。

シンプルな行動モデルを取り出す。

そこで、大量のデータからユーザーの行動モデルを機械的に取り出す手法が有効となります。クロスハックではこれをUXモデリング（UX Modeling）²⁾UXモデリングって？と呼んでいます。

大量データをモデリングする手法として真っ先に思いつくのは、機械学習（Machine Learning）³⁾いまさら聞けない機械学習でしょう。とりわけ深層学習（Deep Learning）⁴⁾いまさら聞けない深層学習は、特徴表現を自動的に行うため、大量データのモデリングには極めて有効です。

一方で、「UXモデリングって？」でも触れたとおり、深層学習には導出されたモデルが複雑化・ブラックボックス化するという欠点があります。複雑でブラックボックス化されたモデルは、解釈や説明ができません。解釈や説明ができないモデルは、ビジネスやデザインの意思決定に応用することができず、役に立ちません。UXモデリングでは、複雑なユーザー行動から解釈や説明をしやすいシンプルで汎用性のあるモデルを取り出すことが重要です。

時系列のアソシエーション分析。

ユーザーの行動データから行動パターンを取り出す手法の一つに、アソシエーション分析があります。アソシエーション分析（Association Analysis）⁵⁾アソシエーション分析入門は、事象Xと事象Yの事象間の相関性を分析する手法で、データマイニング（Data Mining）⁶⁾再考するデータマイニングの中核をなす分析手法のひとつです。

アソシエーション分析の詳細は「アソシエーション分析入門」に譲りますが、簡単に言うと、それにより得られるのは向きのある相関関係です。向きのある相関関係とは、例えば「商品Xを購買した顧客は商品Yも購買している」というようなものです。ただし、これはあくまで相関関係であり、因果関係を証明するものではありません。しかしながら、これをきっかけに因果推論（Causal Inference）⁷⁾いまさら聞けない因果推論やベイズ推定（Bayesian Inference）⁸⁾いまさら聞けないベイズ推定などを行うことで因果関係を明らかにする可能性が高まります。

ところで、アソシエーション分析は事象間の相関性を分析する手法の総称であり、特定の分析手法をさすものではありません。共起性に基づく分析手法が一般的ですが、他にもニューラルネットワーク（Neural Network）などを用いたアプローチもあります。また、共起性に基づく手法の中でも最もよく利用されるものにアプリオリ（Apriori）というアルゴリズムがあります。「アソシエーション分析入門」では、このアプリオリ・アルゴリズムを使った分析方法を解説しました。

一方で、アプリオリ・アルゴリズムを中心とした一般的なアソシエーション分析では、時間の関係が無視されます。例えば「商品Xを購買した顧客は商品Yも購買している」というのは、時系列的に商品Xと商品Yのどちらが先かは問われず、また商品Xと商品Yの購買の時間間隔も考慮されていません。

冒頭でも述べたとおり、因果関係の説明には時系列的順序や時間間隔といった時間の関係が極めて重要な要素となります。また、時間の関係がわからないと、次に発生するユーザー行動を予測することができません。そこで、時間の概念を考慮したアソシエーション分析が必要となります。それを系列パターンマイニング（Sequential Pattern Mining：SPM）といいます。

そこで、この「UXモデリング入門」では、UXモデリングの比較的簡単なアプローチのひとつとして、このSPMを用いた手法をご紹介します。次回以降で、その具体的なプロセスに触れて行きます。

アソシエーションルールを可視化。

Cloud Datalabにてアプリオリ・アルゴリズムの拡張モジュールであるmlxtendを用いて作成したアソシエーションルールを、BigQueryに書き出し、Tableauで可視化しながらアソシエーション分析を行います。

まずは前回の続きで、以下のコードを入力エリアに記述し、実行してみましょう。なお「to_gbq」関数の引数には、アソシエーションルールを格納したデータフレーム、書き込み先のテーブル名、GCPのプロジェクトIDを指定します。

なお、BigQueryへの書き出しがうまく行かない場合は、以下のコードでCSVファイルに書き出し、GCS（Google Cloud Storage）経由でBigQueryに取り込みます。

以下のように、BigQueryのデータセット「DE」の中に「sum_rules_aso」というテーブルが作成されていることを確認します。

続いて、テーブル「sum_rules_aso」をTableauに取り込んで分析します。Tableau Desktopであれば、スタート画面の［接続］にあるメニュー［Google BigQuery］から選択するだけでシームレスに連携できます。Tableau Publicであれば、GCS（Google Cloud Storage）経由でCSVファイルとしてエクスポートしてから取り込みます。

Tableauへの取り込みが完了したら、以下の手順でクロス集計表を作成し、アソシエーションルールを可視化します。

1. フィールドの「X」を［行］、「Y」を［列］シェルフにそれぞれドラッグ＆ドロップ。
2. フィールドの「Confidence」を［マーク］カードの［色］にドラッグ＆ドロップ。
3. ［マーク］カードのプルダウンで［四角］を選択。
4. 右上に表示される「合計（Confidence）」カードの右上の▼のメニューで［色の編集…］を選択。
5. ［色の編集］モーダルで［ステップド カラー］チェックをオン、［詳細］ボタン押下で表示される［中央］チェックをオンに設定。
6. フィールドの「Confidence」「Support」「Lift」を順に［マーク］カードの［テキスト］にドラッグ＆ドロップ。
7. フィールドの「Confidence」「Support」「Lift」のそれぞれについて、ピルの右端の▼のメニューで［フィルタを表示］を選択。

事象間の相関性を分析。

では、この表をもとに事象間の相関性を分析してみましょう。「アソシエーション分析入門 #01」でも触れたとおり、アソシエーションルールの指標の中でも、信頼度（Confidence）は、商品Xを購買した顧客が商品Yも購買する確率のことで、事象間の相関性を分析する基本指標となります。

とはいえこのままでは「X」「Y」の項目数が多く、分析しやすい状態とは言えません。これは支持度の閾値設定が低すぎることによるものです。支持度（Support）は、全体の購買の中で商品Xと商品Yのどちらも購買される確率のことで、アソシエーションルール作成時点では閾値を0.1に設定しましたが、少し上げることにします。右側の「合計（Support）」のフィルタからわかるとおり、支持度は0.1003から0.3910までの分布となっています。そこで左側の最小値設定を0.2に変更すると、以下のように表示が切り替わります。

ここで、ある特徴に気づきます。まず列方向に見ると「エレクトロニクス・コンピューター」「家庭・ガーデニング用品」「スポーツ・アウトドア」が軒並み高い信頼度となっています。次に行方向に見ると、さきほどの三つの商品カテゴリが軒並み低い信頼度となっています。

これは、この三つの商品カテゴリが他の商品との併売が強いことを意味しています。ただ注意したいのは、下図のとおり他の商品カテゴリと比較して、そもそもの購買件数が多いということです。このように、支持度には発生件数が多い事象を上位にスコアリングしてしまう特性があります。

成功確率が高い提案。

そこで注目するのがリフトです。リフト（Lift）は、全体の購買の中で商品Yが購買される確率に対する、商品Xを購買した顧客が商品Yも購買する確率（信頼度）の割合で、商品Xの購買が商品Yの購買に与える影響力の強さを示します。

これにより、ただ商品Yの購買件数が多いからではなく、商品Xの購買に影響を受けて信頼度が高くなった組み合わせを抽出することができます。右側の「合計（Lift）」のフィルタからわかるとおり、リフトは1.077から3.920までの分布となっています。そこで左側の最小値設定を1.3に変更すると、以下のように表示が切り替わります。

行方向に見ると「自動車・工業」の信頼度・リフトがともに高く、「エレクトロニクス・コンピューター」「家庭・ガーデニング用品」「スポーツ・アウトドア」を中心とした他の商品カテゴリの購買を押し上げる力が強いことがわかります。

この結果から、新たな商品カテゴリの提案は、「自動車・工業」購買経験者に対し「エレクトロニクス・コンピューター」「家庭・ガーデニング用品」「スポーツ・アウトドア」を軸に購買経験のないカテゴリを提案することが最も併売の成功確率が高いことがわかります。

このように、アソシエーション分析により「商品Xを購買した顧客は商品Yも購買している」という向きのある相関関係を抽出することで、併売戦略のヒントやエビデンスを獲得することが可能となるわけです。

新しい商品カテゴリの提案。

それでは、Cloud Datalabを利用した、Pythonによるアソシエーション分析のプログラミングを実践していきます。

今回は「データエスノグラフィ入門」と連動し、とある総合ECサイトの商品の併売傾向を深堀分析するという設定です。まず分析の背景と目的をおさらいします。

あなたは、とある総合ECサイトの責任者です。ECサイトでは、F2転換率が重要であると言われています。この”F”は購買頻度（Frequency）のことで、F2転換率とは初回購買から二回目購買への転換率（Conversion Rate）を意味します。一般的に、新規会員の獲得よりも、既存会員のリピート購買促進のほうがコスト効率が高いため、F2転換率は重要な指標となります。とはいえF2転換した会員が、その後も継続的に購買してくれる、いわゆる優良会員になるとは限りません。

そこで今回の分析目的を「優良化する会員の行動特性を、購買履歴データから把握する」とします。なおそこには、まだ優良化していな会員を意図的に優良化するためのヒントがあることは言うまでもありません。

分析対象データは、とある総合ECサイトの会員の購買履歴データで、概要は以下のとおりです。

• 種類：総合ECサイトの会員の購買履歴
• 期間：2005年1月〜2013年12月（9年間）
• 会員数：639,777人
• 購買数：7,599,650件（平均11.9件/人）

データソースは以下の３つを使用します。なお、こちらはすでにBigQueryに投入済みとします。

すべてのユーザーの行動の観察はできないため、似たユーザーをセグメント（Segment）に分類し、観察すべきセグメントを選定します。優良化の要因となる行動特性を把握するには、優良化している会員と優良化していない会員との間に存在する違いを比較観察すればよいので、観察すべきセグメントとはその二つになりますが、もう少し絞り込むために優良化との相関が強いサブセグメントを見つけます。例えば、優良化と高齢者の相関が強ければ、高齢者同士で比較すれば違いを発見しやすくなるということです。

優良化との相関が強いサブセグメントを見つけるには、まず二つの事象間の相関が仮説として想定されるものについて事実を検証していく検証的アプローチ（Verifying Approach）による分析を行います。今回の場合でいうと、特定の性別や年代、あるいは購買商品カテゴリなどの変数と優良化との間に相関があるという仮説を検証していきます。しかしながら、それらに相関がないことがわかりました。（※「データエスノグラフィ入門 #03」を参照）一方で、行動データ観察を進める中で、購買商品カテゴリ数と優良化との間に相関があることがわかりました。（※「データエスノグラフィ入門 #04」を参照）とりわけ購買商品カテゴリ数が8以上で優良会員の比率が大きく増えるため、そのサブセグメントに絞って行動データ観察をすると、優良化の要因となる行動特性を発見しやすくなると考えられます。

さらに、購買商品カテゴリ数と優良化の相関性は、新たな商品カテゴリを提案することが優良化につながる可能性を示唆しています。ただし、闇雲に提案するよりも、購買経験済みの商品カテゴリとの併売傾向が強い商品カテゴリを提案するほうが効果が高いと考えられます。そこでアソシエーション分析によりそれを明らかにします。

分析用のデータと環境を準備。

まずはBigQueryで分析用のテーブルを作成します。アソシエーション分析では会員IDごとに購買商品カテゴリの変数を持つテーブルが必要になりますが、購買商品カテゴリの数は会員ごとに異なるため、ARRAY_AGGという集計関数を用いて配列型で集計します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。また、このクエリ結果をデータセット「DE」に「sum_members_aso」という名前で保存します。なお併売傾向を捉えるには、購買商品カテゴリ数が複数である必要があるため、2以上の会員に限定しています［※1］。

続けて、Cloud Datalabでアソシエーションルールを作成するための実行環境を準備します。とはいえCloud Datalabには、GCP（Google Cloud Platform）との連携や、メジャーなデータ分析・機械学習系の拡張モジュールがあらかじめインストールされているため、多くはインポートするだけです。

まずはデータ分析用の拡張モジュールである「pandas」をインポートします。これはBigQueryから取り込んだ分析用テーブルをデータブレームで操作するためですが、同時にBigQueryとの直接クエリによる連携も可能となります。

また、アソシエーションルールの抽出ロジック自体は単純なため自作も可能ですが、大量データからの抽出には膨大な計算処理が必要となるため、高速化するアプリオリ（Apriori）というアルゴリズムを使用します。アプリオリを実装した拡張モジュールはいくつかありますが、いずれもCloud Datalabにはインストールされていないため、追加インストールが必要となります。今回は「mlxtend」という拡張モジュールを用います。インストールはpipコマンドで実施します。

ここまでの拡張モジュールの準備は、以下のコードで行うことが可能です。入力エリアに記述し、実行してみてください。

拡張モジュールの準備が完了したら、BigQueryで作成した分析用テーブルを取り込みます。それには「read_gbq」関数を使い、引数にBigQueryのクエリを実行するSQL文とGCPのプロジェクトIDを指定します。以下のコードを入力エリアに記述し、実行してみてください。

これでアソシエーションルールを抽出するための分析用のデータが整いました。

アソシエーションルールを作成。

では、アプリオリ・アルゴリズムの拡張モジュールであるmlxtendを用いて、アソシエーションルールの作成を行います。プログラム内容の詳細な説明はここでは割愛しますが、以下のようなコードで実現できます。入力エリアに記述し、実行してみてください。

なお「アソシエーション分析入門 #01」でも触れたとおり、分析の効率化のため、支持度とリフトについては、閾値を下回る組み合わせを事前に分析対象から除外します。ここでは支持度の閾値を0.1、リフトの閾値を1とします。プログラムでは「apriori()」関数の引数「min_support」が支持度の閾値の指定となるため「0.1」を代入します。また「association_rules()」関数の引数「metric」が閾値設定対象の指標の指定となるため「”lift”」を、同じく引数「min_threshold」がその閾値の指定となるため「1」を代入します。

最後の行の「df_table」というデータフレーム型の変数に、作成したアソシエーションルールが格納されています。入力エリアに「df_table」と記述して実行してみましょう。すると以下のような表が出力されます。

上表の列「X」「Y」は購買した商品カテゴリ、「Confidence」は信頼度、「Support」は支持度、「Lift」はリフトとなります。例えば、基本指標である商品カテゴリ「美容・健康・食料品」を購買した顧客が「エレクトロニクス・コンピューター」も購買する確率（信頼度）は0.70…で、補足指標である支持度は0.29…、リフトは1.13…となります。この状態でもアソシエーションルールの一部は見てとれますが、より分析をしやすくするためにTableauで可視化することにします。

次回は、作成したアソシエーションルールをBigQueryに書き出し、Tableauで可視化しながらアソシエーション分析を行います。

※参考までに、アソシエーションルールの作成をCloud DatalabではなくColabで行う場合のプログラムを以下に掲載しておきます。Cloud Datalabを利用できない方はこちらでお試しください。

Cloud Datalabを選ぶ理由。

アソシエーションルールを用いたアソシエーション分析の実践を進めて行きますが、分析ツールはGoogle BigQueryとGoogle Cloud Datalabを用います。BigQueryついては「BigQueryではじめるSQL」を参照してください。

Cloud Datalabは、Googleが提供するクラウドサービスで、フルマネージドなPython実行環境であり、総合的なクラウドコンピューティングサービスであるGCP（Google Cloud Platform）の一部です。その特長は以下のようになります。

• ブラウザUIの対話式プログラム実行環境で非常に手軽。
• クラウドの高性能なCPU・GPU・TPUを利用可能。
• メジャーな機械学習系ライブラリがインストール済み。
• BigQueryなどのGCPのクラウドサービスとシームレスに連携。

なお、Cloud Datalabに近いものとして「ColabではじめるPython」でも紹介した、同じくGoogleが提供するGoogle Colab¹⁾ColabではじめるPythonという無料サービスがあります。どちらもブラウザUIの対話式プログラム実行環境を提供するクラウドサービスですが、Cloud DatalabはColabと違い、GCPの一部となるため利用料がかかります。ただ、Colabはあくまで教育・研究用であり、秘匿性の高いデータを扱うことができないなどの制約があるため、ビジネス利用にはCloud Datalabを推奨します。

また、GCPのクラウドサービスとシームレスに連携できるという特長があります。具体的には、Cloud DatalabからBigQueryに直接クエリを実行できるため、データ準備（Data Preparation）をBigQueryでSQLにより行い、データマイニング（Data Mining）²⁾再考するデータマイニングや機械学習（Machine Learning）³⁾いまさら聞けない機械学習をCloud DatalabでPythonにより行うといった役割分担が容易になります。なお、BigQueryとのクエリ連携はColabでも可能です。

今回は「データエスノグラフィ入門」と連動し、とある総合ECサイトの商品の併売傾向を深堀分析するという設定でアソシエーション分析の実践を行うため、ビジネス利用を想定し、かつBigQueryとのシームレスな連携に優れるCloud Datalabを用いることにします。

Cloud Datalab環境を準備。

ColabはGoogleアカウントがあればすぐに始められますが、Cloud Datalabは環境の準備が必要です。まずはGCPコンソールにアクセスします。BigQueryの利用経験があれば、デフォルトプロジェクトのダッシュボードが表示されるはずです。GCPの通常のサービスは左上のハンバーガーメニューからサービスを選ぶだけで利用できますが、Cloud Datalabは現在はβ版ということもあり、そうなっていません。そこで以下の手順で環境を構築します。

1. Cloud Source Repositories API設定ページにアクセスし［有効にする］ボタンをクリック

2. 画面右上の［Cloud Shellをアクティブにする］ボタンをクリック

3. 画面下部の［Cloud Shell］ペインに以下のコマンドを入力し［Enterキー］で実行（※インスタンス名は任意、ここでは「xmdcom-lab」と命名）

$ datalab create xmdcom-lab

4. 画面下部の［Cloud Shell］ペインに表示される「Your selected zone:」のメッセージのあとに、ゾーン（zone）の選択肢に記載された番号を入力し［Enterキー］で実行（※ゾーンは任意、ここでは「34」を指定）

$ Your selected zone:34

5. Datalabインスタンス「xmdcom-lab」の作成が完了したら［Cloud Shell］の右上の［ウェブでプレビュー］ボタンをクリックし［ポートの変更］を選択

6. ［プレビュー ポートの変更］モーダルでポート番号を「8081」と入力し［変更してプレビュー］ボタンをクリック

7. 別ウィンドウで［Google Cloud Datalab］の画面が表示

これでCloud Datalabの利用が可能となります。

まずはお約束の「Hello, World!」

では、Cloud Datalabの操作方法を解説しながら、簡単なPythonプログラムを動かしてみます。まずは起動された［Google Cloud Datalab］画面の左上の［Notebook］ボタンをクリックして、ノートブック編集画面を立ち上げます。ここでいうノートブック（Notebook）は、対話式でプログラムを実行するUIの ことです。

ところでCloud Datalabは、Jupyter NotebookというブラウザUIの対話式プログラム実行環境をベースにしていますが、「Python vs. R どっち？」でも触れたとおり、Jupyter NotebookはPythonだけでなくRやJuliaなどのプログラム言語にも対応しています。それぞれのプログラム言語を動作させるためのコアエンジンをカーネル（Kernel）といい、どのカーネルを利用するかをUI上で選択した上でプログラムを実行します。

Cloud DatalabはいまのところRやJuliaには対応しておらずPythonのみですが、Python2とPython3の選択は可能です。この二つはPythonのバージョン違いですが、文法・関数・拡張モジュールなどが大きく異なり、互換性が高くありません。したがってプログラムを作成する前に、どちらを選択するかを明確にしておく必要があります。ここではPython3を選択します。

ノートブックの右上の［Kernel: python2］となっているエリアをクリックして［Kernel: python3］を選択します。これでプログラムをPython3で実行することが可能となります。

ノートブックには以下のような入力エリアがあり、ここにソースコードを記述して左端の「▶︎」ボタンをクリックするか、［Ctrl+Enter］もしくは［Shift+Enter］キーによりプログラムを実行できます。

ひとまず、お約束の「Hello, World!」を表示するプログラムを書いてみましょう。入力エリアに「print (‘Hello, World!’)」と記述し、実行してみてください。以下のように「Hello, World!」が出力エリアに表示されるかと思います。

なおCloud Datalabは、Google Compute Engine（GCE）という仮想マシン（Virtual Machine：VM）上でコンテナとしてパッケージ化されているものです。すなわちCloud Datalab起動中はGCEも起動されており、さらに課金体系はGCEに従うため、起動時間による従量課金となります。ということで、使わないときはCloud Datalabを終了しておいたほうがよいでしょう。

Cloud Datalabを終了するには、画面右上の［Account］ボタンをクリックして［Stop VM］ボタンをクリックします。終了すると［Cloud Shell］ペインに以下のようなメッセージが表示され、GCEのVMインスタンスも終了します。

$ Instance xmdcom-lab is no longer running (STOPPING)

Cloud Datalabを再び使う場合は、［Cloud Shell］ペインに以下のコマンドを入力し［Enterキー］で実行します。

$ datalab connect xmdcom-lab

次回はCloud Datalabを利用した、Pythonによるアソシエーション分析のプログラミングを実践していきます。

向きのある相関関係。

アソシエーション分析（Association Analysis）は、事象Xと事象Yの事象間の相関性を分析する手法で、データマイニング（Data Mining）¹⁾再考するデータマイニングの中核をなす分析手法のひとつですが、もともとはバスケット分析のために考案されたものです。

バスケット分析（Basket Analysis）は「商品Xを購買した顧客は商品Yも購買している」といった向きのある相関関係を抽出するもので、併売やマーチャンダイジングの戦略設計を目的に行われます。ちなみに、買い物かご（バスケット）に同時に入っている商品を分析するところから命名されました。その始まりは有名な「おむつとビール」の話で、1992年に大手スーパーマーケットチェーンのOsco DrugsがPOSデータを分析したところ、おむつとビールが併買されることが多いことがわかったというものです。現在ではAmazon.comのようなECサイトのレコメンデーションにも応用されています。

アソシエーション分析は、事象間の相関性を発見的アプローチ（Discovering Approach）で分析する手法ですが、この発見的であるという点がとても重要です。「データエスノグラフィ入門 #03」でも触れたとおり、事象間の相関性の分析には、検証的アプローチと発見的アプローチの二つがありますが、検証的アプローチ（Verifying Approach）は、相関の存在が仮説として想定されるものについて事実を検証していくアプローチであり、想定していない相関を見つけることはできません。分析対象データの変数が少ない場合は検証的アプローチで十分ですが、変数が多い場合は経験からは想定できない相関が潜在している可能性を否定できません。現に、おむつとビールの購買に相関があることを、熟練のマーケターたちは見抜けていなかったわけです。

アソシエーション分析によって得られる発見は、あくまで向きのある相関関係であり、因果関係を証明するものではありません。しかしながら、これをきっかけに因果推論（Causal Inference）²⁾いまさら聞けない因果推論やベイズ推定（Bayesian Inference）³⁾いまさら聞けないベイズ推定などを行うことで因果関係を明らかにする可能性が高まります。

そこで今回は、このアソシエーション分析の実践にむけた入門編をご紹介します。なお、分析ツールはGoogle BigQueryとGoogle Cloud Datalabを用いて進めます。BigQueryついては「BigQueryではじめるSQL」を参照してください。Cloud Datalabについては選択する理由と合わせて次回に解説します。

共起性に基づく分析手法。

実践に入る前に、分析の基本的な考え方についてまとめておきます。まずアソシエーション分析は事象間の相関性を分析する手法の総称であり、特定の分析手法をさすものではありません。共起性に基づく分析手法が一般的ですが、他にもニューラルネットワーク（Neural Network）⁴⁾いまさら聞けない機械学習などを用いたアプローチもあります。ここでは共起性に基づく分析手法を用います。

共起（Co-occurrence）は、自然言語処理分野で使われる概念で、複数の単語や熟語が同一の文において生起することをいいます。たとえば「しとしと」は「雨」とは共起しますが「雪」とは共起しません。そして共起性の強い単語や熟語は相関性が強いと言えます。この考え方を応用し、買い物かごを文に、商品を単語にそれぞれ見立てて、その共起性により相関性を分析する手法がバスケット分析です。

共起性の基本指標となるのが共起頻度です。共起頻度（Co-occurrence Frequency）は、事象Xと事象Yのどちらも発生した頻度のことで、バスケット分析では商品Xと商品Yを同時購買した履歴の頻度、もしくは両方の購買経験をもつ顧客の数をさします。数式で表すとこのようになります。

$$共起頻度：\mid X\cap Y \mid\\$$

参考までに、集合Xと集合Yの集合間の類似性の指標としてよく用いられるものに、Jaccaard係数・Dice係数・Simpson係数があります。いずれも0以上1以下の値で、1に近いほど類似性が高いということになります。これらを事象間の相関性に置き換えて説明すると以下のようになります。

Jaccard係数は、事象Xと事象Yのいずれかが発生した頻度に対する共起頻度の割合です。ただしこの係数には、共起頻度が高くても、事象Xと事象Yのいずれかの発生頻度が高い場合に相関性が下がるという問題があります。

$$Jaccard係数：\frac{\mid X\cap Y \mid}{\mid X\cup Y \mid} \\$$

Dice係数は、事象Xと事象Yのそれぞれの発生頻度の平均に対する共起頻度の割合です。分母を和集合から平均に置き換えることで、Jaccard係数の問題を緩和しています。とはいえ事象Xと事象Yのいずれかの発生頻度が極端に高い場合は、相関性が下がる問題を解消できません。

$$Dice係数：\frac{\mid X\cap Y \mid}{\frac{\mid X\mid+\mid Y\mid}{2}} \\$$

Simpson係数は、事象Xと事象Yのそれぞれの発生頻度の最小値に対する共起頻度の割合です。分母を平均から最小値に置き換えることで、Dice係数でも解消できない頻度差の問題を解消します。ただ逆に、事象Xと事象Yのいずれかの発生頻度が極端に低い場合は、全体の頻度によらず相関性がほぼ1になってしまうという問題があります。

$$Simpson係数：\frac{\mid X\cap Y \mid}{min\{\mid X \mid,\mid Y \mid\}} \\$$

また、これらの指標はいずれも、事象Xと事象Yは対称で向きを持たないため、逆にしても意味は変わりません。

アソシエーションルールと指標。

続いて、アソシエーション分析における事象間の相関性の指標としてよく用いられるアソシエーションルールについて説明します。アソシエーションルール（Association Rule）とは「商品Xを購入した顧客は商品Yも購入している」といった規則性のことで、信頼度・支持度・リフトの三つの指標を使うのが一般的です。わかりやすくするために、バスケット分析で説明します。

信頼度（Confidence）は、商品Xを購買した顧客が商品Yも購買する確率のことで、併売戦略やレコメンデーションにむけた分析の基本指標であり、以下の数式で表現されます。

$$信頼度：\frac{\mid X\cap Y\mid}{\mid X\mid} =P(Y\mid X)\\$$

これは「いまさら聞けないベイズ推定」でも触れた、ある事象Xが起こるという条件のもとでの事象Yの確率である条件付き確率（Conditional Probability）と同じものです。それゆえ、事象Xと事象Yは非対称で向きを持つため、逆にすると意味が変わります。「おむつとビール」の話は、おむつとビールの向きには言及していませんが、おむつを買った（買おうとしている）顧客にビールをお薦めするのか、ビールを買った（買おうとしている）顧客におむつをお薦めするのかという向きには重要な意味があります。

支持度（Support）は、全体の購買の中で商品Xと商品Yのどちらも購買される確率のことで、全体の購買の集合を｜A｜として以下の数式で表現されます。

$$支持度：\frac{\mid X\cap Y \mid}{\mid A\mid} =P(X\cap Y)\\$$

仮に、商品Xを購買した顧客が商品Yも購買する確率（信頼度）が80%だったとしても、商品Xと商品Yのいずれも購買した顧客が全体の1%にも満たない場合、統計的な信頼性が低いだけでなく、それをもとに併売戦略を立てたところでビジネス的に意味はありません。そこで補足指標として支持度を用います。また分析の効率化のため、支持度が閾値（0.1〜0.5が一般的）を下回る組み合わせは、事前に分析対象から除外します。

リフト（Lift）は、全体の購買の中で商品Yが購買される確率に対する商品Xを購買した顧客が商品Yも購買する確率（信頼度）の割合のことで、以下の数式で表現されます。

$$リフト：\frac{\frac{\mid X\cap Y \mid}{\mid X \mid}}{\frac{\mid Y \mid}{\mid A \mid}} =\frac{P(Y\mid X)}{P(Y)}\\$$

仮に、商品Xを購買した顧客が商品Yも購買する確率（信頼度）が80%だったとしても、そもそも商品Yが購買される確率が80%であれば、商品Xの購買が商品Yの購買に与える影響力を説明することはできません。そこで補足指標としてリフトを用います。また分析の効率化のため、リフトが閾値（1が一般的）を下回る組み合わせは、事前に分析対象から除外します。

次回以降で、これらのアソシエーションルールを用いたアソシエーション分析の実践を進めて行きます。