非階層型クラスタリングを実践。

前回は階層型クラスタリングでクラスター数のあたりをつけ、各クラスターの特徴を捉えました。今回は非階層型クラスタリングを実践します。

非階層型クラスタリング（Non-hierarchical Clustering）は階層的な構造を持たず、最初に決めたクラスター数にサンプルを分けていく手法です。ただし、いくつのクラスターに分けるかは分析者が決める必要があり、最適クラスター数を自動的には計算する方法は確立されていません。階層型と比較して計算量が少なく、サンプル数が多いデータの分析に適しています。

まずは階層型クラスタリングの結果との比較を行うため、前回と同様にサンプリングデータである「sum_members_cls_smp」を使用します。

まずはCloud Datalabで非階層型クラスタリングのための実行環境を準備します。とはいえCloud Datalabには、GCP（Google Cloud Platform）との連携や、メジャーなデータ分析・機械学習系の拡張モジュールがあらかじめインストールされているため、インポートするだけです。データ操作やBigQueryとの連携用に「pandas」、作成したクラスターの主成分分析の結果の可視化用に「matplotlib」、各種計算処理用に「numpy」「scikit-learn」 をそれぞれインポートします。

拡張モジュールの準備が完了したら、BigQueryで作成した分析用テーブルを取り込みます。それには「read_gbq」関数を使い、引数にBigQueryのクエリを実行するSQL文とGCPのプロジェクトIDを指定します。以下のコードを入力エリアに記述し、実行してみてください。

K平均法による併合。

では、機械学習用の拡張モジュールであるscikit-learnを用いて、非階層型クラスタリングを行います。以下のようなコードで実現できるので、入力エリアに記述し、実行してみてください。

なお、分類方法にはk平均法を用いています。k平均法（k-Means Method）は非階層型クラスタリングの代表的な分類手法で、クラスターの平均を用い、与えられたクラスター数k個に分類することからこのように命名されたものです。この計算処理にはscikit-learnのKMeansメソッドを用います。

また、k平均法の結果は多次元の距離で表現されるため、可視化するには次元圧縮を行う必要があります。次元圧縮のアルゴリズムとして最も一般的なのは主成分分析（Principal Component Analysis：PCA）ですが、ここでは非線形データを扱えるカーネル主成分分析（Kernel PCA）を選択します。この計算処理には同じくscikit-learnのKernel PCAメソッドを用います。結果をクラスターごとに色分けして散布図で描画すると以下のようになります。

この散布図から、大きく上下に塊が分離していることがわかります。これは縦軸に性別が選択された結果です。年齢はクラスタリングに影響を与えておらず、無視されています。横軸には商品カテゴリの購買傾向が表現されており、右側のオレンジとブルーの塊は、全商品カテゴリを購入している層となります。このうように散布図を見ることで、ある程度は視覚的に捉えることができます。とはいえ詳しく把握するには、クラスターごとに特徴を見る必要があります。

Tableauで可視化するとわかりやすいので、クラスタリング結果をいったんBigQueryに戻します。以下のコードを入力エリアに記述し、実行してみましょう。なお「to_gbq」関数の引数には、元の会員マスタにクラスターIDである「cluster」列を追加したデータフレーム、書き込み先のテーブル名、GCPのプロジェクトIDを指定します。

なお、BigQueryへの書き出しがうまく行かない場合は、以下のコードでCSVファイルに書き出し、GCS（Google Cloud Storage）経由でBigQueryに取り込みます。

クラスターごとの特徴を可視化。

「sum_clusters_non」テーブルをTableauで可視化します。クラスターIDを［行］、各説明変数の平均を［列］シェルフにそれぞれ設定すると、以下のようなビューが表示されます。

クラスターごとの特徴を見ると、クラスターID:1は女性のみで構成され、平均年齢は30代半ば、主に「家庭・ガーデニング用品」を購入しているセグメント、クラスターID:2は男性のみで構成され、平均年齢は30代半ば、全商品カテゴリを購入しているセグメント、などがわかります。

階層型と比較して、性別による分類が強く働いていることがわかります。また平均年齢については階層型と同様に分類にはほとんど影響を与えていません。購買商品カテゴリについては階層型と似たような分類結果となっています。

ここまでは階層型との比較のため、サンプリングデータを用いた非階層型クラスタリングを実施しましたが、同様の手順でノンサンプリングデータについても実施することが可能です。それには「sum_members_cls_non」テーブルを使用します。このデータの非階層型クラスタリングの分析結果も、上記と同様にTableauで可視化すると、以下のようなビューが表示されます。

クラスターごとの特徴を見ると、さきほどは男女で分かれていた全商品カテゴリ購買層が統合されて一つのクラスターになっているなど、分類に対する性別の影響力が弱まっており、概ね商品カテゴリの購買傾向による分類になっていることがわかります。これはサンプル数が増えているにも関わらず、購買傾向のパターンが増えずに固定化されることで影響力が高まり、相対的に性別の影響力が低下しているものと思われます。購買商品カテゴリの変数の値を購買頻度に合わせて重み付けするなど行えば、また違った分類結果が導出される可能性があります。

ここまで階層型および非階層型の両方のアプローチによるクラスター分析の実践を進めてきましたが、今回のようなビッグデータでもサンプル数を減らすことで階層型クラスタリングを実行でき、分類構造を視覚的に捉えながら妥当なクラスター数にあたりをつけた上で、最終的に非階層型クラスタリングでノンサンプリングデータの分類が可能であることがわかったかと思います。

このプロセスにより、大量の顧客データから「似た者同士」であるセグメントを分析し、すべての顧客データに割り当てた上でパーソナライゼーションを実行することが可能となります。

階層型クラスタリングを実践。

BigQueryにて分析データ環境が整ったところで、Cloud Datalabによるクラスター分析を行います。クラスター分析には階層型と非階層型の二つがあり、ここでは両方のアプローチを試みますが、今回は階層型クラスタリングを実践します。

階層型クラスタリング（Hierarchical Clustering）は、最も似ている対象の組み合わせから順にグルーピングしていく手法で、その過程で階層が構成され、最終的にデンドログラム（Dendrogram）と呼ばれる樹形図が完成します。順にグルーピングするため最初にクラスター数を決める必要はなく、後から決めることが可能であり、決めたクラスター数により最終的にどのグループをクラスターとするかが決まります。

まずはクラスターの分類構造を視覚的に捉えることが可能な階層型から行い、妥当なクラスター数のあたりをつけつつ、各クラスターの特徴を捉えてみることにします。

なお階層型クラスタリングではサンプル数が多いと極端に計算量が増え、また分類構造を捉えづらくなるためサンプリングデータで行います。分析対象データの会員数は64万人程度ですが、わかりやすさを重視して0.1%の636人にサンプリングします。前回作成した「sum_members_cls_smp」テーブルがそれに該当します。

まずはCloud Datalabで階層型クラスタリングのための実行環境を準備します。とはいえCloud Datalabには、GCP（Google Cloud Platform）との連携や、メジャーなデータ分析・機械学習系の拡張モジュールがあらかじめインストールされているため、インポートするだけです。データ操作やBigQueryとの連携用に「pandas」、作成したデントログラムの可視化用に「matplotlib」、各種計算処理用に「numpy」「scipy」 をそれぞれインポートします。

拡張モジュールの準備が完了したら、BigQueryで作成した分析用テーブルを取り込みます。それには「read_gbq」関数を使い、引数にBigQueryのクエリを実行するSQL文とGCPのプロジェクトIDを指定します。以下のコードを入力エリアに記述し、実行してみてください。

ウォード法による併合。

では、科学計算の拡張モジュールであるscipyを用いて、階層型クラスタリングを行います。以下のようなコードで実現できるので、入力エリアに記述し、実行してみてください。

なお、併合方法にウォード法を、測定距離にユークリッド距離をそれぞれ指定しています。ユークリッド距離（Euclidean Distance）については「クラスター分析入門 #01」で説明しているのでそちらを参照してください。ここではウォード法（Ward Method）について簡単に補足しておきます。クラスターXの重心とクラスター内の各要素との距離の二乗和をL(X)とするとして、クラスターAとBを併合したクラスターのL(A∪B)と、併合前のそれぞれのクラスターのL(A)およびL(B)の合計との差が最小になるようなクラスター同士を併合する手法がウォード法です。式で表現すると、以下のΔが最小になるように計算します。計算量は多いものの分類精度が高く、階層型クラスタリングの併合手法としてよく用いられます。

$$Δ = L(A∪B) -(L(A)+L(B))\\$$

実行結果として、以下のようなデンドログラム（Dendrogram）が描画されるかと思います。なお、上記のプログラムでthresholdという変数に8を指定していますが、これは縦軸の8の位置に水平方向の補助線を引くという意味で、その補助線とデンドログラムが交差する点がクラスターの分割ポイントとなります。すなわち指定する値によりクラスター数を変えることが可能ということです。冒頭で階層型は最初にクラスター数を決める必要はなく、後から決めることが可能だと言いましたが、これがそのことです。補助線で分割された各クラスターは色分けして描画され、左から順に正の整数でクラスターIDが付与されます。

このデンドログラムから、クラスター数は10程度が妥当ではないかというあたりがつけられます。とはいえ各クラスターの特徴や、なぜこのように分類されたのかがわかりません。それにはクラスターごとに特徴量を見る必要があります。

Tableauで可視化するとわかりやすいので、クラスタリング結果をいったんBigQueryに戻します。以下のコードを入力エリアに記述し、実行してみましょう。なお「to_gbq」関数の引数には、元の会員マスタにクラスターIDである「cluster」列を追加したデータフレーム、書き込み先のテーブル名、GCPのプロジェクトIDを指定します。

なお、BigQueryへの書き出しがうまく行かない場合は、以下のコードでCSVファイルに書き出し、GCS（Google Cloud Storage）経由でBigQueryに取り込みます。

クラスターごとの特徴を可視化。

「sum_clusters_hrc」テーブルをTableauで可視化します。クラスターIDを［行］、各説明変数の平均を［列］シェルフにそれぞれ設定すると、以下のようなビューが表示されます。

説明変数はすべて0から1の値であるため、平均値の範囲も同様になります。また、平均値が0から1のどこにあるかで変数の特徴がわかります。たとえばクラスターID:1は性別が0.4程度と男性の比率が高く、クラスターID:4は性別が0.6程度と女性の比率が高いことがわかります。

このようにクラスターごとの各変数の値を見ることで、各クラスターの特徴や、なぜそのように分類されたのかが見えてきます。具体的には、クラスターID:2は男女比率が同程度で、平均年齢は30代後半、全商品カテゴリを購入しているセグメント、クラスターID:4は女性の比率が高く、平均年齢は30代半ば、主に「エレクトロニクス・コンピューター」「家庭・ガーデニング用品」を購入しているセグメント、などがわかります。

また全体感として平均年齢にあまり差異はなく、分類にはほぼ影響していないことがわかります。性別については、男女比40%から60%の範囲でばらついており、やや影響していることがわかります。購買商品カテゴリについては、全商品カテゴリを購入している層と特定の商品カテゴリのみを購入している層に分かれていることがわかります。これは購入頻度との相関がありそうです。

ここでの階層型クラスタリングは、わかりやすさを重視してサンプル数をかなり減らしており、統計的な信頼度は低いといえます。しかしながら、仮説として妥当なクラスター数のあたりをつけたり、どのように分類されるかの傾向を見るには十分な材料と言えるでしょう。

次回は非階層型クラスタリングを実践します。

Cloud Datalabでクラスター分析。

ここからクラスター分析の実践を進めて行きますが、分析ツールはGoogle BigQueryとGoogle Cloud Datalabを用います。BigQueryついては「BigQueryではじめるSQL」、Cloud Datalabについては選択する理由と合わせて「アソシエーション分析入門 #02」に詳しいのでそちらを参照してください。

なお、Cloud Datalabに近いものとして「ColabではじめるPython」でも紹介した、同じくGoogleが提供するGoogle Colab¹⁾ColabではじめるPythonという無料サービスがあります。ただ、Colabはあくまで教育・研究用であり、秘匿性の高いデータを扱うことができないなどの制約があるため、ビジネス利用にはCloud Datalabを推奨します。

今回は「データエスノグラフィ入門」と連動し、とある総合ECサイトの会員のセグメンテーションを行うという設定でクラスター分析の実践を行うため、ビジネス利用を想定し、Cloud Datalabを用いることにします。

新しい商品カテゴリの提案。

それでは、Cloud Datalabを利用したPythonによるクラスター分析のプログラミングを実践していきます。まず分析の背景と目的を整理します。

あなたは、とある総合ECサイトの責任者です。ECサイトでは、F2転換率が重要であると言われています。この”F”は購買頻度（Frequency）のことで、F2転換率とは初回購買から二回目購買への転換率（Conversion Rate）を意味します。一般的に、新規会員の獲得よりも、既存会員のリピート購買促進のほうがコスト効率が高いため、F2転換率は重要な指標となります。とはいえF2転換した会員が、その後も継続的に購買してくれる、いわゆる優良会員になるとは限りません。

そこで今回の分析目的を「優良化する会員の行動特性を、購買履歴データから把握する」とします。なおそこには、まだ優良化していな会員を意図的に優良化するためのヒントがあることは言うまでもありません。

分析対象データは、とある総合ECサイトの会員の購買履歴データで、概要は以下のとおりです。

• 種類：総合ECサイトの会員の購買履歴
• 期間：2005年1月〜2013年12月（9年間）
• 会員数：639,777人
• 購買数：7,599,650件（平均11.9件/人）

データソースは以下の３つを使用します。なお、こちらはすでにBigQueryに投入済みとします。

行動特性の分析を進める中で、購買商品カテゴリ数と優良化との間に相関があることがわかりました。（※「データエスノグラフィ入門 #04」を参照）これは、新たな商品カテゴリを提案することが優良化につながる可能性を示唆しています。ただし、闇雲に提案するよりも、類似する会員セグメントの併売傾向と照らし合わせ、未購買商品カテゴリを提案するほうが効果が高いと考えられます。そこでクラスター分析によりそれを明らかにします。

変数選択とダミー変数。

まずはクラスタリングに用いる説明変数を定義します。説明変数を定義することを変数選択や特徴選択といいますが、非常に難しい問題なので、ここでは深く触れず、ひとまず「性別・年齢・購買商品カテゴリ」とします。

次に、定義した説明変数の中で相関する変数がないかを確認します。「クラスター分析入門 #01」でも触れたとおり、クラスター分析において強い相関をもつ変数の存在は冗長で無意味であり、予めどちらかを除外する必要があります。

変数間の相関性は、質的変数であればクロス集計（Cross Tabulation）、量的変数であれば散布図（Scatter Plot）などの手法を用いて分析します。ここでは詳しいプロセスは省略しますが、各変数間に相関性が見られないことが下図にて確認できます。

次にクラスタリング用のデータを用意するわけですが、ここでひとつ前処理が必要になります。「クラスター分析入門 #01」で説明したとおり要素間の距離を類似度とみなすことで類似性を分析するのですが、距離を測定するためには変数が数値化されている必要があります。年齢のような量的変数は問題ありませんが、性別や購買商品カテゴリは質的変数であるため、そのままでは数値として扱うことができません。そこでダミー変数という概念を用います。

ダミー変数（Dummy Variable）とは、質的変数を量的変数として扱うための変数のことで、0と1の二項値を持ちます。例えば、性別であれば”男性”と”女性”の二項値の場合はそのまま男性を0、女性を1のように設定します。

ただし、最近では性別の選択肢に”その他”を設定しているケースも多く、その場合は二項値になりません。このような多項値の場合には、変数の値を別々の真偽値をもつ変数に分解し、偽を0、真を1のように設定します。

今回の対象データでいうと、性別は男性と女性の二項値になっているため、そのままダミー変数にすることができます。なお、購買商品カテゴリについては、それぞれについて購買経験の有無により真偽値を設定することとします。

ところで、年齢については量的変数であるため説明変数として扱うことが可能ですが、クラスタリングに使うには他の説明変数と値の範囲を揃える必要があります。すなわちダミー変数と同じ0から1の値になるように調整することになります。年齢はおよそ0歳から100歳なので、100で割った値を説明変数とします。なお、このように説明変数の値の範囲を変えることを特徴のスケール（Feature Scaling）、値の範囲を揃えることを正規化（Normalization）といいます。

以上を踏まえ、クラスタリング用のデータを以下のスキーマ定義で作成します。

この定義に従ってBigQueryで分析用のテーブルを作成します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。このクエリ結果をデータセット「DE」に「sum_members_cls_ non」という名前で保存します。なお、こちらはノンサンプリングデータになります。

また、計算量を減らし、かつ分類構造を視覚的に捉えやすくするため、ここでは主にサンプリングデータを用いることにします。クエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。このクエリ結果をデータセット「DE」に「sum_members_cls_smp」という名前で保存します。さきほどとの違いは、WHERE文に会員IDを1,000で割った剰余が0の場合に限定するという条件文を追加している点で［※1］、0.1%のサンプリングを意味します。

これで分析用のデータと環境は整いました。次回以降で、階層型・非階層型のそれぞれのアプローチでクラスター分析を進めて行きます。

似た者同士を集める。

クラスター分析（Cluster Analysis）は、異なる性質を持つ要素が混ざり合った集合から、互いに似た性質を持つ要素を集めた部分集合を作る手法で、データマイニング（Data Mining）¹⁾再考するデータマイニングの中核をなす分析手法のひとつです。なお、クラスター（Cluster）とは房・群れ・集団を意味します。

ところで「いまさら聞けない機械学習」で教師なし学習（Unsupervised Learning）の手法としてクラスタリング（Clustering）を紹介しましたが、手法としては全く同じものです。データマイニングでは気づいていない似た性質を持つ集合を発見することを主な目的とし、機械学習では今後発生する事象がどの集合に分類されるかを予測することを主な目的とします。

なお、教師なし学習であるため、クラスターの分類基準はあらかじめ決まっていません。与えられた変数や特徴量をもとに、性質の近い要素を半自動的に抽出して分類することになります。

クラスター分析はマーケティング領域でよく用いられます。「再考するパーソナライゼーション」でも触れたとおり、多様化する生活者の価値観に個別に最適化することをパーソナライゼーション（Peasonalization）といい、そのアプローチにより売上を最大化するマーケティング戦略を1to1マーケティングといいますが、実際にはすべての個人に対して個別に最適化することは難しく、似た者同士での分類、すなわちセグメンテーション（Segmentation）を行う必要があります。一方で、分類基準が自明である場合はよいものの、顧客の価値観や意思決定に関わる因子は極めて複雑であり、多くの場合は自明ではありません。

そのような場合においてクラスター分析は有効な手段であり、顧客データが持つ性別・年齢・購買傾向などのさまざまな変数から似た者同士をクラスターとして抽出することで、セグメンテーションのヒントを得ることが可能となります。

そこで今回は、このクラスター分析の実践にむけた入門編をご紹介します。なお、分析ツールはGoogle BigQueryとGoogle Cloud Datalabを用いて進めます。BigQueryついては「BigQueryではじめるSQL」、Cloud Datalabについては選択する理由と合わせて「アソシエーション分析入門 #02」に詳しいのでそちらを参照してください。

階層型と非階層型。

実践に入る前に、分析の基本的な考え方についてまとめておきます。まずクラスター分析は要素間の類似性を分析する手法の総称であり、特定の分析手法をさすものではありません。分類の形式や要素間の類似度の計算ロジックにより、いくつかの手法に分かれます。

• 分類の形式：階層型、非階層型
• 分類に用いる距離：ユークリッド距離、マハラノビス距離など
• 分類における併合方法：ウォード法、k平均法など

まず大きく階層型と非階層型に分かれます。それぞれの詳細は次回以降に後述するとして、ここでは概要を説明しておきます。

階層型クラスタリング（Hierarchical Clustering）は、最も似ている対象の組み合わせから順にグルーピングしていく手法で、その過程で階層が構成され、最終的にデンドログラム（Dendrogram）と呼ばれる樹形図が完成します。順にグルーピングするため最初にクラスター数を決める必要はなく、後から決めることが可能であり、決めたクラスター数により最終的にどのグループをクラスターとするかが決まります。

非階層型クラスタリング（Non-hierarchical Clustering）は階層的な構造を持たず、最初に決めたクラスター数にサンプルを分けていく手法です。ただし、いくつのクラスターに分けるかは分析者が決める必要があり、最適クラスター数を自動的には計算する方法は確立されていません。階層型と比較して計算量が少なく、サンプル数が多いデータの分析に適しています。

階層型と非階層型の使い分けについて、データのサンプル数が多い場合には非階層型が有利であることから、ビッグデータ分析では非階層型を使うと説明される場合もありますが、それには異論があります。

ビッグデータであっても、分類の軸となる変数や特徴量をつかむことが目的であれば、サンプリングによりサンプル数を減らしての分析も可能です。むしろ、どのように分類されるかの傾向や、あるいは分類の構造をつかみたい場合は、最初にクラスター数を決める必要がなく、さらに分類結果が構造化される階層型のほうが有利な場合も少なくありません。非階層型は、とにかく分類はされるものの、指定したクラスター数の妥当性や、なぜそのように分類されたかの構造を視覚的につかむことができないからです。

このように、階層型と非階層型のどちらが適しているかは、データ量だけでなく分析の目的やデータの理解度などによっても異なりますし、どちらが適しているかがわからない場合も多いため、両方のアプローチをとることをおすすめします。この記事においても、両方のアプローチで進めることにします。

距離を類似度とみなす。

続いて、クラスター分析における距離について説明します。クラスター分析は似た者同士に分類する手法ですが、それには要素間の類似度を定量的に測定する必要があります。そして類似度は、要素間の距離として定量的に測定することが可能です。例えば、あるクラスの生徒の身長と体重のデータを二次元平面にプロットしたとします。その中で、似た体格の生徒は距離的に近い場所にプロットされるはずです。これが、類似度を距離で測定できるということです。すなわち要素間の距離を類似度とみなすことができるということになります。

ところで、数学やデータサイエンスで使う距離にはいくつかの種類があります。日常で用いる距離は、数学的にはユークリッド距離（Euclidean Distance）と呼ばれるもので、要素Aと要素Bの二点間の距離は、二次元平面であればピタゴラスの定理により計算することが可能です。これをN次元に拡張にすると、以下の数式で表現されることになります。

$$d(A, B) =\sqrt{(A_1-B_1)^2+…+(A_n-B_n)^2}\\$$

数学の世界では、ユークリッド距離以外にも、マハラノビス距離やコサイン距離など多数の距離が存在します。ここでは距離の深掘りは避けておきますが、ユークリッド距離以外の距離の捉え方がある、ということを理解するために、マハラノビス距離について簡単に触れておきます。マハラノビス距離（Mahalanobis’ Distance）は、相関性を考慮した距離の捉え方です。

先ほどの例で、あるクラスの生徒の身長と体重のデータを二次元平面にプロットした場合に、似た体格の生徒は距離的に近い場所にプロットされると言いました。では身長も体重も平均的な生徒Aさんから見た場合に等距離にいる生徒は、みな体格の類似度は同じに見えると言えるでしょうか。たとえば、Aさんよりも身長が高く体重も重いBさんと、Aさんよりも身長は低いものの体重が重いCさんがいた場合に、Aさんからの距離がBさんとCさんで同じになることがありますが、Bさんの体型はAさんと比較的似ているものの、Cさんはかなり太っているように見えるはずです。

これは、身長と体重の間に相関がある、すなわち身長が高くなるほど体重も重たくなるという性質によるものです。この場合は相関性を考慮し、相関の強い方向の距離を、実際のユークリッド距離よりも相対的に短く測定することで、実態に近い類似度を表現することが可能となります。これがマハラノビス距離の考え方です。

実際のデータ分析においては、先ほどの身長と体重のように、データの変数間に相関が存在することが少なくありません。その場合はマハラノビス距離を用いるべき、という話になりそうですが、実際にはほとんど用いることはありません。なぜならクラスター分析では、身長と体重のように強い相関をもつ変数の存在は冗長で無意味であり、予めどちらかを除外するからです。言い方を変えると、クラスター分析を行うプロセスにおいては、変数間の相関性を予め分析しておく必要があるということになります。

以上の考え方を踏まえ、次回以降でクラスター分析の実践を進めて行きます。

アソシエーションルールを可視化。

Cloud Datalabにてアプリオリ・アルゴリズムの拡張モジュールであるmlxtendを用いて作成したアソシエーションルールを、BigQueryに書き出し、Tableauで可視化しながらアソシエーション分析を行います。

まずは前回の続きで、以下のコードを入力エリアに記述し、実行してみましょう。なお「to_gbq」関数の引数には、アソシエーションルールを格納したデータフレーム、書き込み先のテーブル名、GCPのプロジェクトIDを指定します。

なお、BigQueryへの書き出しがうまく行かない場合は、以下のコードでCSVファイルに書き出し、GCS（Google Cloud Storage）経由でBigQueryに取り込みます。

以下のように、BigQueryのデータセット「DE」の中に「sum_rules_aso」というテーブルが作成されていることを確認します。

続いて、テーブル「sum_rules_aso」をTableauに取り込んで分析します。Tableau Desktopであれば、スタート画面の［接続］にあるメニュー［Google BigQuery］から選択するだけでシームレスに連携できます。Tableau Publicであれば、GCS（Google Cloud Storage）経由でCSVファイルとしてエクスポートしてから取り込みます。

Tableauへの取り込みが完了したら、以下の手順でクロス集計表を作成し、アソシエーションルールを可視化します。

1. フィールドの「X」を［行］、「Y」を［列］シェルフにそれぞれドラッグ＆ドロップ。
2. フィールドの「Confidence」を［マーク］カードの［色］にドラッグ＆ドロップ。
3. ［マーク］カードのプルダウンで［四角］を選択。
4. 右上に表示される「合計（Confidence）」カードの右上の▼のメニューで［色の編集…］を選択。
5. ［色の編集］モーダルで［ステップド カラー］チェックをオン、［詳細］ボタン押下で表示される［中央］チェックをオンに設定。
6. フィールドの「Confidence」「Support」「Lift」を順に［マーク］カードの［テキスト］にドラッグ＆ドロップ。
7. フィールドの「Confidence」「Support」「Lift」のそれぞれについて、ピルの右端の▼のメニューで［フィルタを表示］を選択。

事象間の相関性を分析。

では、この表をもとに事象間の相関性を分析してみましょう。「アソシエーション分析入門 #01」でも触れたとおり、アソシエーションルールの指標の中でも、信頼度（Confidence）は、商品Xを購買した顧客が商品Yも購買する確率のことで、事象間の相関性を分析する基本指標となります。

とはいえこのままでは「X」「Y」の項目数が多く、分析しやすい状態とは言えません。これは支持度の閾値設定が低すぎることによるものです。支持度（Support）は、全体の購買の中で商品Xと商品Yのどちらも購買される確率のことで、アソシエーションルール作成時点では閾値を0.1に設定しましたが、少し上げることにします。右側の「合計（Support）」のフィルタからわかるとおり、支持度は0.1003から0.3910までの分布となっています。そこで左側の最小値設定を0.2に変更すると、以下のように表示が切り替わります。

ここで、ある特徴に気づきます。まず列方向に見ると「エレクトロニクス・コンピューター」「家庭・ガーデニング用品」「スポーツ・アウトドア」が軒並み高い信頼度となっています。次に行方向に見ると、さきほどの三つの商品カテゴリが軒並み低い信頼度となっています。

これは、この三つの商品カテゴリが他の商品との併売が強いことを意味しています。ただ注意したいのは、下図のとおり他の商品カテゴリと比較して、そもそもの購買件数が多いということです。このように、支持度には発生件数が多い事象を上位にスコアリングしてしまう特性があります。

成功確率が高い提案。

そこで注目するのがリフトです。リフト（Lift）は、全体の購買の中で商品Yが購買される確率に対する、商品Xを購買した顧客が商品Yも購買する確率（信頼度）の割合で、商品Xの購買が商品Yの購買に与える影響力の強さを示します。

これにより、ただ商品Yの購買件数が多いからではなく、商品Xの購買に影響を受けて信頼度が高くなった組み合わせを抽出することができます。右側の「合計（Lift）」のフィルタからわかるとおり、リフトは1.077から3.920までの分布となっています。そこで左側の最小値設定を1.3に変更すると、以下のように表示が切り替わります。

行方向に見ると「自動車・工業」の信頼度・リフトがともに高く、「エレクトロニクス・コンピューター」「家庭・ガーデニング用品」「スポーツ・アウトドア」を中心とした他の商品カテゴリの購買を押し上げる力が強いことがわかります。

この結果から、新たな商品カテゴリの提案は、「自動車・工業」購買経験者に対し「エレクトロニクス・コンピューター」「家庭・ガーデニング用品」「スポーツ・アウトドア」を軸に購買経験のないカテゴリを提案することが最も併売の成功確率が高いことがわかります。

このように、アソシエーション分析により「商品Xを購買した顧客は商品Yも購買している」という向きのある相関関係を抽出することで、併売戦略のヒントやエビデンスを獲得することが可能となるわけです。

新しい商品カテゴリの提案。

それでは、Cloud Datalabを利用した、Pythonによるアソシエーション分析のプログラミングを実践していきます。

今回は「データエスノグラフィ入門」と連動し、とある総合ECサイトの商品の併売傾向を深堀分析するという設定です。まず分析の背景と目的をおさらいします。

あなたは、とある総合ECサイトの責任者です。ECサイトでは、F2転換率が重要であると言われています。この”F”は購買頻度（Frequency）のことで、F2転換率とは初回購買から二回目購買への転換率（Conversion Rate）を意味します。一般的に、新規会員の獲得よりも、既存会員のリピート購買促進のほうがコスト効率が高いため、F2転換率は重要な指標となります。とはいえF2転換した会員が、その後も継続的に購買してくれる、いわゆる優良会員になるとは限りません。

そこで今回の分析目的を「優良化する会員の行動特性を、購買履歴データから把握する」とします。なおそこには、まだ優良化していな会員を意図的に優良化するためのヒントがあることは言うまでもありません。

分析対象データは、とある総合ECサイトの会員の購買履歴データで、概要は以下のとおりです。

• 種類：総合ECサイトの会員の購買履歴
• 期間：2005年1月〜2013年12月（9年間）
• 会員数：639,777人
• 購買数：7,599,650件（平均11.9件/人）

データソースは以下の３つを使用します。なお、こちらはすでにBigQueryに投入済みとします。

すべてのユーザーの行動の観察はできないため、似たユーザーをセグメント（Segment）に分類し、観察すべきセグメントを選定します。優良化の要因となる行動特性を把握するには、優良化している会員と優良化していない会員との間に存在する違いを比較観察すればよいので、観察すべきセグメントとはその二つになりますが、もう少し絞り込むために優良化との相関が強いサブセグメントを見つけます。例えば、優良化と高齢者の相関が強ければ、高齢者同士で比較すれば違いを発見しやすくなるということです。

優良化との相関が強いサブセグメントを見つけるには、まず二つの事象間の相関が仮説として想定されるものについて事実を検証していく検証的アプローチ（Verifying Approach）による分析を行います。今回の場合でいうと、特定の性別や年代、あるいは購買商品カテゴリなどの変数と優良化との間に相関があるという仮説を検証していきます。しかしながら、それらに相関がないことがわかりました。（※「データエスノグラフィ入門 #03」を参照）一方で、行動データ観察を進める中で、購買商品カテゴリ数と優良化との間に相関があることがわかりました。（※「データエスノグラフィ入門 #04」を参照）とりわけ購買商品カテゴリ数が8以上で優良会員の比率が大きく増えるため、そのサブセグメントに絞って行動データ観察をすると、優良化の要因となる行動特性を発見しやすくなると考えられます。

さらに、購買商品カテゴリ数と優良化の相関性は、新たな商品カテゴリを提案することが優良化につながる可能性を示唆しています。ただし、闇雲に提案するよりも、購買経験済みの商品カテゴリとの併売傾向が強い商品カテゴリを提案するほうが効果が高いと考えられます。そこでアソシエーション分析によりそれを明らかにします。

分析用のデータと環境を準備。

まずはBigQueryで分析用のテーブルを作成します。アソシエーション分析では会員IDごとに購買商品カテゴリの変数を持つテーブルが必要になりますが、購買商品カテゴリの数は会員ごとに異なるため、ARRAY_AGGという集計関数を用いて配列型で集計します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。また、このクエリ結果をデータセット「DE」に「sum_members_aso」という名前で保存します。なお併売傾向を捉えるには、購買商品カテゴリ数が複数である必要があるため、2以上の会員に限定しています［※1］。

続けて、Cloud Datalabでアソシエーションルールを作成するための実行環境を準備します。とはいえCloud Datalabには、GCP（Google Cloud Platform）との連携や、メジャーなデータ分析・機械学習系の拡張モジュールがあらかじめインストールされているため、多くはインポートするだけです。

まずはデータ分析用の拡張モジュールである「pandas」をインポートします。これはBigQueryから取り込んだ分析用テーブルをデータブレームで操作するためですが、同時にBigQueryとの直接クエリによる連携も可能となります。

また、アソシエーションルールの抽出ロジック自体は単純なため自作も可能ですが、大量データからの抽出には膨大な計算処理が必要となるため、高速化するアプリオリ（Apriori）というアルゴリズムを使用します。アプリオリを実装した拡張モジュールはいくつかありますが、いずれもCloud Datalabにはインストールされていないため、追加インストールが必要となります。今回は「mlxtend」という拡張モジュールを用います。インストールはpipコマンドで実施します。

ここまでの拡張モジュールの準備は、以下のコードで行うことが可能です。入力エリアに記述し、実行してみてください。

拡張モジュールの準備が完了したら、BigQueryで作成した分析用テーブルを取り込みます。それには「read_gbq」関数を使い、引数にBigQueryのクエリを実行するSQL文とGCPのプロジェクトIDを指定します。以下のコードを入力エリアに記述し、実行してみてください。

これでアソシエーションルールを抽出するための分析用のデータが整いました。

アソシエーションルールを作成。

では、アプリオリ・アルゴリズムの拡張モジュールであるmlxtendを用いて、アソシエーションルールの作成を行います。プログラム内容の詳細な説明はここでは割愛しますが、以下のようなコードで実現できます。入力エリアに記述し、実行してみてください。

なお「アソシエーション分析入門 #01」でも触れたとおり、分析の効率化のため、支持度とリフトについては、閾値を下回る組み合わせを事前に分析対象から除外します。ここでは支持度の閾値を0.1、リフトの閾値を1とします。プログラムでは「apriori()」関数の引数「min_support」が支持度の閾値の指定となるため「0.1」を代入します。また「association_rules()」関数の引数「metric」が閾値設定対象の指標の指定となるため「”lift”」を、同じく引数「min_threshold」がその閾値の指定となるため「1」を代入します。

最後の行の「df_table」というデータフレーム型の変数に、作成したアソシエーションルールが格納されています。入力エリアに「df_table」と記述して実行してみましょう。すると以下のような表が出力されます。

上表の列「X」「Y」は購買した商品カテゴリ、「Confidence」は信頼度、「Support」は支持度、「Lift」はリフトとなります。例えば、基本指標である商品カテゴリ「美容・健康・食料品」を購買した顧客が「エレクトロニクス・コンピューター」も購買する確率（信頼度）は0.70…で、補足指標である支持度は0.29…、リフトは1.13…となります。この状態でもアソシエーションルールの一部は見てとれますが、より分析をしやすくするためにTableauで可視化することにします。

次回は、作成したアソシエーションルールをBigQueryに書き出し、Tableauで可視化しながらアソシエーション分析を行います。

※参考までに、アソシエーションルールの作成をCloud DatalabではなくColabで行う場合のプログラムを以下に掲載しておきます。Cloud Datalabを利用できない方はこちらでお試しください。

Cloud Datalabを選ぶ理由。

アソシエーションルールを用いたアソシエーション分析の実践を進めて行きますが、分析ツールはGoogle BigQueryとGoogle Cloud Datalabを用います。BigQueryついては「BigQueryではじめるSQL」を参照してください。

Cloud Datalabは、Googleが提供するクラウドサービスで、フルマネージドなPython実行環境であり、総合的なクラウドコンピューティングサービスであるGCP（Google Cloud Platform）の一部です。その特長は以下のようになります。

• ブラウザUIの対話式プログラム実行環境で非常に手軽。
• クラウドの高性能なCPU・GPU・TPUを利用可能。
• メジャーな機械学習系ライブラリがインストール済み。
• BigQueryなどのGCPのクラウドサービスとシームレスに連携。

なお、Cloud Datalabに近いものとして「ColabではじめるPython」でも紹介した、同じくGoogleが提供するGoogle Colab¹⁾ColabではじめるPythonという無料サービスがあります。どちらもブラウザUIの対話式プログラム実行環境を提供するクラウドサービスですが、Cloud DatalabはColabと違い、GCPの一部となるため利用料がかかります。ただ、Colabはあくまで教育・研究用であり、秘匿性の高いデータを扱うことができないなどの制約があるため、ビジネス利用にはCloud Datalabを推奨します。

また、GCPのクラウドサービスとシームレスに連携できるという特長があります。具体的には、Cloud DatalabからBigQueryに直接クエリを実行できるため、データ準備（Data Preparation）をBigQueryでSQLにより行い、データマイニング（Data Mining）²⁾再考するデータマイニングや機械学習（Machine Learning）³⁾いまさら聞けない機械学習をCloud DatalabでPythonにより行うといった役割分担が容易になります。なお、BigQueryとのクエリ連携はColabでも可能です。

今回は「データエスノグラフィ入門」と連動し、とある総合ECサイトの商品の併売傾向を深堀分析するという設定でアソシエーション分析の実践を行うため、ビジネス利用を想定し、かつBigQueryとのシームレスな連携に優れるCloud Datalabを用いることにします。

Cloud Datalab環境を準備。

ColabはGoogleアカウントがあればすぐに始められますが、Cloud Datalabは環境の準備が必要です。まずはGCPコンソールにアクセスします。BigQueryの利用経験があれば、デフォルトプロジェクトのダッシュボードが表示されるはずです。GCPの通常のサービスは左上のハンバーガーメニューからサービスを選ぶだけで利用できますが、Cloud Datalabは現在はβ版ということもあり、そうなっていません。そこで以下の手順で環境を構築します。

1. Cloud Source Repositories API設定ページにアクセスし［有効にする］ボタンをクリック

2. 画面右上の［Cloud Shellをアクティブにする］ボタンをクリック

3. 画面下部の［Cloud Shell］ペインに以下のコマンドを入力し［Enterキー］で実行（※インスタンス名は任意、ここでは「xmdcom-lab」と命名）

$ datalab create xmdcom-lab

4. 画面下部の［Cloud Shell］ペインに表示される「Your selected zone:」のメッセージのあとに、ゾーン（zone）の選択肢に記載された番号を入力し［Enterキー］で実行（※ゾーンは任意、ここでは「34」を指定）

$ Your selected zone:34

5. Datalabインスタンス「xmdcom-lab」の作成が完了したら［Cloud Shell］の右上の［ウェブでプレビュー］ボタンをクリックし［ポートの変更］を選択

6. ［プレビュー ポートの変更］モーダルでポート番号を「8081」と入力し［変更してプレビュー］ボタンをクリック

7. 別ウィンドウで［Google Cloud Datalab］の画面が表示

これでCloud Datalabの利用が可能となります。

まずはお約束の「Hello, World!」

では、Cloud Datalabの操作方法を解説しながら、簡単なPythonプログラムを動かしてみます。まずは起動された［Google Cloud Datalab］画面の左上の［Notebook］ボタンをクリックして、ノートブック編集画面を立ち上げます。ここでいうノートブック（Notebook）は、対話式でプログラムを実行するUIの ことです。

ところでCloud Datalabは、Jupyter NotebookというブラウザUIの対話式プログラム実行環境をベースにしていますが、「Python vs. R どっち？」でも触れたとおり、Jupyter NotebookはPythonだけでなくRやJuliaなどのプログラム言語にも対応しています。それぞれのプログラム言語を動作させるためのコアエンジンをカーネル（Kernel）といい、どのカーネルを利用するかをUI上で選択した上でプログラムを実行します。

Cloud DatalabはいまのところRやJuliaには対応しておらずPythonのみですが、Python2とPython3の選択は可能です。この二つはPythonのバージョン違いですが、文法・関数・拡張モジュールなどが大きく異なり、互換性が高くありません。したがってプログラムを作成する前に、どちらを選択するかを明確にしておく必要があります。ここではPython3を選択します。

ノートブックの右上の［Kernel: python2］となっているエリアをクリックして［Kernel: python3］を選択します。これでプログラムをPython3で実行することが可能となります。

ノートブックには以下のような入力エリアがあり、ここにソースコードを記述して左端の「▶︎」ボタンをクリックするか、［Ctrl+Enter］もしくは［Shift+Enter］キーによりプログラムを実行できます。

ひとまず、お約束の「Hello, World!」を表示するプログラムを書いてみましょう。入力エリアに「print (‘Hello, World!’)」と記述し、実行してみてください。以下のように「Hello, World!」が出力エリアに表示されるかと思います。

なおCloud Datalabは、Google Compute Engine（GCE）という仮想マシン（Virtual Machine：VM）上でコンテナとしてパッケージ化されているものです。すなわちCloud Datalab起動中はGCEも起動されており、さらに課金体系はGCEに従うため、起動時間による従量課金となります。ということで、使わないときはCloud Datalabを終了しておいたほうがよいでしょう。

Cloud Datalabを終了するには、画面右上の［Account］ボタンをクリックして［Stop VM］ボタンをクリックします。終了すると［Cloud Shell］ペインに以下のようなメッセージが表示され、GCEのVMインスタンスも終了します。

$ Instance xmdcom-lab is no longer running (STOPPING)

Cloud Datalabを再び使う場合は、［Cloud Shell］ペインに以下のコマンドを入力し［Enterキー］で実行します。

$ datalab connect xmdcom-lab

次回はCloud Datalabを利用した、Pythonによるアソシエーション分析のプログラミングを実践していきます。

向きのある相関関係。

アソシエーション分析（Association Analysis）は、事象Xと事象Yの事象間の相関性を分析する手法で、データマイニング（Data Mining）¹⁾再考するデータマイニングの中核をなす分析手法のひとつですが、もともとはバスケット分析のために考案されたものです。

バスケット分析（Basket Analysis）は「商品Xを購買した顧客は商品Yも購買している」といった向きのある相関関係を抽出するもので、併売やマーチャンダイジングの戦略設計を目的に行われます。ちなみに、買い物かご（バスケット）に同時に入っている商品を分析するところから命名されました。その始まりは有名な「おむつとビール」の話で、1992年に大手スーパーマーケットチェーンのOsco DrugsがPOSデータを分析したところ、おむつとビールが併買されることが多いことがわかったというものです。現在ではAmazon.comのようなECサイトのレコメンデーションにも応用されています。

アソシエーション分析は、事象間の相関性を発見的アプローチ（Discovering Approach）で分析する手法ですが、この発見的であるという点がとても重要です。「データエスノグラフィ入門 #03」でも触れたとおり、事象間の相関性の分析には、検証的アプローチと発見的アプローチの二つがありますが、検証的アプローチ（Verifying Approach）は、相関の存在が仮説として想定されるものについて事実を検証していくアプローチであり、想定していない相関を見つけることはできません。分析対象データの変数が少ない場合は検証的アプローチで十分ですが、変数が多い場合は経験からは想定できない相関が潜在している可能性を否定できません。現に、おむつとビールの購買に相関があることを、熟練のマーケターたちは見抜けていなかったわけです。

アソシエーション分析によって得られる発見は、あくまで向きのある相関関係であり、因果関係を証明するものではありません。しかしながら、これをきっかけに因果推論（Causal Inference）²⁾いまさら聞けない因果推論やベイズ推定（Bayesian Inference）³⁾いまさら聞けないベイズ推定などを行うことで因果関係を明らかにする可能性が高まります。

そこで今回は、このアソシエーション分析の実践にむけた入門編をご紹介します。なお、分析ツールはGoogle BigQueryとGoogle Cloud Datalabを用いて進めます。BigQueryついては「BigQueryではじめるSQL」を参照してください。Cloud Datalabについては選択する理由と合わせて次回に解説します。

共起性に基づく分析手法。

実践に入る前に、分析の基本的な考え方についてまとめておきます。まずアソシエーション分析は事象間の相関性を分析する手法の総称であり、特定の分析手法をさすものではありません。共起性に基づく分析手法が一般的ですが、他にもニューラルネットワーク（Neural Network）⁴⁾いまさら聞けない機械学習などを用いたアプローチもあります。ここでは共起性に基づく分析手法を用います。

共起（Co-occurrence）は、自然言語処理分野で使われる概念で、複数の単語や熟語が同一の文において生起することをいいます。たとえば「しとしと」は「雨」とは共起しますが「雪」とは共起しません。そして共起性の強い単語や熟語は相関性が強いと言えます。この考え方を応用し、買い物かごを文に、商品を単語にそれぞれ見立てて、その共起性により相関性を分析する手法がバスケット分析です。

共起性の基本指標となるのが共起頻度です。共起頻度（Co-occurrence Frequency）は、事象Xと事象Yのどちらも発生した頻度のことで、バスケット分析では商品Xと商品Yを同時購買した履歴の頻度、もしくは両方の購買経験をもつ顧客の数をさします。数式で表すとこのようになります。

$$共起頻度：\mid X\cap Y \mid\\$$

参考までに、集合Xと集合Yの集合間の類似性の指標としてよく用いられるものに、Jaccaard係数・Dice係数・Simpson係数があります。いずれも0以上1以下の値で、1に近いほど類似性が高いということになります。これらを事象間の相関性に置き換えて説明すると以下のようになります。

Jaccard係数は、事象Xと事象Yのいずれかが発生した頻度に対する共起頻度の割合です。ただしこの係数には、共起頻度が高くても、事象Xと事象Yのいずれかの発生頻度が高い場合に相関性が下がるという問題があります。

$$Jaccard係数：\frac{\mid X\cap Y \mid}{\mid X\cup Y \mid} \\$$

Dice係数は、事象Xと事象Yのそれぞれの発生頻度の平均に対する共起頻度の割合です。分母を和集合から平均に置き換えることで、Jaccard係数の問題を緩和しています。とはいえ事象Xと事象Yのいずれかの発生頻度が極端に高い場合は、相関性が下がる問題を解消できません。

$$Dice係数：\frac{\mid X\cap Y \mid}{\frac{\mid X\mid+\mid Y\mid}{2}} \\$$

Simpson係数は、事象Xと事象Yのそれぞれの発生頻度の最小値に対する共起頻度の割合です。分母を平均から最小値に置き換えることで、Dice係数でも解消できない頻度差の問題を解消します。ただ逆に、事象Xと事象Yのいずれかの発生頻度が極端に低い場合は、全体の頻度によらず相関性がほぼ1になってしまうという問題があります。

$$Simpson係数：\frac{\mid X\cap Y \mid}{min\{\mid X \mid,\mid Y \mid\}} \\$$

また、これらの指標はいずれも、事象Xと事象Yは対称で向きを持たないため、逆にしても意味は変わりません。

アソシエーションルールと指標。

続いて、アソシエーション分析における事象間の相関性の指標としてよく用いられるアソシエーションルールについて説明します。アソシエーションルール（Association Rule）とは「商品Xを購入した顧客は商品Yも購入している」といった規則性のことで、信頼度・支持度・リフトの三つの指標を使うのが一般的です。わかりやすくするために、バスケット分析で説明します。

信頼度（Confidence）は、商品Xを購買した顧客が商品Yも購買する確率のことで、併売戦略やレコメンデーションにむけた分析の基本指標であり、以下の数式で表現されます。

$$信頼度：\frac{\mid X\cap Y\mid}{\mid X\mid} =P(Y\mid X)\\$$

これは「いまさら聞けないベイズ推定」でも触れた、ある事象Xが起こるという条件のもとでの事象Yの確率である条件付き確率（Conditional Probability）と同じものです。それゆえ、事象Xと事象Yは非対称で向きを持つため、逆にすると意味が変わります。「おむつとビール」の話は、おむつとビールの向きには言及していませんが、おむつを買った（買おうとしている）顧客にビールをお薦めするのか、ビールを買った（買おうとしている）顧客におむつをお薦めするのかという向きには重要な意味があります。

支持度（Support）は、全体の購買の中で商品Xと商品Yのどちらも購買される確率のことで、全体の購買の集合を｜A｜として以下の数式で表現されます。

$$支持度：\frac{\mid X\cap Y \mid}{\mid A\mid} =P(X\cap Y)\\$$

仮に、商品Xを購買した顧客が商品Yも購買する確率（信頼度）が80%だったとしても、商品Xと商品Yのいずれも購買した顧客が全体の1%にも満たない場合、統計的な信頼性が低いだけでなく、それをもとに併売戦略を立てたところでビジネス的に意味はありません。そこで補足指標として支持度を用います。また分析の効率化のため、支持度が閾値（0.1〜0.5が一般的）を下回る組み合わせは、事前に分析対象から除外します。

リフト（Lift）は、全体の購買の中で商品Yが購買される確率に対する商品Xを購買した顧客が商品Yも購買する確率（信頼度）の割合のことで、以下の数式で表現されます。

$$リフト：\frac{\frac{\mid X\cap Y \mid}{\mid X \mid}}{\frac{\mid Y \mid}{\mid A \mid}} =\frac{P(Y\mid X)}{P(Y)}\\$$

仮に、商品Xを購買した顧客が商品Yも購買する確率（信頼度）が80%だったとしても、そもそも商品Yが購買される確率が80%であれば、商品Xの購買が商品Yの購買に与える影響力を説明することはできません。そこで補足指標としてリフトを用います。また分析の効率化のため、リフトが閾値（1が一般的）を下回る組み合わせは、事前に分析対象から除外します。

次回以降で、これらのアソシエーションルールを用いたアソシエーション分析の実践を進めて行きます。