アソシエーションルールを可視化。

Cloud DatalabにてCSPADEアルゴリズムの拡張モジュールであるpycspadeを用いて作成したアソシエーションルールを、BigQueryに書き出し、Tableauで可視化しながら系列パターンの分析を行います。

まずは前回の続きで、以下のコードを入力エリアに記述し、実行してみましょう。なお「to_gbq」関数の引数には、アソシエーションルールを格納したデータフレーム、書き込み先のテーブル名、GCPのプロジェクトIDを指定します。

なお、BigQueryへの書き出しがうまく行かない場合は、以下のコードでCSVファイルに書き出し、GCS（Google Cloud Storage）経由でBigQueryに取り込みます。

以下のように、BigQueryのデータセット「XM」の中に「sum_rules_spm」というテーブルが作成されていることを確認します。

続いて、テーブル「sum_rules_spm」をTableauに取り込んで分析します。Tableau Desktopであれば、スタート画面の［接続］にあるメニュー［Google BigQuery］から選択するだけでシームレスに連携できます。Tableau Publicであれば、GCS（Google Cloud Storage）経由でCSVファイルとしてエクスポートしてから取り込みます。

Tableauへの取り込みが完了したら、以下の手順でクロス集計表を作成し、アソシエーションルールを可視化します。

1. フィールドの「Sequence」を［行］、「Confidence」を［列］シェルフにそれぞれドラッグ＆ドロップ。
2. フィールドの「Confidence」を［マーク］カードの［色］にドラッグ＆ドロップ。
3. 右上に表示される「合計（Confidence）」カードの右上の▼のメニューで［色の編集…］を選択。
4. ［色の編集］モーダルで［ステップド カラー］チェックをオン、［詳細］ボタン押下で表示される［中央］チェックをオンに設定。
5. フィールドの「Confidence」「Support」「Lift」を順に［マーク］カードの［テキスト］にドラッグ＆ドロップ。
6. フィールドの「Confidence」「Support」「Lift」のそれぞれについて、ピルの右端の▼のメニューで［フィルタを表示］を選択。

系列パターンを分析する。

では、この表をもとに系列パターンを分析してみましょう。「アソシエーション分析入門 #01」でも触れたとおり、アソシエーションルールの指標の中でも、信頼度（Confidence）は、商品Xを購買した顧客が商品Yも購買する確率のことで、事象間の相関性を分析する基本指標となります。

一方で、前回に述べたとおり、リフトは1を下回ると負の影響力を意味するため、予め除外するのが通例ですが、pycspadeでは閾値設定ができないため1未満の系列パターンも含まれてしまっています。そこでリフトを1以上としてフィルタをかけます。右側の「合計（Lift）」フィルタの左側の最小値設定を1.0に変更すると、以下のように表示が切り替わります。ただし、初期ビューで見えている系列パターンはすべてリフトが1以上であるため、初期ビューの表示自体は変わりません。

信頼度の降順に見ていくと、まず最後に商品カテゴリIDが「9」すなわち「エレクトロニクス・コンピューター」を購買しているパターンが多いことが一目瞭然となります。さらに、その前に「4」すなわち「家庭・ガーデニング用品」を購買しているパターンが多いこともわかります。

これらの原因はわかりませんが、とにかくこのパターンで購買商品カテゴリが変化している購買行動パターンが多いという事実が可視化され、把握することが可能となるわけです。

対象ユーザーを抽出して観察。

最後に、獲得した行動パターンに基づいて、観察対象とするユーザーを抽出し、行動を観察します。すなわちデータエスノグラフィ（Data Ethnography）¹⁾データエスノグラフィって？を行うわけです。UXモデリングにより獲得したモデルは、あくまで機械的に抽出された行動パターンに過ぎません。ユーザーの行動の因果関係を把握し、意思決定プロセスを理解するには、やはり一人ひとりの行動データをミクロ視点で観察し、時系列に追う必要があります。UXモデリングはそれを効率化する手法という位置付けです。

とはいえ、抽出したパターンに一対一で紐づく会員のリストを得ることができないため、系列パターンに含まれる商品カテゴリを購買履歴に含む会員を抽出し、その中からサンプリングしつつ観察するというアプローチをとることにします。

指定した商品カテゴリを購買履歴に含む会員を抽出しやすいようにデータを加工します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。また、このクエリ結果をデータセット「XM」に「sum_orders_ptn」という名前で保存します。

続いて、テーブル「sum_orders_ptn」をTableauに取り込んでデータエスノグラフィをします。ワークシート編集画面で「A00_member_id」を［行］、「C01_frequency」「C02_monetary」を［列］、「C00_rank」を［フィルター］と［色］に、それぞれドラッグ＆ドロップすると、データエスノグラフィ環境の構築は完了です。

ここで、さきほどの系列パターン分析で注目した、商品カテゴリ「4」と「9」を含む会員IDを抽出して行動データを観察できるようにします。それには「D00_category_ptn」をフィルターに追加し、［フィルターの編集］から［フィルター］モーダルを立ち上げ、［条件］タブの［式設定］にて、以下のフィルター条件を指定します。なおこれは、「D00_category_ptn」カラムに「4」と「9」のどちらも含む会員IDに絞り込むことを意味します。

CONTAINS([D00_category_ptn],'4') 
AND CONTAINS([D00_category_ptn],'9')

絞り込まれた会員IDから任意に選んで、実際の購買履歴データを見てみましょう。例えば会員ID「16360」の会員の購買履歴はこのようになっています。

確かに「家庭・ガーデニング用品」関連商品の購入から始まり、次の訪問時に「エレクトロニクス・コンピューター」関連商品の購入をしています。さらにサブカテゴリを見ると、「カー・エレクトロニクス」関連商品が共通項として見られます。またその二年後には「赤ちゃん向けおもちゃ」関連商品を購入しています。このあたりにライフステージの変化のヒントがあるように考えられます。

このようにUXモデリングは、大量のデータから、系列パターンというシンプルなユーザー行動モデルを機械的に抽出し、観察すべきユーザーの絞り込みを効率化する手法であることを理解してもらえたのではないかと思います。

モデリング用のデータを準備。

まずはBigQueryでモデリング用のテーブルを作成します。なお、ここでは系列パターンマイニング（Sequential Pattern Mining：SPM）の代表的なアルゴリズムであるCSPADEを使用しますが、それには会員IDと購買単位ごとの購買商品カテゴリIDの配列をもつテーブルが必要になります。購買単位とは一回の購買を意味し、通常は買い物かごを指しますが、今回のデータには買い物かごに相当するものが存在しないため、同じ日付の購買を一回の購買とみなすことにします。

また、今回の商品マスタには商品カテゴリIDに相当するものが存在しないため、以下のようにIDを定義して付与します。なお、IDは本来は整数で扱うべきですが、後ほど使用するPythonのデータ分析用拡張モジュールである「pandas」においてBigQueryデータの読み込みがうまく処理されないため、文字列で定義します。

BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。

なお、処理の効率化のために10%のサンプリングをしていますが［※1］、これは会員IDを10で割った剰余が0の場合に限定するという意味です。また、欠損を除外するために性別がNULLでない会員に限定し［※2］、年齢の異常値を除外するために10歳以上90歳未満の会員に限定しています［※3］。さらに、時系列データの開始と終了の問題を解決するために、初回購買日が2006年1月以後かつ最終購買日が2012年12月以前の会員に限定しています［※4］。

すると、以下のスキーマのテーブルが出力結果で表示されるので、それをデータセット「XM」に「sum_visits」という名前で保存します。

モデリング用の実行環境を準備。

続けて、Cloud DatalabでSPMによるアソシエーションルールを作成するための実行環境を準備します。とはいえCloud Datalabには、GCP（Google Cloud Platform）との連携や、メジャーなデータ分析・機械学習系の拡張モジュールがあらかじめインストールされているため、多くはインポートするだけです。

まずはデータ分析用の拡張モジュールである「pandas」をインポートします。これはBigQueryから取り込んだ分析用テーブルをデータブレームで操作するためですが、同時にBigQueryとの直接クエリによる連携も可能となります。

また、ここではSPMの代表的なアルゴリズムであるCSPADEのPython向け拡張モジュールである「pycspade」を使用しますが、Cloud Datalabにはインストールされていないため、追加インストールを行います。

ここまでの拡張モジュールの準備は、以下のコードで行うことが可能です。入力エリアに記述し、実行してみてください。

拡張モジュールの準備が完了したら、BigQueryで作成した分析用テーブルを取り込みます。それには「read_gbq」関数を使い、引数にBigQueryのクエリを実行するSQL文とGCPのプロジェクトIDを指定します。以下のコードを入力エリアに記述し、実行してみてください。

なお、商品カテゴリIDについては、先述の理由で文字列型で設定していましたが、ここで整数型に変換します。これでSPMによるアソシエーションルールを抽出するためのデータおよび環境が整いました。

アソシエーションルールを作成。

では、CSPADEアルゴリズムの拡張モジュールであるpycspadeを用いて、系列パターンのアソシエーションルールの作成を行います。プログラム内容の詳細な説明はここでは割愛しますが、以下のようなコードで実現できます。入力エリアに記述し、実行してみてください。

なお、アソシエーションルール（Association Rule）の詳細の説明は「アソシエーション分析入門 #01」に譲りますが、簡単に言えば「商品Xを購入した顧客は商品Yも購入している」といった規則性のことで、信頼度・支持度・リフトの三つの指標を使うのが一般的です。

信頼度（Confidence）は、商品Xを購買した顧客が商品Yも購買する確率のことで、併売戦略やレコメンデーションにむけた分析の基本指標となります。

支持度（Support）は、全体の購買の中で商品Xと商品Yのどちらも購買される確率のことで、補足指標となります。仮に、商品Xを購買した顧客が商品Yも購買する確率（信頼度）が80%だったとしても、商品Xと商品Yのいずれも購買した顧客が全体の1%にも満たない場合、統計的な信頼性が低いだけでなく、それをもとに併売戦略を立てたところでビジネス的に意味はありません。そこで補足指標として支持度を用います。

リフト（Lift）は、全体の購買の中で商品Yが購買される確率に対する商品Xを購買した顧客が商品Yも購買する確率（信頼度）の割合のことで、こちらも補足指標となります。仮に、商品Xを購買した顧客が商品Yも購買する確率（信頼度）が80%だったとしても、そもそも商品Yが購買される確率が80%であれば、商品Xの購買が商品Yの購買に与える影響力を説明することはできません。そこで補足指標としてリフトを用います。

ところで、分析作業の効率化のために、リフトが閾値（1が一般的）を下回る組み合わせは、事前に分析対象から除外するのが慣例ですが、pycspadeではリフトの閾値設定ができません。一方で、支持度の閾値設定は可能であるため「0.05」を指定しています。

最後の行の「df_table」というデータフレーム型の変数に、作成したアソシエーションルールが格納されています。入力エリアに「df_table」と記述して実行してみましょう。すると以下のような表が出力されます。

上表の列「Sequence」は系列パターンすなわち購買商品カテゴリの時系列パターン、「Confidence」は信頼度、「Support」は支持度、「Lift」はリフトとなります。例えば、Sequenceが「(7)-(9)」とは、「自動車・工業」関連商品を購入後に、「エレクトロニクス・コンピューター」関連商品を購入した、という系列パターンであり、その信頼度・支持度・リフトは、それぞれ「0.38308」「0.090715」「0.976826」という意味になります。この状態でもアソシエーションルールの一部は見てとれますが、より分析をしやすくするためにTableauで可視化することにします。

次回は、作成したアソシエーションルールをBigQueryに書き出し、Tableauで可視化しながら、系列パターンの分析と、観察対象とするユーザーの抽出と行動観察を行います。

SPMによるUXモデリング。

頻出する事象の組み合わせを抽出する手法を総称して頻出パターンマイニング（Frequent pattern mining）といいます。その代表的な手法がアソシエーション分析（Association Analysis）¹⁾アソシエーション分析入門であり、「商品Xを購買した顧客は商品Yも購買している」というような向きのある相関関係を得られることが特徴ですが、一方で時系列的な順序が考慮されないという欠点があります。

アソシエーション分析の一種であるバスケット分析（Basket Analysis）は、文字通り同じ買物かごに含まれる商品の組み合わせのパターンを分析する手法ですが、このように”同時“に発生する事象については問題ないものの、複数回の買物で購買商品がどのように推移したかというような、時系列の概念を含むパターンを分析することには向かないわけです。

そこで、時系列を考慮した頻出パターンマイニングである系列パターンマイニング（Sequential Pattern Mining：SPM）が、1995年にIBM研究所のR.AgrawalとR.Srikantによって提唱されました。また、このSPMがUXモデリングの比較的簡単なアプローチのひとつとして適用可能であることは、前回の「UXモデリング入門 #01」で説明した通りです。

そこで今回は、SPMを使ったUXモデリング実践の入門編をご紹介したいと思います。なお、分析ツールはGoogle BigQuery、Tableau Desktop、Google Cloud Datalabの三つを用いて進めます。それぞれについては「BigQueryではじめるSQL」「TableauではじめるBI」「アソシエーション分析入門 #02」を参照してください。

UXモデリングの手順。

UXモデリングは以下の手順で進めます。

1. 分析の背景の整理と目的の明確化
2. データ準備と基礎分析
3. 行動パターンのモデリング
4. 対象ユーザーの抽出と観察

データ分析に限らず、何らかの課題解決をするには、まずその背景を整理し、目的を明確化する必要があります。当たり前の話ですが、失敗するデータ分析の多くは、ここをあいまいにしたまま、とにかく何らかの有用な知識を獲得したいという思いのみで行われており、時間とコストを浪費する結果となっています。

またデータは「存在する」状態と「分析できる」状態では全く異なります。そして多くのデータは分析することを目的に収集されておらず、そもそも構造化されていない、あるいは欠損・異常値・表記揺れ（同義だが異句の状態）を含むこともあります。それらを加工し「分析できる」状態にすることをデータ準備（Data Preparation）といいます。

さらに、あまねく全てのデータを準備することはできないため、必然的に選択が行われ、偏りが必ず発生します。これを選択バイアス（Selection Bias）といいます。例えば、プリペイドカードの購買履歴には、カードの入金額の上限を超える高額商品の購買履歴がそもそも含まれていません。おそらくクレッジトカードなどの他の決済手段で購買しているのでしょう。このような偏りのあるデータで無邪気にRFM分析などを行うと、ミスリード（Misslead）を起こします。

選択バイアスを無くすことが理想ですが、現実には不可能であるため、データの全体像を俯瞰して分布と偏りを把握し、分析を進める上での前提条件として捉えておくことが重要です。その作業を基礎分析（Basic Analysis）といいます。

ここまで完了してようやくUXモデリングが実施可能となります。今回はUXモデリングの比較的簡単なアプローチとして系列パターンマイニング（Sequential Pattern Mining：SPM）を用い、時系列を考慮したユーザーの典型的な行動パターンをモデリングします。

最後に、獲得した行動パターンに基づいて、観察対象とするユーザーを抽出し、行動を観察します。すなわちデータエスノグラフィ（Data Ethnography）²⁾データエスノグラフィって？を行うわけです。UXモデリングにより獲得したモデルは、あくまで機械的に抽出された行動パターンに過ぎません。ユーザーの行動の因果関係を把握し、意思決定プロセスを理解するには、やはり一人ひとりの行動データをミクロ視点で観察し、時系列に追う必要があります。UXモデリングはそれを効率化する手法という位置付けです。

購買商品の時系列変化を捉える。

では、UXモデリングの実践を進めて行きましょう。まずは分析の背景の整理と目的の明確化を行います。

今回は「データエスノグラフィ入門」と連動し、総合ECサイトの会員の購買商品の時系列変化のパターンを捉え、優良化のヒントを獲得するという設定で進めます。分析対象データは、とある総合ECサイトの会員の購買履歴データとし、概要は以下のとおりです。

• 種類：総合ECサイトの会員の購買履歴
• 期間：2005年1月〜2013年12月（9年間）
• 会員数：639,777人
• 購買数：7,599,650件（平均11.9件/人）

データソースは以下の３つを使用します。なお、こちらはすでにBigQueryに投入済みとします。また、データセット名とテーブル名は任意ですが、ここでは「データエスノグラフィ入門」と合わせるため、データセット名を「DE」、テーブル名はファイル名をそのまま設定します。

これらのデータを使用し、ユーザーの購買商品の時系列変化の典型的なパターンをモデリングして行きます。なお、データ準備と基礎分析のプロセスは「データエスノグラフィ入門 #02」と同様であるためここでは割愛し、次回は行動データのモデリングの実践を行います。

行動パターンを発見する。

ユーザーの行動データから、購買の意思決定プロセスを把握したい、あるいは、思いもよらないニーズを発見したい。多くのマーケターやビジネスパーソンにとって、それはデータ活用におけるもっとも重要な関心ごとのひとつでしょう。

あるコンテンツXの閲覧（事象X）と、ある商品Yの購買（事象Y）には、強い共起性があるから、事象Yの意思決定に事象Xがなんらか関与している可能性が高いのではないか。そのような分析はよく行われることと思います。

一方で、事象Xと事象Yの因果関係の説明は難しい問題です。事象Xによる気持ちの変化があったから事象Yにいたったのか、最初から事象Yが起こることは決まっていて、たまたま事象Xをしただけなのかが判別しづらいからです。

因果関係を説明するには、まず時間の関係を把握することが必要です。当たり前ですが、原因と結果の前後が入れ替わることはありません。また、事象Xと事象Yの間に大きな時間の隔たりがある場合は因果関係を説明しづらくなります。加えて、事象Xが事象Yの発生に影響を与えていることも重要です。事象Xの有無に関わらず事象Yが起こるのであれば、因果関係は説明しづらくなります。

ユーザーの行動の因果関係を把握し、意思決定プロセスを理解するのに、一人ひとりの行動データをミクロ視点で観察し、時系列に追うデータエスノグラフィ（Data Ethnography）¹⁾データエスノグラフィって？という手法が有用であることは「データエスノグラフィって？」でも触れたとおりです。とはいえ、大量のデータから観察すべきユーザーを特定し、典型的な行動パターンを見つけることは容易ではありません。

シンプルな行動モデルを取り出す。

そこで、大量のデータからユーザーの行動モデルを機械的に取り出す手法が有効となります。クロスハックではこれをUXモデリング（UX Modeling）²⁾UXモデリングって？と呼んでいます。

大量データをモデリングする手法として真っ先に思いつくのは、機械学習（Machine Learning）³⁾いまさら聞けない機械学習でしょう。とりわけ深層学習（Deep Learning）⁴⁾いまさら聞けない深層学習は、特徴表現を自動的に行うため、大量データのモデリングには極めて有効です。

一方で、「UXモデリングって？」でも触れたとおり、深層学習には導出されたモデルが複雑化・ブラックボックス化するという欠点があります。複雑でブラックボックス化されたモデルは、解釈や説明ができません。解釈や説明ができないモデルは、ビジネスやデザインの意思決定に応用することができず、役に立ちません。UXモデリングでは、複雑なユーザー行動から解釈や説明をしやすいシンプルで汎用性のあるモデルを取り出すことが重要です。

時系列のアソシエーション分析。

ユーザーの行動データから行動パターンを取り出す手法の一つに、アソシエーション分析があります。アソシエーション分析（Association Analysis）⁵⁾アソシエーション分析入門は、事象Xと事象Yの事象間の相関性を分析する手法で、データマイニング（Data Mining）⁶⁾再考するデータマイニングの中核をなす分析手法のひとつです。

アソシエーション分析の詳細は「アソシエーション分析入門」に譲りますが、簡単に言うと、それにより得られるのは向きのある相関関係です。向きのある相関関係とは、例えば「商品Xを購買した顧客は商品Yも購買している」というようなものです。ただし、これはあくまで相関関係であり、因果関係を証明するものではありません。しかしながら、これをきっかけに因果推論（Causal Inference）⁷⁾いまさら聞けない因果推論やベイズ推定（Bayesian Inference）⁸⁾いまさら聞けないベイズ推定などを行うことで因果関係を明らかにする可能性が高まります。

ところで、アソシエーション分析は事象間の相関性を分析する手法の総称であり、特定の分析手法をさすものではありません。共起性に基づく分析手法が一般的ですが、他にもニューラルネットワーク（Neural Network）などを用いたアプローチもあります。また、共起性に基づく手法の中でも最もよく利用されるものにアプリオリ（Apriori）というアルゴリズムがあります。「アソシエーション分析入門」では、このアプリオリ・アルゴリズムを使った分析方法を解説しました。

一方で、アプリオリ・アルゴリズムを中心とした一般的なアソシエーション分析では、時間の関係が無視されます。例えば「商品Xを購買した顧客は商品Yも購買している」というのは、時系列的に商品Xと商品Yのどちらが先かは問われず、また商品Xと商品Yの購買の時間間隔も考慮されていません。

冒頭でも述べたとおり、因果関係の説明には時系列的順序や時間間隔といった時間の関係が極めて重要な要素となります。また、時間の関係がわからないと、次に発生するユーザー行動を予測することができません。そこで、時間の概念を考慮したアソシエーション分析が必要となります。それを系列パターンマイニング（Sequential Pattern Mining：SPM）といいます。

そこで、この「UXモデリング入門」では、UXモデリングの比較的簡単なアプローチのひとつとして、このSPMを用いた手法をご紹介します。次回以降で、その具体的なプロセスに触れて行きます。

2018年5月のGoogle I/Oで、音声アシスタント（Voice Assistance）のGoogle Assistantの拡張サービスとして、電話代行サービスであるGoogle Duplexが発表され、そこで行われたデモは世界に衝撃を与えました。それはAIが利用者に代わって飲食店や美容室に電話予約を入れるというもので、やりとりの音声だけを聞くと、どちらが人間かもわからないくらいに自然な会話となっており、従来の一問一答のものとは一線を画していることがわかります。

一方で、自動音声応答装置（Interactive Voice Response：IVR）による電話受付の自動化も進んでおり、近い将来、音声アシスタントとIVRによる人が関与しない通話コミュニケーションが実現するかもしれません。

このような新しいユーザー体験が実現する背景には、音声認識技術の進歩があります。そこで今回は、音声認識を中心としたテクノロジーや人工知能（Artifical Intelligence：AI）の、現在の動向や未来の可能性について言及しようと思います。

隠れマルコフモデルによる音声認識。

そもそも音声認識（Voice Recognition）とは、人間が発する音声情報としての自然言語をコンピューターに認識させることであり、音声情報を文字情報に変換したり、発言者や発言内容の特徴をとらえて識別するなどの機能を実現します。

音声認識技術の歴史は長く、前回の「いまさら聞けない音声UI」でも触れた通り、1960年代初期にIBM社により開発されたShoeboxがそのルーツだと言われています。それが消費者向けに商品化されたのはそこから約半世紀後のこと、Apple社が2011年に発売したiPhone 4Sに搭載された音声アシスタントのSiriがそれでしょう。ただし、当時は音声認識の精度が低く、実用にはまだ遠いものであったことも事実です。

それがここ数年で状況が大きく変化し、音声認識の精度は格段に上昇しました。それに伴い、前述のGoogle社のGoogle Assistantや、Amazon社のAlexaなど、大手IT各社の音声アシスタントが登場し、今なお発展と進化を続けています。その背景では、どのようなブレイクスルーが起きていたのでしょうか。

音声認識技術の本質は、空気の振動である音声からパターンや特徴を抽出し、発言者や発言内容を識別することにあります。その際、過去のデータから学習したモデルをもとに推論を行うわけですが、そこでは主に隠れマルコフモデルが利用されています。隠れマルコフモデル（Hidden Markov Model：HMM）とは、直前の結果のみから次の結果が確率的に求まるというマルコフ性を仮定して事象をモデル化する手法です。これにより、最後に発話された言語の要素から次に発話される言語の要素を確率的に推論することで認識精度を向上させることが可能となります。

ただし、この手法は確率に基づく推論モデルを事前に構築しておく必要があります。すなわちエキスパートシステム（Expert System）¹⁾再考するエキスパートシステムでいう知識ベース（Knowledge Base）が必要であり、その構築には膨大な時間と労力を要します。

またそれゆえに、会議やプレゼンのような比較的正確な文法や標準的な語彙が使われるビジネス会話には対応できますが、文法的に崩されたりスラングが多用される日常会話に対応することが極めて難しいという欠点があります。

深層学習による音声認識。

その欠点を克服する技術として、いま急速に進化しているのが、深層学習による音声認識です。深層学習（Deep Learning）²⁾いまさら聞けない深層学習は、人間の脳を模倣した多層ニューラルネットワーク（Deep Neural Network：DNN）を用いた機械学習の手法で、コンピューターが自ら特徴表現を行うことが最大の特長です。これにより、モデルの中身がブラックボックス化されるという欠点はあるものの、多用な文法表現や語彙表現に対応する推論モデルの構築が可能となり、日常会話のような自然な会話においても実用レベルになりつつあります。

深層学習により、音声認識の技術レベルは格段に上がりました。あとは多様なデータからモデルの多様性や精度を向上させたり、あるいは学習や推論にかかるコストを下げることでさらに実用性が向上していくものと思われます。これは音声認識技術そのもののブレイクスルーというよりは、例えば音声データのノイズを除去する技術や、音声データを高速に通信する技術などの周辺技術に依存するものと言えるでしょう。

とはいえ、ここでいう音声認識とはあくまで音声をパターンとして認識することであって、意味を理解するということではありません。現在のAIは「小さい子供の服」と言った場合に「小さい」が「子供」にかかるのか「服」にかかるのかを識別できません。人間であれば、慣習やそれまでの話の流れ、あるいは周囲の環境などの多様な情報からその意味を識別できます。

意味の理解については、音声認識だけではなくAI全体の課題であり、その実現に向けては越えるべき技術的な壁が多くあります。とはいえ、意味を理解するための背景や周辺の多様なデータは集まりつつあり、それを高速に学習する技術も向上しています。実現に向けて少しずつ近づいて行っていることは間違いないでしょう。

非階層型クラスタリングを実践。

前回は階層型クラスタリングでクラスター数のあたりをつけ、各クラスターの特徴を捉えました。今回は非階層型クラスタリングを実践します。

非階層型クラスタリング（Non-hierarchical Clustering）は階層的な構造を持たず、最初に決めたクラスター数にサンプルを分けていく手法です。ただし、いくつのクラスターに分けるかは分析者が決める必要があり、最適クラスター数を自動的には計算する方法は確立されていません。階層型と比較して計算量が少なく、サンプル数が多いデータの分析に適しています。

まずは階層型クラスタリングの結果との比較を行うため、前回と同様にサンプリングデータである「sum_members_cls_smp」を使用します。

まずはCloud Datalabで非階層型クラスタリングのための実行環境を準備します。とはいえCloud Datalabには、GCP（Google Cloud Platform）との連携や、メジャーなデータ分析・機械学習系の拡張モジュールがあらかじめインストールされているため、インポートするだけです。データ操作やBigQueryとの連携用に「pandas」、作成したクラスターの主成分分析の結果の可視化用に「matplotlib」、各種計算処理用に「numpy」「scikit-learn」 をそれぞれインポートします。

拡張モジュールの準備が完了したら、BigQueryで作成した分析用テーブルを取り込みます。それには「read_gbq」関数を使い、引数にBigQueryのクエリを実行するSQL文とGCPのプロジェクトIDを指定します。以下のコードを入力エリアに記述し、実行してみてください。

K平均法による併合。

では、機械学習用の拡張モジュールであるscikit-learnを用いて、非階層型クラスタリングを行います。以下のようなコードで実現できるので、入力エリアに記述し、実行してみてください。

なお、分類方法にはk平均法を用いています。k平均法（k-Means Method）は非階層型クラスタリングの代表的な分類手法で、クラスターの平均を用い、与えられたクラスター数k個に分類することからこのように命名されたものです。この計算処理にはscikit-learnのKMeansメソッドを用います。

また、k平均法の結果は多次元の距離で表現されるため、可視化するには次元圧縮を行う必要があります。次元圧縮のアルゴリズムとして最も一般的なのは主成分分析（Principal Component Analysis：PCA）ですが、ここでは非線形データを扱えるカーネル主成分分析（Kernel PCA）を選択します。この計算処理には同じくscikit-learnのKernel PCAメソッドを用います。結果をクラスターごとに色分けして散布図で描画すると以下のようになります。

この散布図から、大きく上下に塊が分離していることがわかります。これは縦軸に性別が選択された結果です。年齢はクラスタリングに影響を与えておらず、無視されています。横軸には商品カテゴリの購買傾向が表現されており、右側のオレンジとブルーの塊は、全商品カテゴリを購入している層となります。このうように散布図を見ることで、ある程度は視覚的に捉えることができます。とはいえ詳しく把握するには、クラスターごとに特徴を見る必要があります。

Tableauで可視化するとわかりやすいので、クラスタリング結果をいったんBigQueryに戻します。以下のコードを入力エリアに記述し、実行してみましょう。なお「to_gbq」関数の引数には、元の会員マスタにクラスターIDである「cluster」列を追加したデータフレーム、書き込み先のテーブル名、GCPのプロジェクトIDを指定します。

なお、BigQueryへの書き出しがうまく行かない場合は、以下のコードでCSVファイルに書き出し、GCS（Google Cloud Storage）経由でBigQueryに取り込みます。

クラスターごとの特徴を可視化。

「sum_clusters_non」テーブルをTableauで可視化します。クラスターIDを［行］、各説明変数の平均を［列］シェルフにそれぞれ設定すると、以下のようなビューが表示されます。

クラスターごとの特徴を見ると、クラスターID:1は女性のみで構成され、平均年齢は30代半ば、主に「家庭・ガーデニング用品」を購入しているセグメント、クラスターID:2は男性のみで構成され、平均年齢は30代半ば、全商品カテゴリを購入しているセグメント、などがわかります。

階層型と比較して、性別による分類が強く働いていることがわかります。また平均年齢については階層型と同様に分類にはほとんど影響を与えていません。購買商品カテゴリについては階層型と似たような分類結果となっています。

ここまでは階層型との比較のため、サンプリングデータを用いた非階層型クラスタリングを実施しましたが、同様の手順でノンサンプリングデータについても実施することが可能です。それには「sum_members_cls_non」テーブルを使用します。このデータの非階層型クラスタリングの分析結果も、上記と同様にTableauで可視化すると、以下のようなビューが表示されます。

クラスターごとの特徴を見ると、さきほどは男女で分かれていた全商品カテゴリ購買層が統合されて一つのクラスターになっているなど、分類に対する性別の影響力が弱まっており、概ね商品カテゴリの購買傾向による分類になっていることがわかります。これはサンプル数が増えているにも関わらず、購買傾向のパターンが増えずに固定化されることで影響力が高まり、相対的に性別の影響力が低下しているものと思われます。購買商品カテゴリの変数の値を購買頻度に合わせて重み付けするなど行えば、また違った分類結果が導出される可能性があります。

ここまで階層型および非階層型の両方のアプローチによるクラスター分析の実践を進めてきましたが、今回のようなビッグデータでもサンプル数を減らすことで階層型クラスタリングを実行でき、分類構造を視覚的に捉えながら妥当なクラスター数にあたりをつけた上で、最終的に非階層型クラスタリングでノンサンプリングデータの分類が可能であることがわかったかと思います。

このプロセスにより、大量の顧客データから「似た者同士」であるセグメントを分析し、すべての顧客データに割り当てた上でパーソナライゼーションを実行することが可能となります。

階層型クラスタリングを実践。

BigQueryにて分析データ環境が整ったところで、Cloud Datalabによるクラスター分析を行います。クラスター分析には階層型と非階層型の二つがあり、ここでは両方のアプローチを試みますが、今回は階層型クラスタリングを実践します。

階層型クラスタリング（Hierarchical Clustering）は、最も似ている対象の組み合わせから順にグルーピングしていく手法で、その過程で階層が構成され、最終的にデンドログラム（Dendrogram）と呼ばれる樹形図が完成します。順にグルーピングするため最初にクラスター数を決める必要はなく、後から決めることが可能であり、決めたクラスター数により最終的にどのグループをクラスターとするかが決まります。

まずはクラスターの分類構造を視覚的に捉えることが可能な階層型から行い、妥当なクラスター数のあたりをつけつつ、各クラスターの特徴を捉えてみることにします。

なお階層型クラスタリングではサンプル数が多いと極端に計算量が増え、また分類構造を捉えづらくなるためサンプリングデータで行います。分析対象データの会員数は64万人程度ですが、わかりやすさを重視して0.1%の636人にサンプリングします。前回作成した「sum_members_cls_smp」テーブルがそれに該当します。

まずはCloud Datalabで階層型クラスタリングのための実行環境を準備します。とはいえCloud Datalabには、GCP（Google Cloud Platform）との連携や、メジャーなデータ分析・機械学習系の拡張モジュールがあらかじめインストールされているため、インポートするだけです。データ操作やBigQueryとの連携用に「pandas」、作成したデントログラムの可視化用に「matplotlib」、各種計算処理用に「numpy」「scipy」 をそれぞれインポートします。

拡張モジュールの準備が完了したら、BigQueryで作成した分析用テーブルを取り込みます。それには「read_gbq」関数を使い、引数にBigQueryのクエリを実行するSQL文とGCPのプロジェクトIDを指定します。以下のコードを入力エリアに記述し、実行してみてください。

ウォード法による併合。

では、科学計算の拡張モジュールであるscipyを用いて、階層型クラスタリングを行います。以下のようなコードで実現できるので、入力エリアに記述し、実行してみてください。

なお、併合方法にウォード法を、測定距離にユークリッド距離をそれぞれ指定しています。ユークリッド距離（Euclidean Distance）については「クラスター分析入門 #01」で説明しているのでそちらを参照してください。ここではウォード法（Ward Method）について簡単に補足しておきます。クラスターXの重心とクラスター内の各要素との距離の二乗和をL(X)とするとして、クラスターAとBを併合したクラスターのL(A∪B)と、併合前のそれぞれのクラスターのL(A)およびL(B)の合計との差が最小になるようなクラスター同士を併合する手法がウォード法です。式で表現すると、以下のΔが最小になるように計算します。計算量は多いものの分類精度が高く、階層型クラスタリングの併合手法としてよく用いられます。

$$Δ = L(A∪B) -(L(A)+L(B))\\$$

実行結果として、以下のようなデンドログラム（Dendrogram）が描画されるかと思います。なお、上記のプログラムでthresholdという変数に8を指定していますが、これは縦軸の8の位置に水平方向の補助線を引くという意味で、その補助線とデンドログラムが交差する点がクラスターの分割ポイントとなります。すなわち指定する値によりクラスター数を変えることが可能ということです。冒頭で階層型は最初にクラスター数を決める必要はなく、後から決めることが可能だと言いましたが、これがそのことです。補助線で分割された各クラスターは色分けして描画され、左から順に正の整数でクラスターIDが付与されます。

このデンドログラムから、クラスター数は10程度が妥当ではないかというあたりがつけられます。とはいえ各クラスターの特徴や、なぜこのように分類されたのかがわかりません。それにはクラスターごとに特徴量を見る必要があります。

Tableauで可視化するとわかりやすいので、クラスタリング結果をいったんBigQueryに戻します。以下のコードを入力エリアに記述し、実行してみましょう。なお「to_gbq」関数の引数には、元の会員マスタにクラスターIDである「cluster」列を追加したデータフレーム、書き込み先のテーブル名、GCPのプロジェクトIDを指定します。

なお、BigQueryへの書き出しがうまく行かない場合は、以下のコードでCSVファイルに書き出し、GCS（Google Cloud Storage）経由でBigQueryに取り込みます。

クラスターごとの特徴を可視化。

「sum_clusters_hrc」テーブルをTableauで可視化します。クラスターIDを［行］、各説明変数の平均を［列］シェルフにそれぞれ設定すると、以下のようなビューが表示されます。

説明変数はすべて0から1の値であるため、平均値の範囲も同様になります。また、平均値が0から1のどこにあるかで変数の特徴がわかります。たとえばクラスターID:1は性別が0.4程度と男性の比率が高く、クラスターID:4は性別が0.6程度と女性の比率が高いことがわかります。

このようにクラスターごとの各変数の値を見ることで、各クラスターの特徴や、なぜそのように分類されたのかが見えてきます。具体的には、クラスターID:2は男女比率が同程度で、平均年齢は30代後半、全商品カテゴリを購入しているセグメント、クラスターID:4は女性の比率が高く、平均年齢は30代半ば、主に「エレクトロニクス・コンピューター」「家庭・ガーデニング用品」を購入しているセグメント、などがわかります。

また全体感として平均年齢にあまり差異はなく、分類にはほぼ影響していないことがわかります。性別については、男女比40%から60%の範囲でばらついており、やや影響していることがわかります。購買商品カテゴリについては、全商品カテゴリを購入している層と特定の商品カテゴリのみを購入している層に分かれていることがわかります。これは購入頻度との相関がありそうです。

ここでの階層型クラスタリングは、わかりやすさを重視してサンプル数をかなり減らしており、統計的な信頼度は低いといえます。しかしながら、仮説として妥当なクラスター数のあたりをつけたり、どのように分類されるかの傾向を見るには十分な材料と言えるでしょう。

次回は非階層型クラスタリングを実践します。

Cloud Datalabでクラスター分析。

ここからクラスター分析の実践を進めて行きますが、分析ツールはGoogle BigQueryとGoogle Cloud Datalabを用います。BigQueryついては「BigQueryではじめるSQL」、Cloud Datalabについては選択する理由と合わせて「アソシエーション分析入門 #02」に詳しいのでそちらを参照してください。

なお、Cloud Datalabに近いものとして「ColabではじめるPython」でも紹介した、同じくGoogleが提供するGoogle Colab¹⁾ColabではじめるPythonという無料サービスがあります。ただ、Colabはあくまで教育・研究用であり、秘匿性の高いデータを扱うことができないなどの制約があるため、ビジネス利用にはCloud Datalabを推奨します。

今回は「データエスノグラフィ入門」と連動し、とある総合ECサイトの会員のセグメンテーションを行うという設定でクラスター分析の実践を行うため、ビジネス利用を想定し、Cloud Datalabを用いることにします。

新しい商品カテゴリの提案。

それでは、Cloud Datalabを利用したPythonによるクラスター分析のプログラミングを実践していきます。まず分析の背景と目的を整理します。

あなたは、とある総合ECサイトの責任者です。ECサイトでは、F2転換率が重要であると言われています。この”F”は購買頻度（Frequency）のことで、F2転換率とは初回購買から二回目購買への転換率（Conversion Rate）を意味します。一般的に、新規会員の獲得よりも、既存会員のリピート購買促進のほうがコスト効率が高いため、F2転換率は重要な指標となります。とはいえF2転換した会員が、その後も継続的に購買してくれる、いわゆる優良会員になるとは限りません。

そこで今回の分析目的を「優良化する会員の行動特性を、購買履歴データから把握する」とします。なおそこには、まだ優良化していな会員を意図的に優良化するためのヒントがあることは言うまでもありません。

分析対象データは、とある総合ECサイトの会員の購買履歴データで、概要は以下のとおりです。

• 種類：総合ECサイトの会員の購買履歴
• 期間：2005年1月〜2013年12月（9年間）
• 会員数：639,777人
• 購買数：7,599,650件（平均11.9件/人）

データソースは以下の３つを使用します。なお、こちらはすでにBigQueryに投入済みとします。

行動特性の分析を進める中で、購買商品カテゴリ数と優良化との間に相関があることがわかりました。（※「データエスノグラフィ入門 #04」を参照）これは、新たな商品カテゴリを提案することが優良化につながる可能性を示唆しています。ただし、闇雲に提案するよりも、類似する会員セグメントの併売傾向と照らし合わせ、未購買商品カテゴリを提案するほうが効果が高いと考えられます。そこでクラスター分析によりそれを明らかにします。

変数選択とダミー変数。

まずはクラスタリングに用いる説明変数を定義します。説明変数を定義することを変数選択や特徴選択といいますが、非常に難しい問題なので、ここでは深く触れず、ひとまず「性別・年齢・購買商品カテゴリ」とします。

次に、定義した説明変数の中で相関する変数がないかを確認します。「クラスター分析入門 #01」でも触れたとおり、クラスター分析において強い相関をもつ変数の存在は冗長で無意味であり、予めどちらかを除外する必要があります。

変数間の相関性は、質的変数であればクロス集計（Cross Tabulation）、量的変数であれば散布図（Scatter Plot）などの手法を用いて分析します。ここでは詳しいプロセスは省略しますが、各変数間に相関性が見られないことが下図にて確認できます。

次にクラスタリング用のデータを用意するわけですが、ここでひとつ前処理が必要になります。「クラスター分析入門 #01」で説明したとおり要素間の距離を類似度とみなすことで類似性を分析するのですが、距離を測定するためには変数が数値化されている必要があります。年齢のような量的変数は問題ありませんが、性別や購買商品カテゴリは質的変数であるため、そのままでは数値として扱うことができません。そこでダミー変数という概念を用います。

ダミー変数（Dummy Variable）とは、質的変数を量的変数として扱うための変数のことで、0と1の二項値を持ちます。例えば、性別であれば”男性”と”女性”の二項値の場合はそのまま男性を0、女性を1のように設定します。

ただし、最近では性別の選択肢に”その他”を設定しているケースも多く、その場合は二項値になりません。このような多項値の場合には、変数の値を別々の真偽値をもつ変数に分解し、偽を0、真を1のように設定します。

今回の対象データでいうと、性別は男性と女性の二項値になっているため、そのままダミー変数にすることができます。なお、購買商品カテゴリについては、それぞれについて購買経験の有無により真偽値を設定することとします。

ところで、年齢については量的変数であるため説明変数として扱うことが可能ですが、クラスタリングに使うには他の説明変数と値の範囲を揃える必要があります。すなわちダミー変数と同じ0から1の値になるように調整することになります。年齢はおよそ0歳から100歳なので、100で割った値を説明変数とします。なお、このように説明変数の値の範囲を変えることを特徴のスケール（Feature Scaling）、値の範囲を揃えることを正規化（Normalization）といいます。

以上を踏まえ、クラスタリング用のデータを以下のスキーマ定義で作成します。

この定義に従ってBigQueryで分析用のテーブルを作成します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。このクエリ結果をデータセット「DE」に「sum_members_cls_ non」という名前で保存します。なお、こちらはノンサンプリングデータになります。

また、計算量を減らし、かつ分類構造を視覚的に捉えやすくするため、ここでは主にサンプリングデータを用いることにします。クエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。このクエリ結果をデータセット「DE」に「sum_members_cls_smp」という名前で保存します。さきほどとの違いは、WHERE文に会員IDを1,000で割った剰余が0の場合に限定するという条件文を追加している点で［※1］、0.1%のサンプリングを意味します。

これで分析用のデータと環境は整いました。次回以降で、階層型・非階層型のそれぞれのアプローチでクラスター分析を進めて行きます。

似た者同士を集める。

クラスター分析（Cluster Analysis）は、異なる性質を持つ要素が混ざり合った集合から、互いに似た性質を持つ要素を集めた部分集合を作る手法で、データマイニング（Data Mining）¹⁾再考するデータマイニングの中核をなす分析手法のひとつです。なお、クラスター（Cluster）とは房・群れ・集団を意味します。

ところで「いまさら聞けない機械学習」で教師なし学習（Unsupervised Learning）の手法としてクラスタリング（Clustering）を紹介しましたが、手法としては全く同じものです。データマイニングでは気づいていない似た性質を持つ集合を発見することを主な目的とし、機械学習では今後発生する事象がどの集合に分類されるかを予測することを主な目的とします。

なお、教師なし学習であるため、クラスターの分類基準はあらかじめ決まっていません。与えられた変数や特徴量をもとに、性質の近い要素を半自動的に抽出して分類することになります。

クラスター分析はマーケティング領域でよく用いられます。「再考するパーソナライゼーション」でも触れたとおり、多様化する生活者の価値観に個別に最適化することをパーソナライゼーション（Peasonalization）といい、そのアプローチにより売上を最大化するマーケティング戦略を1to1マーケティングといいますが、実際にはすべての個人に対して個別に最適化することは難しく、似た者同士での分類、すなわちセグメンテーション（Segmentation）を行う必要があります。一方で、分類基準が自明である場合はよいものの、顧客の価値観や意思決定に関わる因子は極めて複雑であり、多くの場合は自明ではありません。

そのような場合においてクラスター分析は有効な手段であり、顧客データが持つ性別・年齢・購買傾向などのさまざまな変数から似た者同士をクラスターとして抽出することで、セグメンテーションのヒントを得ることが可能となります。

そこで今回は、このクラスター分析の実践にむけた入門編をご紹介します。なお、分析ツールはGoogle BigQueryとGoogle Cloud Datalabを用いて進めます。BigQueryついては「BigQueryではじめるSQL」、Cloud Datalabについては選択する理由と合わせて「アソシエーション分析入門 #02」に詳しいのでそちらを参照してください。

階層型と非階層型。

実践に入る前に、分析の基本的な考え方についてまとめておきます。まずクラスター分析は要素間の類似性を分析する手法の総称であり、特定の分析手法をさすものではありません。分類の形式や要素間の類似度の計算ロジックにより、いくつかの手法に分かれます。

• 分類の形式：階層型、非階層型
• 分類に用いる距離：ユークリッド距離、マハラノビス距離など
• 分類における併合方法：ウォード法、k平均法など

まず大きく階層型と非階層型に分かれます。それぞれの詳細は次回以降に後述するとして、ここでは概要を説明しておきます。

階層型クラスタリング（Hierarchical Clustering）は、最も似ている対象の組み合わせから順にグルーピングしていく手法で、その過程で階層が構成され、最終的にデンドログラム（Dendrogram）と呼ばれる樹形図が完成します。順にグルーピングするため最初にクラスター数を決める必要はなく、後から決めることが可能であり、決めたクラスター数により最終的にどのグループをクラスターとするかが決まります。

非階層型クラスタリング（Non-hierarchical Clustering）は階層的な構造を持たず、最初に決めたクラスター数にサンプルを分けていく手法です。ただし、いくつのクラスターに分けるかは分析者が決める必要があり、最適クラスター数を自動的には計算する方法は確立されていません。階層型と比較して計算量が少なく、サンプル数が多いデータの分析に適しています。

階層型と非階層型の使い分けについて、データのサンプル数が多い場合には非階層型が有利であることから、ビッグデータ分析では非階層型を使うと説明される場合もありますが、それには異論があります。

ビッグデータであっても、分類の軸となる変数や特徴量をつかむことが目的であれば、サンプリングによりサンプル数を減らしての分析も可能です。むしろ、どのように分類されるかの傾向や、あるいは分類の構造をつかみたい場合は、最初にクラスター数を決める必要がなく、さらに分類結果が構造化される階層型のほうが有利な場合も少なくありません。非階層型は、とにかく分類はされるものの、指定したクラスター数の妥当性や、なぜそのように分類されたかの構造を視覚的につかむことができないからです。

このように、階層型と非階層型のどちらが適しているかは、データ量だけでなく分析の目的やデータの理解度などによっても異なりますし、どちらが適しているかがわからない場合も多いため、両方のアプローチをとることをおすすめします。この記事においても、両方のアプローチで進めることにします。

距離を類似度とみなす。

続いて、クラスター分析における距離について説明します。クラスター分析は似た者同士に分類する手法ですが、それには要素間の類似度を定量的に測定する必要があります。そして類似度は、要素間の距離として定量的に測定することが可能です。例えば、あるクラスの生徒の身長と体重のデータを二次元平面にプロットしたとします。その中で、似た体格の生徒は距離的に近い場所にプロットされるはずです。これが、類似度を距離で測定できるということです。すなわち要素間の距離を類似度とみなすことができるということになります。

ところで、数学やデータサイエンスで使う距離にはいくつかの種類があります。日常で用いる距離は、数学的にはユークリッド距離（Euclidean Distance）と呼ばれるもので、要素Aと要素Bの二点間の距離は、二次元平面であればピタゴラスの定理により計算することが可能です。これをN次元に拡張にすると、以下の数式で表現されることになります。

$$d(A, B) =\sqrt{(A_1-B_1)^2+…+(A_n-B_n)^2}\\$$

数学の世界では、ユークリッド距離以外にも、マハラノビス距離やコサイン距離など多数の距離が存在します。ここでは距離の深掘りは避けておきますが、ユークリッド距離以外の距離の捉え方がある、ということを理解するために、マハラノビス距離について簡単に触れておきます。マハラノビス距離（Mahalanobis’ Distance）は、相関性を考慮した距離の捉え方です。

先ほどの例で、あるクラスの生徒の身長と体重のデータを二次元平面にプロットした場合に、似た体格の生徒は距離的に近い場所にプロットされると言いました。では身長も体重も平均的な生徒Aさんから見た場合に等距離にいる生徒は、みな体格の類似度は同じに見えると言えるでしょうか。たとえば、Aさんよりも身長が高く体重も重いBさんと、Aさんよりも身長は低いものの体重が重いCさんがいた場合に、Aさんからの距離がBさんとCさんで同じになることがありますが、Bさんの体型はAさんと比較的似ているものの、Cさんはかなり太っているように見えるはずです。

これは、身長と体重の間に相関がある、すなわち身長が高くなるほど体重も重たくなるという性質によるものです。この場合は相関性を考慮し、相関の強い方向の距離を、実際のユークリッド距離よりも相対的に短く測定することで、実態に近い類似度を表現することが可能となります。これがマハラノビス距離の考え方です。

実際のデータ分析においては、先ほどの身長と体重のように、データの変数間に相関が存在することが少なくありません。その場合はマハラノビス距離を用いるべき、という話になりそうですが、実際にはほとんど用いることはありません。なぜならクラスター分析では、身長と体重のように強い相関をもつ変数の存在は冗長で無意味であり、予めどちらかを除外するからです。言い方を変えると、クラスター分析を行うプロセスにおいては、変数間の相関性を予め分析しておく必要があるということになります。

以上の考え方を踏まえ、次回以降でクラスター分析の実践を進めて行きます。

機械学習（Machine Learning）¹⁾いまさら聞けない機械学習の手法に、ニューラルネットワーク（Neural Network：NN）のアルゴリズムを用いたものがあります。これは人間の脳を模倣したモデルであり、この着想は1950年代ごろからあるものの、さまざまな問題から実用化には至りませんでした。その様相に変化が起きたのは2012年のことです。

きっかけのひとつが米Googleによるネコの認識です。YouTubeに投稿された動画から1000万枚の画像を取り出しでニューラルネットワークに入力し、そこに内在するネコたる特徴を自動的に抽出して抽象化することに成功しました。

もうひとつが2012年に開催された世界的な画像認識コンテスト「ILSVRC：ImageNet Large Scale Visual Recognition Challenge」において、カナダ・トロント大学のジェフリー・ヒントン教授のチームが開発したSuper Visionが優勝したことです。ここでは、画像に写っているものが何かを自動で判別する際の誤り率を競うわけですが、前年の優勝記録である25.8%から16.4%へと約四割も削減し、二位以下を大きく離す圧勝でした。

このSuper Visionに勝利をもたらした技術こそが深層学習です。深層学習（Deep Learning）は、人間の脳を模倣した多層ニューラルネットワークを用いた機械学習の手法で、コンピューターが自ら特徴表現を行うことが最大の特長です。

最近はやや落ち着いた感がありますが、人工知能（Artificial Intelligence：AI）あるいは機械学習という言葉を聞かない日はないくらいにバズワード化しています。これは第三次AIブームと呼ばれ、その火付け役がこの深層学習であることはいうまでもありません。すでに多くの文献や書籍でその解説が行われているため、いまさら感はありますが、機械学習や特徴表現、そしてニューラルネットワークについておさらいしつつ、深層学習とは何か、またその可能性について考えてみたいと思います。

「いまさら聞けない機械学習」でも触れたとおり、機械学習は人間がもつ学習能力をコンピューターで実現する技術や手法のことです。人間のあらゆる能力を対象とするのがAIであるとするならば、機械学習はその一部にすぎません。

学習（Learning）の意味は文脈により異なりますが、とりわけ脳科学や人工知能の領域では”分ける“処理を意味します。ある事象について判断する、それが何かを認識する、などはすべて分ける処理であり、うまく分けることができれば、ものごとを理解・判断し、行動することが可能となります。また、いったん分ける基準や方法がわかれば、未知の事象を予測することも可能です。

自ら特徴表現を行う。

機械学習のアプローチの中に、人間の脳を模倣することで学習能力を実現しようとするものがあります。脳の内部ではニューロン（Neuron／神経細胞）がシナプスの結合によりネットワーク構造となっており、そこに電気が流れて情報を処理するコンピューターのようになっていることが知られています。その情報処理機構を数理モデルにしたものが多層ニューラルネットワークであり、それを用いた機械学習の手法が深層学習です。

多層ニューラルネットワーク（Deep Neural Network：DNN）の仕組みをもう少し詳しく説明します。あるニューロンは他のニューロンからの電気刺激をシナプスを経由して受け取り、それが一定以上たまると発火して次のニューロンに電気刺激を伝えます。これを数理モデルで表現すると、あるニューロンが他のニューロンから0か1の値を受け取り、その値に何らかの重みをかけて足し合わせ、それが一定の閾値を超えれば1、超えなければ0になり、それが次のニューロンに伝播するということになります。このモデルをニューラルネットワークといいます。ニューラルネットワークの階層は大きく、入力層・隠れ層・出力層の三つからなり、入力データは、入力層から隠れ層へ、隠れ層から出力層へと伝播されます。この隠れ層を多層にし、人間の脳の動きにより近づけたものがDNNです。

DNNを用いた深層学習の最大の特長は、コンピューターが自ら特徴表現をすることにあります。機械学習を用いた分類や予測において、正解を決定づける要因のことを特徴量（Feature Quantity）といい、それを抽出・抽象化することを特徴表現と言います。前述のGoogleのネコの認識でいうと、ネコをネコであると識別する上で、それを決定づける特徴をつかむことです。他の機械学習ではこれを人間が行う必要がありますが、無数の変数から特徴をつかむ作業が困難、あるいは想定していない特徴をつかむことができないなどの問題があり、自動化には大きな意味があります。

これを可能にしているのが、オートエンコーダ（Auto Encoder／自己符号化器）という次元圧縮の技術です。従来、ニューラルネットワークを作るには、正解である教師データを人が与えて学習させるという訓練フェーズが必要でした。たとえば、入力に手書きの「7」という画像を与える場合、出力に「7」という正解の識別情報を与える必要があるということになります。

一方でオートエンコーダでは、出力に入力と同じものを与えることで、入力を再現するデータを出力するようコンピュータ自身に訓練させるということを行います。つまり、入力に手書きの「7」という画像を与える場合、出力には全く同じ手書きの「7」を与えればよく、自動で行うことが可能です。そしてオートエンコーダは、出力が入力にできるだけ近いものになる、専門用語でいうと復元エラーが最小になるような特徴表現を自動的に探してくれます。

これはMNISTと呼ばれる0〜9の手書き数字の画像のデータセットでオートエンコーダを動かした場合の例です。上が入力データ、下が出力データですが、ほとんど同じような手書き数字が出力されていることがわかります。

DNNを用いた機械学習の発想は古くからあり、現在の深層学習につながる世界的に最も先駆的な研究に、日本のNHK放送技術研究所の福島邦彦氏によって1979年に発表されたネオコグニトロンがあります。これにはコンピューターが自ら学習することによってパターン認識能力を獲得する自己組織化機能があり、応用例として手書き文字データベースから自己学習によって手書き文字認識能力が獲得されることを実証しました。

しかしながら、当時は手書き文字認識方式の一つと誤解され、その重要性が世間に認識されませんでした。また、大量データと膨大な計算を行う超高性能なコンピューターを必要とするために実用化には至りませんでした。それらが克服されたことと、長年の研究によるアルゴリズムの進化が融合し、深層学習として具現化され、まさにいま盛り上がりを見せています。

一方で、「UXモデリングって？」でも触れたとおり、深層学習には大量の学習データが必要である、導出されたモデルがブラックボックス化するなどの欠点があります。また過学習による汎化性能低下の問題もあります。いま現在において深層学習が実用化されているのは、大量の学習データを獲得しやすく、かつモデルを単純化しやすい画像処理などの一部の領域に限られているというのが現実です。

人の”目”となる深層学習技術。

そうだとしても、多くの問題解決に深層学習が有効であることが認められており、実用化が進んでいます。とりわけ重要なのは人の”目”の代わりになることであり、人手不足や働き方、高齢化などが大きな社会問題となる中で、もはや欠かすことができない技術となりつつあります。

大手コンビニエンスストアでは、24時間営業を見直す検討がなされており、既に数百店舗での実証実験が行われています。人手不足や加盟店の過酷な労働環境を是正することが目的ですが、一方で24時間営業をやめると利便性が低下し、他のチェーンや店舗に顧客を奪われるリスクもあるため、大きなジレンマに陥っています。そこで期待がかかるのが無人店舗の実現です。

米Amazon.comの「Amazon Go」が話題となり、中国でも無人コンビニが増加していますが、国内でもレジなし店舗を実現するための技術や製品の開発が進んでいます。2017年11月に、東日本旅客鉄道（JR東日本）の大宮駅にレジなし店舗が登場しましたが、これはサインポスト社が開発した「スーパーワンダーレジ」の実証実験店舗です。利用者が棚から商品を取ると、棚などに取り付けられたカメラがその状況を捉え、AIが識別して購入金額を自動的に計算します。利用者はレジで交通系ICカードをタッチするだけで精算が完了します。ここに深層学習の画像識別技術が活用されています。

また最近では高齢者による自動車事故が相次いでおり、連日報道されるなど、社会問題として顕在化しつつあります。実際には高齢者よりも若年層のほうが事故率が高く、流通している情報や分析に偏りが見られるものの、今後の超高齢化社会では高齢者の母数が増大するため、率以上に数が問題となることは明白です。

環境問題も含めると、そもそもマイカーに依存しない交通インフラを目指すべきという考え方もあります。一方で、電気や水道などの生活インフラと同様、人口減少に伴う維持コストの問題もあり、コンパクトシティの実現と合わせて考える必要があります。日本よりも一足先に高齢化社会に突入したドイツやフランスなどの欧州各国では、トラム（路面電車）を中核としたコンパクトシティ構想を国家レベルで実証実験しています。日本でも取り組みは進められているものの、実現には多くの時間とコストを要します。

それを待たずして到来する超高齢化社会における交通問題に対して、現時点でもっとも有効かつ現実的な解が自動運転です。大手自動車メーカーはIT企業と協力しながら自動運転の実用化に向けた研究開発を進めていますが、当然ながらここでも人の”目”の代わりになる技術が重要となります。

本田技研工業（ホンダ）はすべての人に事故ゼロと自由な移動の喜びを提供するために自動運転の研究開発に取り組んでおり、マイカーのレベル４自動運転技術の確率を目指しています。レベル４自動運転技術とは、緊急時にも運転手が対応せず、コンピューターが主体として全責任を持つ、すなわち運転手が運転操作に参加することを前提としないというものです。ただし限定エリア内の制限があるため、エリア外での運転を想定し、ハンドル・アクセル・ブレーキなどは設備します。

ホンダは車体の前・左前・右前に設置された三台のカメラで視覚情報を取得し、深層学習により物体や距離の識別を行うことで、自動運転のための状況の理解と判断を実現しようとしています。

このように深層学習は、人の”目”となることで、現代社会が抱える問題を解決し、生活をサポートする技術として高い可能性を秘めています。AIが人の仕事を奪うということがうるさく言われていますが、すべての技術革新は何らかの形で従来の仕事を自動化・代替してきたわけであり、AIだけが特別なものではありません。人間がやらなくてもよい作業をAIに代替させ、より創造的なことに時間を使えるようになるということです。