クラスターごとに特徴量を集計。

BigQuery MLと総合ECサイトの会員の購買履歴データを用いた会員のクラスタリングを試みていますが、前回「BigQuery ML 試し打ち #03」でモデルの作成まで完了したので、今回はモデルの可視化と予測結果の出力を行います。

可視化するには、クラスターと特徴量のクロス集計表にする必要があります。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。このクエリ結果をデータセット「DE」に「sum_clusters_bqml」という名前で保存します。

モデルを可視化する。

「sum_clusters_bqml」テーブルをTableauで可視化します。クラスターIDを［行］、各説明変数を［列］シェルフにそれぞれ設定すると、以下のようなビューが表示されます。

クラスターごとの特徴を見ると、クラスターID:6は女性のみ、平均年齢は30歳程度、主に「エレクトロニクス・コンピューター」を購入しているセグメント、クラスターID:9は男性80%、平均年齢は40歳程度、主に「本・聞く本」「映画・音楽・ゲーム」「エレクトロニクス・コンピューター」を購入しているセグメント、などがわかります。また、年齢についてもクラスターごとにばらつきがあり、クラスターID:2は年齢層がやや高め、クラスターID:10は年齢層がやや低めなどの特徴があります。これらは「クラスター分析入門」で見られた特徴とは異なることがわかります。

どのクラスターかを予測する。

続いて、作成したモデルを使って、特定の特徴をもつ会員がどのクラスターに分類されるかの予測を行い、結果を出力します。それにはBigQuery MLで用意されているML.PREDICTという関数を使用し、以下の構文で記述します。

SELECT 出力したい変数
FROM ML.PREDICT(
  MODEL モデル名
  , (
    SELECT *
    FROM 機械学習用データテーブル
    WHERE 予測対象の会員の条件
  )
)

ではまず、男性で「本・聞く本」「映画・音楽・ゲーム」「エレクトロニクス・コンピューター」の購買経験がある会員がどのクラスターに分類されるかを予測します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。

この結果から、すべての会員がクラスターID:9として予測されることがわかります。これはさきほど可視化したモデルと完全に一致します。

続けて、女性で「エレクトロニクス・コンピューター」の購買経験がある会員がどのクラスターに分類されるかを予測します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。

この結果から、約90%の会員がクラスターID:6として予測されることがわかります。これはさきほど可視化したモデルとほぼ一致しますが、残りの約10%の会員がクラスターID:2として予測されています。それらの会員の特徴を見ると、比較的年齢の高い会員が多いように見受けられます。これはモデルの可視化結果で見た、クラスターID:2の年齢層がやや高めという評価と一致します。

そこで、年齢を20代から40代に限定した場合に、会員がどのクラスターに分類されるかを予測します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。

この結果から、すべての会員がクラスターID:6として予測されることがわかります。これはさきほど可視化したモデルと完全に一致します。

BigQuery MLと総合ECサイトの会員の購買履歴データを用いた会員のクラスタリングを試みをしましたが、BigQuery上で完結して簡単に実現できることがわかりました。現時点で扱えるモデルは線形回帰・ロジスティック回帰・k 平均法クラスタリングのみですが、今後は協調フィルタリングやTensorFlowを用いたディープニューラルネットワークなど扱えるモデルも増えていくことが予定されているので、期待して待ちたいと思います。

SQLによるクラスタリング。

BigQuery MLは、Googleが提供するデータウェアハウス（Data Warehouse：DWH）であるGoogle BigQuery上にて機械学習（Machine Learning：ML）を可能とするクラウドサービスです。最大の特徴は、モデルの作成から評価や予測までをBigQueryと同様の標準SQLによるクエリ形式で行う点です。これにより、データの準備を含めた機械学習のすべてのプロセスをBigQuery上でSQLのみで完結することが可能となり、作業効率やセキュリティの面で大きなメリットが得られます。

前回の「BigQuery ML 試し打ち」ではロジスティック回帰モデルを用いて、総合ECサイトの会員の継続予測を行いました。今回は先日ベータ版がリリースされたk平均法クラスタリングのモデルの試し打ちがてら、例によって「データエスノグラフィ入門」と連動し、総合ECサイトの会員のクラスタリングを行なってみようと思います。

なお、同じテーマを「クラスター分析入門」で扱っており、クラスター分析（Cluster Analysis）あるいはクラスタリング（Clustering）とは何か、階層型と非階層型の違いは何かなどの詳細はそちらに詳しいので、ここでは省略します。また分析ツールについては、そこではGoogle Cloud Datalabを用いましたが、ここではBigQuely MLを用いるため、どちらも試しながら両方の違いを検証するのもよいでしょう。

機械学習用のデータと環境を準備。

それではBigQuery MLを用いたクラスタリングを始めましょう。分析を進める前に、まずは分析の背景と目的を整理します。

あなたは、とある総合ECサイトの責任者です。ECサイトでは、F2転換率が重要であると言われています。この”F”は購買頻度（Frequency）のことで、F2転換率とは初回購買から二回目購買への転換率（Conversion Rate）を意味します。一般的に、新規会員の獲得よりも、既存会員のリピート購買促進のほうがコスト効率が高いため、F2転換率は重要な指標となります。とはいえF2転換した会員が、その後も継続的に購買してくれる、いわゆる優良会員になるとは限りません。

そこで今回の分析目的を「優良化する会員の行動特性を、購買履歴データから把握する」とします。なおそこには、まだ優良化していな会員を意図的に優良化するためのヒントがあることは言うまでもありません。

分析対象データは、とある総合ECサイトの会員の購買履歴データとし、概要は以下のとおりです。

• 種類：総合ECサイトの会員の購買履歴
• 期間：2005年1月〜2013年12月（9年間）
• 会員数：639,777人
• 購買数：7,599,650件（平均11.9件/人）

データソースは以下の３つを使用します。なお、こちらはすでにBigQueryに投入済みとします。

行動特性の分析を進める中で、購買商品カテゴリ数と優良化との間に相関があることがわかりました。（※「データエスノグラフィ入門 #04」を参照）これは、新たな商品カテゴリを提案することが優良化につながる可能性を示唆しています。ただし、闇雲に提案するよりも、類似する会員セグメントの併売傾向と照らし合わせ、未購買商品カテゴリを提案するほうが効果が高いと考えられます。そこでクラスター分析によりそれを明らかにします。

まずはクラスタリングに用いる説明変数を定義します。説明変数を定義することを変数選択や特徴選択といいますが、非常に難しい問題なので、ここでは深く触れず、ひとまず「性別・年齢・購買商品カテゴリ」とします。

なお、クラスタリングにおいて強い相関をもつ変数の存在は冗長で無意味であり、予めどちらかを除外する必要がありますが、これらの各変数間に相関性が見られないことは確認済みとします。（※「クラスター分析入門 #02」を参照）

次にクラスタリング用のデータを用意するわけですが、ここでひとつ前処理が必要になります。クラスタリングでは要素間の距離を類似度とみなすことで類似性を分析するのですが、距離を測定するためには変数が数値化されている必要があります。しかしながら、性別や購買商品カテゴリは質的変数であるため、そのままでは数値として扱うことができません。そこでダミー変数（Dummy Variable）に置き換えます。また、年齢は量的変数であるため、説明変数として扱うことが可能ですが、クラスタリングに使うには他の説明変数と値の範囲を揃える必要があります。そこで正規化（Normalization）を行います。ダミー変数と正規化については「クラスター分析入門 #02」に詳しいので省略します。

以上を踏まえ、クラスタリング用のデータを以下のスキーマ定義で作成します。

この定義に従ってBigQueryで分析用のテーブルを作成します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。このクエリ結果をデータセット「DE」に「sum_members_cls_ non」という名前で保存します。これで分析用のデータと環境は整いました。

モデルを作成する。

データの準備が整ったので、クラスタリングを進めて行きます。まずはモデルの作成を行います。モデルの作成には、BigQuery MLで用意されているCREATE MODELという関数を使用し、以下の構文で記述します。なおクラスタリングは教師なし学習のため、正解を示す目的変数は存在せず、また訓練データと評価用データに分割する必要はありません。

CREATE OR REPLACE MODEL データセット名.モデル名 
OPTIONS( 
  model_type = 使用するモデリングタイプ
  ,num_clusters = クラスター数
  ,standardize_features = 真偽値
) AS (
  SELECT 説明変数, ...
  FROM 機械学習用データテーブル
)

［model_type］にはk平均法クラスタリングを示す［kmeans］を指定します。クラスター数を指定するオプションの［num_clusters］には妥当性が確認されているである10を指定します。（※「クラスター分析入門 #03」を参照）また、［standardize_features］は正規化を行うかどうかのオプションで、すでに処理済みですがTRUEを指定しておきます。なお、初期設定はTRUE であるため省略可能です。

BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。なおこのクエリ結果はデータセット「DE」に「mdl_members_cls」という名前で自動的に保存されます。

これでモデルの作成は完了です。次回は作成したモデルの可視化や予測結果の出力を行います。

モデルを評価する。

BigQuery MLと総合ECサイトの会員の購買履歴データを用いて、一年間の購買傾向から、翌年も継続して購買する会員を予測するという試みをしていますが、前回「BigQuery ML 試し打ち #01」で予測モデルの作成まで完了したので、今回はモデルの評価と予測結果の出力、さらに重みの分析を行います。

まずは予測モデルの評価を行いますが、それにはBigQuery MLで用意されているML.EVALUATEという関数を使用し、以下の構文で記述します。

SELECT * 
FROM ML.EVALUATE(
  MODEL モデル名
  , (
    SELECT 目的変数, 説明変数, ...   
    FROM 機械学習用データテーブル
    WHERE 評価データを指定
  )
)

モデル作成時と同様、目的変数は列名を「label」で指定するルールのため「retention」をそれに置き換えます。説明変数には「性別・年齢・購買商品カテゴリ・購買頻度・購買金額」を指定するため、それ以外は除外します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。

すると、クエリ結果に以下のような表が出力されるかと思います。

これらの項目と値の意味を簡単に解説しますが、その前に二項分類の予測と結果のマトリクスについて理解をしておく必要があります。それは以下の表で整理できます。

• 真陽性：TRUEの結果を正しくTRUEと予測
• 真陰性：FALSEの結果を正しくFALSEと予測
• 偽陽性：FALSEの結果を誤ってTRUEと予測
• 偽陰性：TRUEの結果を誤ってFALSEと予測

このマトリクスを基に、評価結果の［precision］［recall］［accuracy］［f1_score］の各項目の意味を以下のように説明することができます。またそれぞれの値は0から1の実数となり、1に近くほど精度が高いことを意味します。

すなわち今回の予測モデルの評価結果としては、正解率は77%であり、TRUEと予測したものが結果としてTRUEであった確率を示す適合率は89%と非常に高いものの、結果が TRUEであるものを正しくTRUEと予測した確率を示す再現率は50%に止まった、ということになります。

継続か否かを予測する。

続いて、作成した予測モデルを使って、評価データに対する「継続か否か」の予測を行い、結果を出力します。それにはBigQuery MLで用意されているML.PREDICTという関数を使用し、以下の構文で記述します。

SELECT 出力したい変数
FROM ML.PREDICT(
  MODEL モデル名
  , (
    SELECT *
    FROM 機械学習用データテーブル
    WHERE 評価データを指定
  )
)

構文としては評価の場合とおおむね同じですが、機械学習用データテーブルから抽出する項目には、最終的に出力したい変数を含めておく必要があります。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。

すると、以下のスキーマのテーブルが出力されます。レコードは会員ID単位で、predicted_labelが予測結果となります。predicted_label_probs.probは真偽それぞれの予測の確からしさの値であり、高いほうが予測結果として選択されます。

重みを分析する。

最後に重みの分析を行います。重み（Weight）とは結果の決定に対する影響力のことであり、それが大きい説明変数がわかれば、意図する結果を再現しやすくなります。機械学習の目的は、予測結果を導出することでもありますが、重みの大きい説明変数を発見することでもあります。それにはBigQuery MLで用意されているML.WEIGHTという関数を使用し、以下の構文で記述します。

SELECT * 
FROM ML.WEIGHT(
  MODEL モデル名
  ORDER BY ABS( weight ) DESC
)

BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。

すると、クエリ結果に以下のような表が出力されるかと思います。

重みは、正の場合は値が大きいほど、その変数が目的変数の真値への影響力が強く、逆に負の場合は値が小さいほど、目的変数の偽値への影響力が強いことを意味します。この結果から、やはり購買金額（Monetary）と購買頻度（Frequency）が目的変数の真値への影響力が強い、すなわち購買金額や頻度が高い会員ほど継続する可能性が高いことがわかります。逆に年齢（Age）が目的変数の偽値への影響力が強い、すなわち年齢が高い会員ほど離反する可能性が高いことがわかります。

BigQuery MLと総合ECサイトの会員の購買履歴データを用いて、一年間の購買傾向から、翌年も継続して購買する会員を予測するという試みをしましたが、BigQuery上で完結して簡単に実現できることがわかりました。現時点で扱えるモデルは線形回帰・ロジスティック回帰・k 平均法クラスタリングのみですが、今後は協調フィルタリングやTensorFlowを用いたディープニューラルネットワークなど扱えるモデルも増えていくことが予定されているので、期待して待ちたいと思います。

SQLで機械学習。

BigQuery MLは、Googleが提供するデータウェアハウス（Data Warehouse：DWH）であるGoogle BigQuery上にて機械学習（Machine Learning：ML）を可能とするクラウドサービスです。最大の特徴は、モデルの作成から評価や予測までをBigQueryと同様の標準SQLによるクエリ形式で行う点です。これにより、データの準備を含めた機械学習のすべてのプロセスをBigQuery上でSQLのみで完結することが可能となり、作業効率やセキュリティの面で大きなメリットが得られます。

現時点で扱えるモデルは線形回帰・ロジスティック回帰・k 平均法クラスタリングのみですが、扱えるモデルは今後増えていくことが予定されています。

ベータ版リリースから一年近くが経過しており、いまさら試し打ちというのも変ですが、一般提供されたのを受けて、復習もかねてその触り心地をまとめておきます。それではBigQuery MLを用いた機械学習を始めましょう。

今回は「データエスノグラフィ入門」と連動し、総合ECサイトの会員の継続購買の予測を行うという設定で進めます。分析対象データは、とある総合ECサイトの会員の購買履歴データとし、概要は以下のとおりです。

• 種類：総合ECサイトの会員の購買履歴
• 期間：2005年1月〜2013年12月（9年間）
• 会員数：639,777人
• 購買数：7,599,650件（平均11.9件/人）

データソースは以下の３つを使用します。なお、こちらはすでにBigQueryに投入済みとします。

これらのデータを使用し、2012年の一年間の購買傾向から、2013年も継続して購買する会員を予測してみます。

機械学習用のデータと環境を準備。

分析を進める前に、まずは分析手法を決めます。売上や継続率などの数値予測の場合は線形回帰（Linear Regression）を用いますが、「継続か否か」のような二項分類の場合はロジスティック回帰（Logistic Regression）を用います。

また、予測対象の変数を目的変数（Objective Variable）といい、今回は「継続か否か」がそれになります。その結果を決定づける原因となる変数を説明変数（Explanatory Variable）といい、機械学習では特徴量（Feature Value）とも言います。説明変数は無数に存在しますが、結果の決定に対する影響力を重み（Weight）といい、重みの大きい説明変数がわかれば、意図する結果を再現しやすくなります。機械学習の目的は、予測結果を導出することでもありますが、重みの大きい説明変数を発見することでもあります。

説明変数を定義することを変数選択や特徴選択といいますが、非常に難しい問題なので、ここでは深く触れず、ひとまず「性別・年齢・購買商品カテゴリ・購買頻度・購買金額」とします。なお、集計期間は2012年の一年間とします。

次に、BigQueryで機械学習用のテーブルを用意します。必要なのは会員IDごとの集計データで、そこに目的変数と説明変数を含めます。さらに、訓練データ（Training Data）でモデルを作成し、評価データ（Evaluation Data）でモデルを評価するというプロセスを踏まえるため、データをその二つに分割します。BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。また、このクエリ結果をデータセット「DE」に「sum_members_ret」という名前で保存します。

なお、処理の効率化のために10%のサンプリングをしていますが［※1］、これは会員IDを10で割った剰余が0の場合に限定するという意味です。また、欠損を除外するために性別がNULLでない会員に限定し［※2］、年齢の異常値を除外するために10歳以上90歳未満の会員に限定しています［※3］。さらに、集計期間中の購買がない会員を除外しています［※4］。

SQL内の「retention」が、目的変数である「継続か否か」を指す変数で、最終購買日が2013年以降の会員の場合のみ継続を意味する「TRUE」を、それ以外は離反を意味する「FALSE」を設定します。また「evaluation」が、訓練データと評価データを切り分ける変数で、90%が訓練データ、10%が評価データになるようランダムに振り分けます。もともと10%のサンプリングを行なっているため、会員IDを100で割った剰余が0の場合を評価データとして「TRUE」を、それ以外は訓練データとして「FALSE」を設定します。

ちなみに、説明変数に購買頻度（Frequency）や購買金額（Monetary）は含めますが、最終購買日（Recency）は含めません。これは、目的変数である「継続か否か」自体が最終購買日を基準に定義されるためです。これを含めてしまうと、当然ながら予測精度は自動的に100%になります。

モデルを作成する。

データの準備が整ったので、機械学習を進めて行きます。まずは「継続か否か」の予測モデルの作成を行います。モデルの作成には、BigQuery MLで用意されているCREATE MODELという関数を使用し、以下の構文で記述します。

CREATE OR REPLACE MODEL データセット名.モデル名 
OPTIONS( 
  model_type = 使用するモデリングタイプ
) AS (
  SELECT 目的変数, 説明変数, ...
  FROM 機械学習用データテーブル
  WHERE 訓練データを指定
)

［model_type］にはロジスティック回帰を示す［logistic_reg］を指定します。目的変数は列名を「label」で指定するルールのため「retention」をそれに置き換えます。説明変数には「性別・年齢・購買商品カテゴリ・購買頻度・購買金額」を指定するため、それ以外は除外します。

BigQueryのクエリエディタに以下のSQL文を入力し、青い［実行］ボタンをクリックしてみましょう。なおこのクエリ結果はデータセット「DE」に「mdl_members_ret」という名前で自動的に保存されます。

これでモデルの作成は完了です。次回は作成したモデルの評価や予測結果の出力、さらに重みの分析を行います。

機械学習（Machine Learning）¹⁾いまさら聞けない機械学習の手法に、ニューラルネットワーク（Neural Network：NN）のアルゴリズムを用いたものがあります。これは人間の脳を模倣したモデルであり、この着想は1950年代ごろからあるものの、さまざまな問題から実用化には至りませんでした。その様相に変化が起きたのは2012年のことです。

きっかけのひとつが米Googleによるネコの認識です。YouTubeに投稿された動画から1000万枚の画像を取り出しでニューラルネットワークに入力し、そこに内在するネコたる特徴を自動的に抽出して抽象化することに成功しました。

もうひとつが2012年に開催された世界的な画像認識コンテスト「ILSVRC：ImageNet Large Scale Visual Recognition Challenge」において、カナダ・トロント大学のジェフリー・ヒントン教授のチームが開発したSuper Visionが優勝したことです。ここでは、画像に写っているものが何かを自動で判別する際の誤り率を競うわけですが、前年の優勝記録である25.8%から16.4%へと約四割も削減し、二位以下を大きく離す圧勝でした。

このSuper Visionに勝利をもたらした技術こそが深層学習です。深層学習（Deep Learning）は、人間の脳を模倣した多層ニューラルネットワークを用いた機械学習の手法で、コンピューターが自ら特徴表現を行うことが最大の特長です。

最近はやや落ち着いた感がありますが、人工知能（Artificial Intelligence：AI）あるいは機械学習という言葉を聞かない日はないくらいにバズワード化しています。これは第三次AIブームと呼ばれ、その火付け役がこの深層学習であることはいうまでもありません。すでに多くの文献や書籍でその解説が行われているため、いまさら感はありますが、機械学習や特徴表現、そしてニューラルネットワークについておさらいしつつ、深層学習とは何か、またその可能性について考えてみたいと思います。

「いまさら聞けない機械学習」でも触れたとおり、機械学習は人間がもつ学習能力をコンピューターで実現する技術や手法のことです。人間のあらゆる能力を対象とするのがAIであるとするならば、機械学習はその一部にすぎません。

学習（Learning）の意味は文脈により異なりますが、とりわけ脳科学や人工知能の領域では”分ける“処理を意味します。ある事象について判断する、それが何かを認識する、などはすべて分ける処理であり、うまく分けることができれば、ものごとを理解・判断し、行動することが可能となります。また、いったん分ける基準や方法がわかれば、未知の事象を予測することも可能です。

自ら特徴表現を行う。

機械学習のアプローチの中に、人間の脳を模倣することで学習能力を実現しようとするものがあります。脳の内部ではニューロン（Neuron／神経細胞）がシナプスの結合によりネットワーク構造となっており、そこに電気が流れて情報を処理するコンピューターのようになっていることが知られています。その情報処理機構を数理モデルにしたものが多層ニューラルネットワークであり、それを用いた機械学習の手法が深層学習です。

多層ニューラルネットワーク（Deep Neural Network：DNN）の仕組みをもう少し詳しく説明します。あるニューロンは他のニューロンからの電気刺激をシナプスを経由して受け取り、それが一定以上たまると発火して次のニューロンに電気刺激を伝えます。これを数理モデルで表現すると、あるニューロンが他のニューロンから0か1の値を受け取り、その値に何らかの重みをかけて足し合わせ、それが一定の閾値を超えれば1、超えなければ0になり、それが次のニューロンに伝播するということになります。このモデルをニューラルネットワークといいます。ニューラルネットワークの階層は大きく、入力層・隠れ層・出力層の三つからなり、入力データは、入力層から隠れ層へ、隠れ層から出力層へと伝播されます。この隠れ層を多層にし、人間の脳の動きにより近づけたものがDNNです。

DNNを用いた深層学習の最大の特長は、コンピューターが自ら特徴表現をすることにあります。機械学習を用いた分類や予測において、正解を決定づける要因のことを特徴量（Feature Quantity）といい、それを抽出・抽象化することを特徴表現と言います。前述のGoogleのネコの認識でいうと、ネコをネコであると識別する上で、それを決定づける特徴をつかむことです。他の機械学習ではこれを人間が行う必要がありますが、無数の変数から特徴をつかむ作業が困難、あるいは想定していない特徴をつかむことができないなどの問題があり、自動化には大きな意味があります。

これを可能にしているのが、オートエンコーダ（Auto Encoder／自己符号化器）という次元圧縮の技術です。従来、ニューラルネットワークを作るには、正解である教師データを人が与えて学習させるという訓練フェーズが必要でした。たとえば、入力に手書きの「7」という画像を与える場合、出力に「7」という正解の識別情報を与える必要があるということになります。

一方でオートエンコーダでは、出力に入力と同じものを与えることで、入力を再現するデータを出力するようコンピュータ自身に訓練させるということを行います。つまり、入力に手書きの「7」という画像を与える場合、出力には全く同じ手書きの「7」を与えればよく、自動で行うことが可能です。そしてオートエンコーダは、出力が入力にできるだけ近いものになる、専門用語でいうと復元エラーが最小になるような特徴表現を自動的に探してくれます。

これはMNISTと呼ばれる0〜9の手書き数字の画像のデータセットでオートエンコーダを動かした場合の例です。上が入力データ、下が出力データですが、ほとんど同じような手書き数字が出力されていることがわかります。

DNNを用いた機械学習の発想は古くからあり、現在の深層学習につながる世界的に最も先駆的な研究に、日本のNHK放送技術研究所の福島邦彦氏によって1979年に発表されたネオコグニトロンがあります。これにはコンピューターが自ら学習することによってパターン認識能力を獲得する自己組織化機能があり、応用例として手書き文字データベースから自己学習によって手書き文字認識能力が獲得されることを実証しました。

しかしながら、当時は手書き文字認識方式の一つと誤解され、その重要性が世間に認識されませんでした。また、大量データと膨大な計算を行う超高性能なコンピューターを必要とするために実用化には至りませんでした。それらが克服されたことと、長年の研究によるアルゴリズムの進化が融合し、深層学習として具現化され、まさにいま盛り上がりを見せています。

一方で、「UXモデリングって？」でも触れたとおり、深層学習には大量の学習データが必要である、導出されたモデルがブラックボックス化するなどの欠点があります。また過学習による汎化性能低下の問題もあります。いま現在において深層学習が実用化されているのは、大量の学習データを獲得しやすく、かつモデルを単純化しやすい画像処理などの一部の領域に限られているというのが現実です。

人の”目”となる深層学習技術。

そうだとしても、多くの問題解決に深層学習が有効であることが認められており、実用化が進んでいます。とりわけ重要なのは人の”目”の代わりになることであり、人手不足や働き方、高齢化などが大きな社会問題となる中で、もはや欠かすことができない技術となりつつあります。

大手コンビニエンスストアでは、24時間営業を見直す検討がなされており、既に数百店舗での実証実験が行われています。人手不足や加盟店の過酷な労働環境を是正することが目的ですが、一方で24時間営業をやめると利便性が低下し、他のチェーンや店舗に顧客を奪われるリスクもあるため、大きなジレンマに陥っています。そこで期待がかかるのが無人店舗の実現です。

米Amazon.comの「Amazon Go」が話題となり、中国でも無人コンビニが増加していますが、国内でもレジなし店舗を実現するための技術や製品の開発が進んでいます。2017年11月に、東日本旅客鉄道（JR東日本）の大宮駅にレジなし店舗が登場しましたが、これはサインポスト社が開発した「スーパーワンダーレジ」の実証実験店舗です。利用者が棚から商品を取ると、棚などに取り付けられたカメラがその状況を捉え、AIが識別して購入金額を自動的に計算します。利用者はレジで交通系ICカードをタッチするだけで精算が完了します。ここに深層学習の画像識別技術が活用されています。

また最近では高齢者による自動車事故が相次いでおり、連日報道されるなど、社会問題として顕在化しつつあります。実際には高齢者よりも若年層のほうが事故率が高く、流通している情報や分析に偏りが見られるものの、今後の超高齢化社会では高齢者の母数が増大するため、率以上に数が問題となることは明白です。

環境問題も含めると、そもそもマイカーに依存しない交通インフラを目指すべきという考え方もあります。一方で、電気や水道などの生活インフラと同様、人口減少に伴う維持コストの問題もあり、コンパクトシティの実現と合わせて考える必要があります。日本よりも一足先に高齢化社会に突入したドイツやフランスなどの欧州各国では、トラム（路面電車）を中核としたコンパクトシティ構想を国家レベルで実証実験しています。日本でも取り組みは進められているものの、実現には多くの時間とコストを要します。

それを待たずして到来する超高齢化社会における交通問題に対して、現時点でもっとも有効かつ現実的な解が自動運転です。大手自動車メーカーはIT企業と協力しながら自動運転の実用化に向けた研究開発を進めていますが、当然ながらここでも人の”目”の代わりになる技術が重要となります。

本田技研工業（ホンダ）はすべての人に事故ゼロと自由な移動の喜びを提供するために自動運転の研究開発に取り組んでおり、マイカーのレベル４自動運転技術の確率を目指しています。レベル４自動運転技術とは、緊急時にも運転手が対応せず、コンピューターが主体として全責任を持つ、すなわち運転手が運転操作に参加することを前提としないというものです。ただし限定エリア内の制限があるため、エリア外での運転を想定し、ハンドル・アクセル・ブレーキなどは設備します。

ホンダは車体の前・左前・右前に設置された三台のカメラで視覚情報を取得し、深層学習により物体や距離の識別を行うことで、自動運転のための状況の理解と判断を実現しようとしています。

このように深層学習は、人の”目”となることで、現代社会が抱える問題を解決し、生活をサポートする技術として高い可能性を秘めています。AIが人の仕事を奪うということがうるさく言われていますが、すべての技術革新は何らかの形で従来の仕事を自動化・代替してきたわけであり、AIだけが特別なものではありません。人間がやらなくてもよい作業をAIに代替させ、より創造的なことに時間を使えるようになるということです。

データマイニング（Data Mining）は、統計学や人工知能（Artificial Intelligence：AI）などの手法を使って大量のデータから知識を取り出す技術のことで、文字通り知識を採掘（Mining）するイメージです。

このデータマイニングという技術や言葉が普及するきっかけになったのが、有名な「おむつとビール」の話です。1992年に大手スーパーマーケットチェーンのOsco DrugsがPOSデータを分析したところ、おむつとビールが併売されることが多いことがわかりました。このような併売傾向を分析する技術を、買い物かごにみたててバスケット分析（Basket Analysis）といい、事象間の相関の強さを分析する技術であるアソシエーション分析（Association Analysis）¹⁾アソシエーション分析入門の、マーケティング領域における代表的な実用例となっています。

同じくマーケティング領域においては、1to1マーケティングとよばれる、数百万人の顧客をいくつかのセグメント（似た者同士）に細分化し、それぞれのセグメントに対して個別にマーケティング施策を行うことで、ビジネス成果を最大化するアプローチがありますが、このセグメントの分類手法として、教師なし機会学習の代表手法でもあるクラスタリング（Clustering）²⁾いまさら聞けない機械学習がよく用いられます。

データマイニングの手法や技術の多くは、機械学習と一致します。ビッグデータ化にともなう機械学習の進化は、すなわちデータマイニングの進化を意味します。一方で、データマイニングという言葉の盛り上がりは、かつて2000年代中頃にあったものより鎮静化しているように思います。それはなぜなのでしょうか。そして今後はどうなるのでしょうか。再考してみたいと思います。

データマイニングへの期待と失望。

データマイニングのもつ価値は、前述の「おむつとビール」の話に代表されるように、想像もしていなかった知識を発掘することにあります。まさか、おむつとビールがよく併売されるとは思わないからです。このことが、データマイニングの期待を高めることになるわけですが、同時に期待を裏切ることにもなります。

期待を裏切るポイントは大きく二つあります。ひとつは、想像もしない知識が発掘されたとして、実際の施策に展開しづらいことが多いこと。もうひとつは、結果として想像の範囲内の知識しか得られないことが多いことです。

前者については、これも「おむつとビール」が典型例です。おむつとビールが併売されることがわかったとして、実際に同じ売り場に置くわけにはいきません。もっとも、おむつ売り場とビール売り場の動線上に、さらに併売傾向が見られる商品をうまく配置する、などの施策につながる可能性はあります。

やっかいなのは後者で、そもそもデータの中に想像もしない知識が埋もれているという保証はありませんし、あったとして、大量のデータからそれを拾い上げるのは非常に困難です。分析結果に何らかの知識が隠されていたとしても、結局それを解釈するのは人間であり、そこには深い経験と膨大な労力がかかります。魔法の杖のように自動的に知識がもたらされるという幻想をいだいていると、必ず期待を裏切られることになります。このことが、データマイニングという言葉の盛り上がりを鎮静化させた要因です。

重要なのはスパイラルモデル。

データ分析には大きく、検証的アプローチと発見的アプローチの二つのアプローチがあります。検証的アプローチとは、あらかじめ存在する仮説が正しいかを検証することで、例えば、あるコンテンツXの閲覧とある商品Yの購入に因果関係があるのではないか、という仮説を、実証実験などで検証するアプローチがこれです。この仮説検証を繰り返すことで分析精度が上がるわけですが、欠点が二つあります。ひとつは、もともとの仮説の精度が低いと、仮説検証に膨大なコストがかかること。もうひとつは、想像の範囲内の仮説しか立てられないことです。

この検証的アプローチの欠点を補うのに、発見的アプローチが有効となります。発見的アプローチにより、比較的精度の高い仮説を抽出できたり、想像の範囲を超える仮説を発見できることがあります。つまり、この二つのアプローチは、どちらをとるべきか、ではなく補完関係にあり、行き来しながらスパイラルモデルを描くことで、効率的に分析精度を高めることができます。そして、この発見的アプローチに有効な手法こそがデータマイニングなのです。

ビッグデータ化により、大量であることはもちろん、多様なデータが収集可能となりました。その中で、一部の人間の経験や能力に頼った仮説設定は、本当に重要な要素を見逃す危険性を高めてしまうでしょう。そこでデータマイニングは有益なヒントを与えてくれる可能性があります。かつてデータマイニングに幻想と失望をいだいたのであれば、その観点で見直してみるのはいかがでしょうか。

ビッグデータ（Big Data）という言葉は2013年に流行して以来、広く使われています。日々大量のデータが生産されており、5GとIoTの普及でさらに加速することが予想されます。また時を同じくして、人工知能（Artificial Intelligence：AI）や深層学習（Deep Learning）の技術が世間を賑わすようになりました。深層学習は大量の教師データを必要とする学習技術であり、ビッグデータの存在が実現に向かわせたと言っても過言ではありません。

ところで、ビッグデータとは何でしょうか。文字通り大きなデータのことでしょうか。だとして、大きなデータとはどういうものでしょうか。また、大きなことの意味は何でしょうか。逆に、スモールデータとは何でしょうか。それらの意味は時代とともに変化するのでしょうか。いろいろな素朴な疑問が湧いてきます。ブームから5年以上が経過し、5GとIoTによる変化の兆しが見え隠れする今、再考してみようと思います。

まずビッグデータの意味ですが、大量データであることはもちろんのこと、実はそれだけではありません。IT用語辞典には以下のようにあります。

ビッグデータとは、従来のデータベース管理システムなどでは記録や保管、解析が難しいような巨大なデータ群。明確な定義があるわけではなく、企業向け情報システムメーカーのマーケティング用語として多用されている。
多くの場合、ビッグデータとは単に量が多いだけでなく、様々な種類・形式が含まれる非構造化データ・非定型的データであり、さらに、日々膨大に生成・記録される時系列性・リアルタイム性のあるようなものを指すことが多い。今までは管理しきれないため見過ごされてきたそのようなデータ群を記録・保管して即座に解析することで、ビジネスや社会に有用な知見を得たり、これまでにないような新たな仕組みやシステムを産み出す可能性が高まるとされている。

IT用語辞典｜ビッグデータ

どうやら量以外にも、種類や形式がごった煮状態で整理整頓されていないという意味も含まれているようです。逆にいえば、世の中のデータの多くは種類や形式がバラバラで整理整頓されておらず、量を求めると必然的にごった煮状態になるということです。

分散処理技術の進化による後押し。

整理されていなければ、データ分析は困難になります。ではデータ生成に関するルールを作ればよいのでは、ということになり、実際に標準化の動きもありますが、容易ではありません。そこで重要になるのが、データを分析可能な状態に整える作業や、それを自動化する技術です。それをデータ準備（Data Preparation）といいますが、いま現在でも発展途上にある領域です。

深層学習は非常に注目され、かつ進化している学習技術ですが、大量の教師データを必要とするため、データ量がボトルネックになりがちです。そもそもどうやってデータを獲得するのかという問題があり、データ流通（Data Trading）¹⁾データ流通って？などのソリューションが検討されていますが、よしんば集めたところで分析不可能なデータが大量にあってもどうしようもありません。データ準備は非常にやっかいな問題で、深層学習を代表とするビッグデータを活用したデータ分析や機械学習の発展を阻害する大きな要因のひとつになっています。

一方で、整理されていたとしても、大量のデータを高速に処理できなければ実用には向きません。ただ、これについてはコンピューターの性能向上と、Hadoopを代表とする分散処理技術の進化が実現を後押ししています。Hadoopは、大量のデータを複数のマシンで分散処理できるオープンソースのプラットフォームで、ペタバイト級の非構造化データ（テキストや画像など）の超高速処理を可能にしました。逆にいえば、Hadoopの登場がビッグデータ活用の推進に拍車をかけたといえます。

大きいことはいいことか？

ビッグデータの意味や、その活用が進んだ背景はわかりましたが、そもそもデータが大量であることの意味はどこにあるのでしょうか。大きいことはいいことなのでしょうか。

ビッグデータがもたらした最大の価値は、深層学習を代表とする機械学習の進化でしょう。また、マーケティング領域では、1to1マーケティングとよばれる、数百万人の顧客をいくつかのセグメント（似た者同士）に細分化し、それぞれのセグメントに対して個別にマーケティング施策を行うことで、ビジネス成果を最大化するアプローチがありますが、それには大量データのノンサンプリングでの分析が必要となり、ビッグデータの分析技術や、ビッグデータそのものがもたらす意味は大きいと言えます。

一方で、ビッグデータは購入・転送・計算などのあらゆる面で膨大なコストがかかります。また、大量であるがゆえに本当に重要なデータが埋もれてしまうリスクもあります。ビッグデータを活用した機械学習は、導出された予測モデルのメカニズムがブラックボックス化して説明しづらくなるという欠点があることは、「UXモデリングって？」でも触れたとおりです。

そこで、最近注目されているのが、スモールデータ（Small Data）です。「スパースモデリング って？」でも取り上げたとおり、物事の本質的な特徴を決定づける要素はわずかであるという性質があります。それをスパース性といいますが、その要素をうまく取り出すことができれば、必ずしも大量である必要はないわけです。そして、データが少量であれば、重要なデータが埋もれることもありません。また、コストも最小限に抑えることができます。

ただし、もとのデータに著しい偏りがあると、本質をとらえるのに重要な要素を獲得することはできません。つまり、大量であることよりも、多様であるという意味でのビッグデータは極めて重要であり、5GとIoTの普及により、今後はその期待がさらに高まるのではないかと考えられます。

ベイズ推定という言葉は聞きなれないかもしれません。その意味では「いまさら聞けない」というタイトルはやや不適切ですが、技術や手法としては機械学習（Machine Learning）¹⁾いまさら聞けない機械学習と同じように広く一般的に使われているものです。もっともベイズ推定は機械学習の手法として利用されるため並列ではありません。

また、ベイズ推定はベイズの定理を基にした推論技術ですが、ベイズ統計、ベイジアンフィルタ、ベイジアンネットワークなど、ベイズの定理を基にした技術や手法はたくさんあるので、なんらか耳にしたことはあるかと思います。これらをひっくるめて簡単に頭の整理をします。

ベイズの定理は、条件付き確率に関して成り立つ定理で、18世紀にイギリスの数学者トーマス・ベイズによって示されたものです。条件付き確率（Conditional Probability）とは、ある事象Xが起こるという条件のもとでの事象Yの確率P(Y|X)のことで、事象Xと事象Yの両方が起こる確率P(X∩Y)と合わせて、事象Xの確率P(X)が正の場合に以下の数式で表現されます。

$$P(Y\mid X) = \frac{P(X\cap Y)}{P(X)}\\$$

ベイズの定理は、ある事象Yが起こった場合の事象Xの確率P(X|Y)を、条件の確率P(X)、結果の確率P(Y)、条件付き確率P(Y|X)から求めることができるというものです。この確率P(X|Y)を逆の条件付き確率といい、確率P(Y)が正の場合に以下の数式で表現できます。なお、条件付き確率の数式を変形したもので、意味はまったく同じです。

$$P(X\mid Y) = \frac{P(Y\mid X)P(X)}{P(Y)}\\$$

つまり、条件の確率P(X)、結果の確率P(Y)、条件付き確率P(Y|X)がわかれば、逆の条件付き確率P(X|Y)を推論できるということです。これで何がうれしいかというと、このような問題を解くことが可能となります。

結果から原因の確率を推論する。

• 今日のゲストが男性か女性かを当てる。
• これまでのデータからゲストが男性である確率は60%である。
• 今日のゲストは身長が165cm以上である。
• 男性が165cm以上である割合は70%、女性が165cm以上である割合は20%である。

身長が165cm以上という情報と、男性のほうが女性よりも165cm以上である割合が高いという情報から、ゲストが男性である確率はこれまでのデータの60%よりも高いと推測されますが、それをベイズの定理で計算してみましょう。

この場合、まず男性に着目すると、条件の確率P(X)は男性である確率の60%、結果の確率P(Y)は身長165cm以上である確率の100%、条件付き確率P(Y|X)は男性の場合に165cm以上である確率の70%となります。すると以下のように、逆の条件付き確率P(X|Y)として男性である確率は42%と計算されます。

$$男性：P(X\mid Y) = \frac{0.7\times 0.6}{1} = 0.42\\女性：P(X\mid Y) = \frac{0.2\times 0.4}{1} = 0.08\\$$

同様に女性に着目すると、女性である確率は8%と計算されるため、男性である確率：女性である確率＝0.42：0.08となり、男性である確率は84%であると推論されます。

このように、ベイズの定理を用いて逆の条件付き確率を求めることで、結果の事象Yが発生した場合に、原因の事象Xが発生している確率を推論する手法をベイズ推定（Bayesian Inference）といいます。

なお、これまでに事象Xが発生した確率P(X)を事前確率、新たに事象Yが発生した場合の事象Xの確率である逆の条件付き確率P(X|Y)を事後確率、条件付き確率P(Y|X)を尤度（ゆうど）ともいいます。また、事後確率を新たな事前確率として扱うことをベイズ更新（Bayesian Updating）といい、繰り返すことで推論精度が上がります。

未知や不確実性に強い。

ちなみに、さきほどから確率（Probability）という言葉を使っていますが、実は二種類の定義があります。頻度確率とベイズ確率です。

頻度確率（Frequency Probability）は、観測された頻度分布あるいは想定された母集団の割合から導かれる確率のことで、客観確率とも言います。また、頻度確率に基づく考え方を頻度主義（Frequentism）、頻度確率に基づく統計を頻度主義統計（Frequentist Statistics）といい、代表的な手法が最尤（さいゆう）推定です。頻度主義統計では母集団を固定するため、母数が定数でデータが変数となります。

ベイズ確率（Bayesian Probability）は、ベイズの定理に基づき、事前確率を事後確率で更新（ベイズ更新）することで得られる確率のことで、事前確率を手元のデータから主観的に決めることから、主観確率とも言います。また、ベイズ確率に基づく考え方をベイズ主義（Bayesianism）、ベイズ確率に基づく統計をベイズ統計（Bayesian Statistics）といい、代表的な手法がベイズ推定です。ベイズ統計では手元のデータを前提とするため、データが定数で母数が変数となります。

頻度主義統計は、充分なデータが得られる場合は客観的な確率を計算できるという特長があるものの、充分なデータが得られない場合には確率を計算できない、母数が更新された場合は最初から計算をしなおす必要があるという欠点があります。一方で、ベイズ統計は、事前確率が手元のデータに依存した主観的な確率であるという欠点があるものの、少ないデータでも確率を推論できる、母数が更新されることが前提かつそれにより推論精度が上がるという特長があるため、未知や不確実性に強く実用的であるといえます。

ベイズ推定の実用例でわかりやすいのはベイジアンフィルタ（Bayesian Filter）です。対象データを分類するフィルタで、学習量が増えるとフィルタの分類精度が上がるという特長があり、スパムメールを判定するフィルタや、検索エンジンのランキングなどで活用されています。また、ベイジアンネットワーク（Bayesian Network）は、複雑な因果関係をグラフ構造で表現し、変数間の関係を条件つき確率で表す確率推論モデルで、これもさまざまな領域で応用されています。

ただ、ベイズ推定がいま最も注目されている領域は機械学習でしょう。「UXモデリングって？」でも触れたように、ビッグデータによる機械学習には、大量の学習データが必要である、導出された予測モデルのメカニズムがブラックボックス化して説明しづらくなるという欠点があります。その克服には正則化が必要ですが、ベイズ推定によるベイズ最適化（Bayesian Optimization）が有効な手法となるため、多層ニューラルネットワークの重みの調整にベイズ最適化を利用する研究がなされています。また、ベイズ最適化と相性のいいカーネル法を活用したサポートベクターマシン（Support Vector Machine：SVM）が見直されています。

またスパースモデリング（Sparse Modeling）²⁾スパースモデリングって？も、スパース条件を事前確率ととらえれば、ベイズ推定の一つであることがわかります。

最後に、ベイス推定を学ぶ参考書として、大関真之氏の著書「ベイズ推定入門 モデル選択からベイズ的最適化まで」をおすすめしておきます。ベイス推定の概念や理論が、数式なしでわかりやすく解説されています。

最近はやや落ち着いた感がありますが、人工知能（Artificial Intelligence：AI）あるいは機械学習（Machine Learning）という言葉を聞かない日はないくらいにバズワード化しています。これは第三次AIブームと呼ばれ、その火付け役が機械学習の一種である深層学習（Deep Learning）であることはいうまでもありません。

一方で、機械学習はAIの一分野にすぎないにも関わらず、あたかもイコールであるかのような空気感や、あるいは機械学習の手法はたくさんあるにも関わらず、深層学習に代表されるニューラルネットワークとビッグデータ（Big Data）¹⁾再考するビッグデータを利用した手法のみが取り上げられる風潮が、機械学習の正しい理解を妨げているように思います。そもそもAIとはなんぞやについては長くなるので控えるとして、ここでは機械学習とはなんぞやについて簡単におさらいしておきます。

教師あり、教師なし、強化学習。

機械学習は、人間がもつ学習能力をコンピューターで実現する技術や手法のことです。人間のあらゆる能力を対象とするのがAIであるとするならば、機械学習はその一部にすぎないということになります。

学習（Learning）の意味や解釈は文脈により異なりますが、とりわけ脳科学や人工知能の領域では”分ける“処理を言います。ある事象について判断する、それが何かを認識する、などはすべて分ける処理であり、うまく分けることができれば、ものごとを理解・判断し、行動することが可能となります。また、いったん分ける基準や方法がわかれば、未知の事象を予測することも可能です。

機械学習は、教師あり学習と教師なし学習に大きく分類されます。

教師あり学習（Supervised Learning）とは、問題と正解の両方を教えて、新しい問題の正解を予測できるようにする学習のことです。例えば、現在までの天気のデータから明日の天気を予測させる問題がこれにあたります。この場合の正解とは「晴、曇、雨」などで、それを決定づける要因である気温・湿度・気圧などのデータと合わせてコンピューターに学習させることで、現在までの状況から明日に起こる天気を予測できるようにします。なお、問題と正解の組み合わせを教師データといいます。また、正解を決定づける要因のことを特徴量（Feature Quantity）といいます。

教師なし学習（Unsupervised Learning）とは、問題だけを与えて特徴を認識させる学習のことです。例えば、購買データをもとにユーザーを似た者同士でグループ分けするような問題がこれにあたります。2012年に米Googleがネコを認識できるAIを開発したことが大きな話題となりましたが、これも教師なし学習です。YouTubeから取り出された1000万枚の画像を読み取るうちに、自律的に”ネコ”というグループを認識するようになりました。ただし、そのAIはそれが”ネコ”という名前の動物であることは知りません。なお、似た者同士のグループをクラスター、その分類手法をクラスタリングといいます。これはデータマイニング（Data Mining）²⁾再考するデータマイニングでも用いる用語で、使われるアルゴリズムも同じです。また、分類を決定づける要因のことを、教師あり学習の場合と同様に特徴量といいます。

強化学習（Reinforcement Learning）を、三つ目として分類に加えることがあります。教師あり学習と似ていますが、正解ではなく「報酬」を与えることで、もっとも多くの報酬を獲得できる「行動の選択肢」を学習させる手法です。報酬を正解と捉えれば教師あり学習と同じですが、決定的に異なるのは、各行動ではなく連続した一連の行動に対して報酬が与えられることです。サッカーでたとえると、ゴールに至るまでのドリブルやパスなどの一連のプレー選択に対して報酬を与えるのが強化学習で、それぞれのプレー選択に良し悪しの評価を与えるのが教師あり学習といえます。2016年にGoogleのAlphaGoというAIが囲碁プロ棋士を破ったことが大きな話題となりましたが、これは強化学習です。

盛り上がるニューラルネットワーク。

機械学習の手法はたくさんありますが、代表的なところで、サポートベクターマシン、クラスタリング、ニューラルネットワークなどがあります。

サポートベクターマシン（Support Vector Machine：SVM）は、入力データから正解を識別する教師あり学習の代表的な手法です。詳しい説明は別の機会にしますが、機械学習の永遠の課題である過学習を回避し、汎化性能をあげやすいという特長があります。過学習とは、目の前にある問題に最適化しすぎることで、新しく発生する問題に対応できないことを言います。受験でたとえると、過去問を完璧に解くことにこだわるあまりに、応用力がつかず、テスト本番で出題された傾向の違う問題に対応できない、というような状態です。その克服に使われる方法のひとつに正則化があります。正則化は、変数に制約を課すことで問題を抽象化してシンプルにすることを意味し、スパースモデリング（Sparse Modeling）³⁾スパースモデリングって？のスパース条件、あるいはベイズ推定（Bayesian Inference）⁴⁾いまさら聞けないベイズ推定の事前確率がそれにあたります。SVMではマージン最適化という正則化手法で過学習を回避するよう工夫されています。

クラスタリング（Clustering）は、入力データを似た者同士で分類する教師なし学習の代表的な手法です。こちらも詳しい説明は別の機会にしますが、多次元空間上のユークリッド距離が近いものを同じクラスター（似た者同士）としてグループ化するのが基本的な考え方で、階層型と非階層型に大きくわけられます。階層型は、距離が近いものから順にグループ化し、階層構造にすることでクラスターを整理します。いくつのクラスターに分類するかを事前に決める必要がないという特長がありますが、大量データの場合に計算量が多くなったり、結果が不明瞭になる欠点があります。対して、K平均法に代表される非階層型は、事前にクラスター数を決め、その数にサンプルを分割するため、大量データの学習に適しています。ただし、最適なクラスター数を自動的には計算する方法は確立されておらず、分析者のスキルに依存するという欠点があります。

ニューラルネットワーク（Neural Network）は、教師あり学習・教師なし学習のどちらにも利用される手法で、とりわけ多層ニューラルネットワーク（Deep Neural Network：DNN）を用いた機械学習のことを深層学習といいます。脳の内部では神経細胞（Neuron）がシナプスの結合によりネットワーク構造となっており、そこに電気が流れて情報を処理するコンピューターのようになっていることが知られています。その情報処理機構を数理モデルにしたものがDNNであり、すなわち脳を模することで学習機能を実現しようとするアプローチといえます。DNNを用いた機械学習の発想は古くからあったものの、大量データと膨大な計算を行う超高性能なコンピューターを必要とするために実現に至りませんでした。それらが克服されたことと、長年の研究によるアルゴリズムの進化が融合し、深層学習として具現化され、まさにいま盛り上がりを見せています。

とはいえ、大量データと超高性能なコンピューターを利用するには膨大なコストがかかります。また、データも大量にあれば何でもよいというわけではなく、学習に適した変数がないと意味がありません。さらに「UXモデリングって？」でも触れたように、ビッグデータによる機械学習には、導出された予測モデルのメカニズムがブラックボックス化して説明しづらくなるという欠点があります。

それらを克服するためには、学習に適したデータを低コストで獲得するための仕組みと、学習に必要な変数とデータ量に絞り込んでシンプルな数理モデルを作る技術が必要です。前者はデータ流通（Data Trading）⁵⁾データ流通って？という分野で普及に向けた取り組みが行われており、後者はスパースモデリングのような技術の研究開発が進んでいます。

最後に、機械学習を学ぶ参考書として、大関真之氏の著書「機械学習入門 ボルツマン機械学習から深層学習まで」をおすすめしておきます。機械学習の概念や理論が、数式なしでわかりやすく解説されています。

データサイエンスは時間が命。

データサイエンスや統計のためのツールはたくさんありますが、その中でもPythonとRはその人気を二分していると言えるでしょう。これからデータサイエンスを始める方にとっては、どちらを選択すべきか悩ましいところです。

筆者はRから始めてPythonに移行した派です。理由は後述しますが、優劣ではなく、Pythonのほうが用途に適していたからです。それぞれの特徴を理解した上で、用途に合っている方を選択すればよいと思います。もしくは用途に合わせて使い分けることをおすすめします。

PythonもRも汎用的なプログラミング言語なので、自分でプログラムさえ書けば何でもできます。そう言ってしまえば、C/C++でもJavaでも何でもいいじゃないか、という話になりますが、実際そのとおりです。後述しますが、実行速度でいえばPythonよりもC/C++のほうが圧倒的に速いですし、NumPyやTensorFlowのようなC/C++で作られたPython用拡張モジュールも多数あります。

ツールを選択する上で重要な判断基準となるのは、何ができるかではなく、どれだけ効率的かという点です。データサイエンスは時間が命です。限りある時間を、数理モデルやアルゴリズムを考えたり、試行錯誤に使うためには、プログラミングや処理実行にかかる時間は可能なかぎり短縮すべきです。

データサイエンスや統計でPythonとRが選ばれているのは、どちらもこの領域における効率性が高いからです。ただ、そのポイントが異なるため、どちらを選択すべきかという話になります。

ビッグデータのPython、統計のR。

PythonとRの特徴を、効率性の観点から、いくつかの軸で比較します。

Pythonの特徴をRとの比較で整理します。

• 実行速度は相対的に速い。
• プログラミング言語としての完成度が高く、汎用性と可読性に優れる
• 統計解析系のライブラリやリファレンスの豊富さはやや劣る
• 機械学習系のライブラリやリファレンスが非常に充実している（scikit-learn、TensorFlow、PyTorchなど）
• クラウドでの実行環境が存在する（Google Cloud Datalab、Google Colabなど）

この特徴の違いから、Pythonはビッグデータ解析や機械学習に、Rは統計解析に向いていることがわかります。とりわけビッグデータ解析では、クラウド実行環境の存在が重要で、筆者がPythonに移行した最大の理由はそれです。

ビッグデータ解析では、当然のことながら大量のデータを処理する必要があります。とくにノンサンプリングでの分析が必要な場合、サンプリングによってデータ量を減らすことができないため、大量データと向き合わざるを得ません。

まず何よりも、実行速度が求められます。PythonはRより相対的に速いとはいえ遅いことにはかわりませんし、どの言語を使おうが最終的にはコンピュータの処理速度に依存します。クラウドではCPUやGPUのスケールを自由にコントロールすることが可能です。

次に、データ連携の問題があります。データベース（Database：DB）との連携が必要で、とくにDBがクラウド上にある場合は、プログラム実行環境も同じクラウド上にあれば、シームレスな連携が可能になります。たとえば、DBがGoogle BigQueryであれば、Google Cloud DatalabというクラウドのPython実行環境からBigQueryに直接クエリを実行できます。これにより、データ準備（Data Preparation）をBigQueryでSQLにより行い、データマイニング（Data Mining）¹⁾再考するデータマイニングや機械学習（Machine Learning）²⁾いまさら聞けない機械学習をCloud DatalabでPythonにより行うといった役割分担が容易になります。

ちなみに、ベースとなっているJupyter NotebookはRに対応していますが、Google Cloud Datalabは、いまのところRには対応しておらず、Pythonのみの対応となっています。

PythonとRだけではない？

PythonとRで迷うようであれば、Pythonをおすすめします。前述の理由もそうですが、基本的にはRにできてPythonにできないことはほとんどありません。統計解析のライブラリやリファレンスについても、現在はRのほうが充実していますが、Pythonもかなり追いついて来ています。

さらにいうと、選択肢はPythonとRだけではありません。NumPyやTensorFlowのようなC/C++で作られたPython用拡張ライブラリがあることはお伝えしましたが、高速化の要求レベルによってはC/C++を使う必要があります。

C/C++とPythonの実行速度の違いの要因はいくつかありますが、その一つが変数宣言の違いです。C/C++は静的型付き言語で、変数宣言時に型の定義が必要ですが、Pythonは動的型付き言語で、型は自動的に決定されます。自動車でいうMTとATの違いのようなもので、動的型付き言語は自動であるがゆえに、プログラミングの作業負荷が軽減される反面、最適化の自由度が失われます。なお、PythonにC/C++の型を導入することで高速化したCythonという言語もあります。

また、Pythonの扱いやすさと、C/C++にせまる実行速度を兼ね備えた言語として、Juliaが注目されています。発展途上であるため、ライブラリの充実度でPythonに劣りますが、外部ライブラリ連携でカバーできます。また、並列処理や分散コンピューティングが想定された設計で、実装しやすいという特長があります。

ちなみに、ブラウザUIの対話型プログラム実行環境であるJupyter Notebookは、かつてのiPython Notebookが改称されたものですが、その由来は「Julia + Python + R」で、PythonのみからJuliaとRにも拡張されたことを意味しています。

ビッグデータ解析領域でJuliaの普及が進めば、現在はPythonのみの対応であるGoogle Cloud Datalabも、Juliaに対応する可能性はあります。いまからデータサイエンスを始める方は、Juliaを選ぶのもひとつかもしれませんね。