単純集計で因果効果を俯瞰。

初回購買のみの会員を対象に、評価時セグメンテーションによるABテストを実施するところまでを前回取り上げましたが、今回はその実験結果の評価手法と改善アクションへの落とし込みについて見ていきます。

ABテストの評価に使う分析手法は、基本的にはクロス集計とカイ二乗検定のみです。まずは単純集計（Simple Tabulation）で因果効果を俯瞰します。一ヶ月間のABテストの集計結果が以下であった場合、どのような因果効果を見出すことができるでしょうか。

まずこの結果から、以下の因果効果を読み解くことができるかと思います。

1. 総じて介入群は対照群よりもF2転換率が10%程度高く、おすすめ商品を提案することの因果効果は存在する。
2. 介入群の各サブグループ間にはF2転換率の差がほぼ見られず、おすすめ商品の違いによる因果効果は存在しない。

とはいえ統計的に意味のある差、すなわち有意差（Significantly Different）があるとは言えず、因果効果を証明できていません。それには有意差検定を行う必要があります。

クロス集計で因果効果を切り分け。

また、おすすめ商品を提案することの因果効果が存在するとして、初回購買とは異なるカテゴリのおすすめ商品を提案したことによる効果なのか、あるいは単におすすめ商品を提案したことによる効果なのかの切り分けがこの段階ではできておらず、仮説である「初回購買から一ヶ月以内に、初回とは異なるカテゴリのおすすめ商品を提案すると、F2転換する可能性が高い」の検証には至っていません。

そこで、提案商品が初回購買とは異なるカテゴリかどうかで介入群の各サブグループをセグメンテーションし、介入群の各サブグループと提案商品が初回購買とは異なる商品カテゴリかの二軸によるクロス集計（Cross Tabulation）を行います。

どうでしょうか。確かに初回購買とは異なる商品カテゴリが提案された場合のほうがF2転換率が高いサブグループもありますが、逆に介入群2「映画・音楽・ゲーム」や介入群3「本・聞く本」などは”偽”すなわち同じ商品カテゴリが提案された場合のほうがF2転換率が高くなっています。これらの商品カテゴリは趣味性が強く、同じカテゴリを提案し続けたほうが再購買の確率が高いのかもしれません。

いずれにせよ「必ずしも初回購買とは異なる商品カテゴリを提案することがF2転換率を高めるということにはならない」と言えそうです。ただし、これについても有意差が確認されていないため、有意差検定を行う必要があります。

カイ二乗検定で有意差を確認。

有意差検定（Significance Test）とは、二組の標本について統計的に意味のある差すなわち有意差が存在するかを検定することで、t検定やカイ二乗検定などの統計的検定法を用います。

t検定（t-Test）は、帰無仮説が正しい仮定のもと、統計量がt分布に従うことを利用する検定法の総称です。t分布（t-Distribution）は連続確率分布のひとつで、正規分布する母集団の平均と分散が未知で標本サイズが小さい場合に、二組の標本の平均の有意差検定に用います。

カイ二乗検定（Chi-Square Test）は、帰無仮説が正しい仮定のもと、統計量が近似的にカイ二乗分布に従うことを利用する検定法の総称です。カイ二乗分布（Chi-squre Distribution）は自由度が大きくなるほど大きな値をとる確率が増えて正規分布に近づく、右に歪んだ分布で、クロス集計表の有意差検定に用います。

今回のABテストの結果は上記のクロス集計表で得られるため、カイ二乗検定を用います。 では、さきほどの因果効果に関する仮説「総じて介入群は対照群よりもF2転換率が10%程度高い」の有意差を検定してみましょう。

その前に統計的検定の進め方の基本を理解しておく必要があります。それは差がないという仮説を否定することで、差があるという仮説を証明するというものです。差がないという仮説を帰無仮説（Null Hypothesis）、差があるという仮説を対立仮説（Alternative Hypothesis）といいます。

今回のケースでは、初回購買のみの会員に対して何も提案しなかった場合のF2転換率は10.0%であり、おすすめ商品の提案を行った場合のF2転換率が10.0%と差がないという仮説が帰無仮説、差があるという仮説が対立仮説となります。そして帰無仮説が棄却できれば、有意差があることが証明されます。

帰無仮説を棄却するには、p値が有意水準を下回る必要があります。p値（p-Value）とは、帰無仮説が正しい仮定のもと、今回のような差が発生する確率のことで、それが小さいほど帰無仮説が正しくないことの根拠となり、有意水準を下回ると帰無仮説は棄却されます。有意水準は一般的に5%に規定しますが、慣習的なもので実はあまり根拠はありません。とはいえここでも有意水準5%で検定を行います。

カイ二乗検定におけるp値の計算方法についてはここでは触れませんが、Pythonの拡張モジュールであるScipyにより以下のプログラムで計算可能です。そしてp値は4.9%となり、有意水準5%を下回るため、帰無仮説が棄却され「総じて介入群は対照群よりもF2転換率が10%程度高い」の有意差が証明されます。

同様に「必ずしも初回購買とは異なる商品カテゴリを提案することがF2転換率を高めるということにはならない」についても有意差検定を行うことが可能です。

1. 初回購買から一ヶ月以内におすすめ商品を提案するとF2転換する可能性が高い。
2. 必ずしも初回購買とは異なる商品カテゴリを提案することがF2転換率を高めるということにはならない。

これまでの実験と評価からこの事実が証明されました。ここから改善アクションにつなげて小さなPDCAを回すわけですが、具体的にはどの会員にどの商品カテゴリを提案すればF2転換に効果的かの仮説を会員の行動特性から見出し、実験時セグメンテーションによるABテストを改めて実施するとよいでしょう。

大きなPDCAから小さなPDCAに落とし込み、ABテストによる実験・評価・改善アクションを行う実践的なメソッドを、具体的なケースを交えて紹介しました。あらゆるUXグロースはこれを基本に進めることが可能なので、実践の参考にしてもらえればと思います。

因果推論とABテスト。

大きなPDCAから小さなPDCAに落とし込む流れについて前回説明しましたが、ここからは小さなPDCAの推進に欠かすことのできないABテストによる実験・評価・改善アクションの実践的なメソッドを見ていきます。

ABテストは、正式にはランダム化比較実験（Randomized Controlled Trial：RCT）というもので、因果推論の代表的な手法です。因果推論（Causal Inference）¹⁾いまさら聞けない因果推論とは二つの事象間に因果関係があるかどうかを明らかにするための考え方や手法を言います。

その詳細は「いまさら聞けない因果推論」に詳しいのでここでは触れませんが、二つの事象間に因果関係があることを証明する手法に、事実と反事実の比較があります。反事実（Counterfactual）とは、その事象が発生しなかった場合のことです。そして、原因の事象Xが発生したという事実における結果の事象Yと、原因の事象Xが発生しなかったという反事実における結果の事象Y’を比較し、有意差（Significantly Different）が見られる場合に因果関係があると結論づけます。この場合の有意差とは、事象Yと事象Y’の間の統計的に偶然とはいえない差のことで、それを因果効果（Causal Effect）といいます。また、事実と反事実の比較により因果関係を説明することを反事実モデル（Counterfactual Model）といい、その代表的な手法がRCTすなわちABテストです。

たとえば新薬の臨床試験において、病気のネズミを無作為に二つのグループに分け、片方のグループにのみ投薬したとしましょう。そこで投薬したグループのほうが治癒率が高ければ、因果効果があると言えます。なお、投薬したグループを介入群（Intervention Group）、投薬しなかったグループを対照群（Control Group）といいます。また、グループを無作為に分けるのは、比較する二つのグループの間に介入した事実以外の違いが存在すると、違いを生んだ原因がどちらであるかを説明できなくなるからです。

行動特性から仮説を見出す。

前回と同じケースで考えていきます。あなたは、とある総合ECサイトのCRM担当者で、会員の継続化をミッションとしており、目標はF2転換率を一年間で20%向上させることです。なお、ECサイト全体の目標は年間獲得利益の10億円伸長であり、F2転換率の向上はその主要成功要因（Key Success Factor：KSF）のひとつです。

ECサイトでは、F2転換率が重要であると言われています。この”F”は購買頻度（Frequency）のことで、F2転換率とは初回購買から二回目購買への転換率（Conversion Rate）を意味します。一般的に、新規会員の獲得よりも、既存会員のリピート購買促進のほうがコスト効率が高いため、F2転換率は重要な指標となります。

現時点ではF2転換率を向上させる確実な方法はわかっていないため、ABテストで小さなPDCAを回しながら目標に近づけていくアプローチをとります。二回目購買キャンペーンなどの安易な施策が脳裏をかすめますが、裏付けなしの仮説で闇雲にやっても非効率ですし、たとえそれでF2転換したところで、キャンペーンに反応する会員に高いLTVは見込めません。

そこで、より効果を見込める仮説発見のために、まずは会員の行動特性を分析します。具体的には、F2転換する会員と離反する会員の違いはどこか、何がきっかけでF2転換するのかといった特性の違いを分析していきます。行動特性を分析する手法にはエスノグラフィ（Ethnography）²⁾エスノグラフィとは（UXリサーチ入門 #03）などがありますが、ECサイトの長期間の行動分析には向きません。一方で、ECサイトであれば閲覧や購買の行動データが存在するため、データエスノグラフィ（Data Ethnography）³⁾データエスノグラフィ入門が有効な手段となります。そこでデータエスノグラフィを実施し、以下の二つの事実を見出したとします。

1. 初回購買から一ヶ月以内に再訪問した会員はF2転換率が高い。
2. 二回目は初回と異なる商品カテゴリを購買する確率が高い。

これらの事実から「初回購買から一ヶ月以内に、初回とは異なるカテゴリのおすすめ商品を提案すると、F2転換する可能性が高い」という仮説が浮かび上がります。また、具体的な施策として以下が想定されるかと思います。

1. 再訪問した会員に対して、ランディングページにて、初回とは異なるカテゴリのおすすめ商品を提案する。
2. 初回購買から一ヶ月間購買のない会員に対して、メールニュースにて、初回とは異なるカテゴリのおすすめ商品を提案する。

施策1は再訪問した会員のF2転換の確度を向上するための施策となります。施策2は再訪問の機会そのものを創出することで、施策1では取りこぼしてしまう会員を取り込む施策となります。これらはどちらも高い効果が見込めるので、同時に実施したくなりますが、このように複数の接点で施策が想定される場合の鉄則として、以下の二つを念頭に入れておくべきです。

1. 同時には実施しない。
2. 実施順序は目標に近い接点から。

まず同時に実施するのは避けるべきでしょう。なぜならば、一部の会員は両方の施策を体験することになり、効果があった場合にどちらの施策による効果なのかを判別しづらくなるからです。

次に実施順序ですが、それは目標に近い接点からになります。この場合でいうとF2転換に近い接点ということで、施策1がそれに当たります。理由は二つありますが、ひとつは目標に近い接点のほうが成功確度が高く、成果に結びつきやすいという点です。これには、小さなPDCAを回す際に、早い段階で成果が出ると次の施策を実施する動機が高まるという効果があります。

ただ、より重要なのはもうひとつの理由で、それは目標に近い接点のほうが外部要因が少ないという点です。外部要因が少ないほど、結果に対する施策の効果を説明しやすくなります。逆に目標から遠くなると、目標までの体験すなわち外部要因が増え、施策の効果を説明しづらくなります。

ABテストとセグメンテーション。

では施策1「再訪問した会員に対して、ランディングページにて、初回とは異なるカテゴリのおすすめ商品を提案する」の、F2転換への因果効果を検証するABテストについて検討していきます。

ABテストによる因果効果の検証では、テスト対象者を介入群（Intervention Group）と対照群（Control Group）の二つのグループに分け、介入群にのみ施策を実施することで、結果に有意差（Significantly Different）が生まれるかどうかを検証します。ここでは、介入群が対照群に比べてF2転換率が高く、かつ有意差があることがわかれば因果効果を説明できます。

テスト対象は初回購買のみの会員で、サイトへの訪問時に最初に訪れるページすなわちランディングページ（Landing Page：LP）において、介入群に対しては、初回購買とは異なるカテゴリのおすすめ商品を提案します。それに対し、対照群には何も提案しません。ABテストとして実施する内容はこれだけです。ただし、ここで二つの疑問が生じます。

1. 介入群と対照群の比率をどうするか。
2. 介入群にどの商品カテゴリを提案するか。

1については、テストの観点では結果の有意差を評価するのに十分なN数が、介入群と対照群の両方で確保されていることが絶対条件で、あとはビジネスの観点で介入群をどれだけ増やしたいかにより決定すればよいでしょう。

2については、どの商品カテゴリがF2転換に対して効果的であるかが会員の購買特性により異なるため、介入群をいくつかのサブグループにセグメンテーション（Segmentation）し、サブグループごとに実験や評価を分ける必要があります。そして1の有意差を検証するのに十分なN数が、介入群の各サブグループ単位で確保されている必要があり、それも考慮して比率を決定します。

介入群のセグメンテーションには、実験段階であらかじめ行う実験時セグメンテーションと、実験段階では行わずに評価段階で行う評価時セグメンテーションの二つがあります。

実験時セグメンテーションでは、あらかじめ何らかの方法で会員の購買特性を分析し、サブグループの分類基準と各サブグループに提案する商品カテゴリの定義を行います。当然ながら、サブグループと提案する商品カテゴリの間には、高いF2転換率を発生させる強い関連性があることが前提となります。すなわちセグメンテーションと因果効果の仮説が不可欠となりますが、逆にそれが存在すれば実験初期から高い因果効果が期待できます。分析アプローチとしては、検証的アプローチ（Verifying Approach）と言えます。

評価時セグメンテーションでは、実験段階でのセグメンテーションは行わず、介入群に対してどの商品カテゴリを提案するかは無作為に決定します。商品カテゴリ数が9であれば、介入群を無作為に9つのサブグループに分割し、それぞれに異なる商品カテゴリを提案します。そして、評価段階において介入群を様々な切り口でセグメテーションし、実際に提案された商品カテゴリとF2転換率の相関を分析しながら、因果効果の高い組み合わせを探索します。したがって、実験段階では想像していなかった因果効果を評価段階で発見する可能性があります。ただし、細かくセグメンテーションしても評価に耐え得るN数が必要となります。分析アプローチとしては、発見的アプローチ（Discovering Approach）と言えます。

セグメンテーションを実験時と評価時のどちらにするのかは、それぞれの特徴を理解した上で適切に選択するとよいでしょう。以下に特徴の違いをまとめておきます。

ここではセグメンテーションと因果効果に関する明確な仮説がないため、評価時セグメンテーションを選択します。直近一ヶ月間で獲得した会員5万人のうち、初回購買のみの約4万人をテスト対象とし、介入群を無作為に分けた9つのサブグループと対照群に、それぞれ10%ずつの約4,000人を割り当て、それぞれ異なる商品カテゴリを提案するABテストを実施します。

次回の「UXグロース入門」最終回では、上記で実施したABテストの評価手法と改善アクションへの落とし込みについて見ていきます。

Σ（個別最適） ≠ 全体最適。

UXグロース（UX Growth）を進めるプロセスとして大きなPDCAと小さなPDCAの両方を考える必要があるということを前回説明しましたが、今回はそのプロセスについて詳しく見ていきます。

まず、一般的にグロースハックと言えば、小さなPDCAが想起されますが、それはABテストなどの象徴的な手法がそのためのものであるからでしょう。ではUXを向上させてビジネスを成長させるのにそれだけではだめなのでしょうか。

たとえばECサイトの場合でいうと、最終目的は利益を継続的に獲得することです。利益を獲得するためには商品が売れる必要があります。商品が売れるには、購買してくれる会員が必要です。そこで会員獲得という個別の目的が生まれるわけですが、ではとにかく会員を増やせば最終目的である利益の継続的な獲得が達成できると言えるでしょうか。もちろん会員が必要であることは間違いありません。とはいえ、初回購買のみの会員やキャンペーン時のみ購買する会員が増えても、利益の継続的な獲得にはつながらないでしょう。

この場合、会員獲得は利益を継続的に獲得するための必要条件であって十分条件ではないと言えます。そして、必要条件（Necessary Condition）である会員獲得を最大化することを個別最適（Specific Optimization）といい、それが小さなPDCA（Small PDCA）の目的となります。

一方で、会員獲得のみならず、その後の継続化やLTV向上なども含めて、利益を継続的に獲得するのに十分な条件、すなわち十分条件（Sufficient Condition）を統合して最大化することを全体最適（Total Optimization）といい、それが大きなPDCA（Big PDCA）の目的となります。

また、個別最適の積み上げが全体最適ではないということも理解しておく必要があります。確かに会員数・継続化率・LTVなどの想定されるあらゆる必要条件をすべて最大化すれば売上は最大化されますが、それが全体最適にならないことはコストという概念を考慮すれば理解できます。ここでいうコスト（Cost）とは、費用の意味はもちろんのこと時間や労力などの意味も含みます。それらは無償でも無限でもないため、想定される必要条件すべてを最大化することはできません。ましてや利益獲得が目的であれば、なおさらコストに対する最適解を見つける必要があります。

最終目的を達成するためには、小さなPDCAによる個別最適の積み上げでは不十分であり、大きなPDCAによる全体最適の視点が不可欠であるということがわかるかと思います。

一方で、大きなPDCAだけではどうでしょうか。おそらく何も前進することはないでしょう。利益の継続的な獲得という大きな目的に対しては、具体的な対応施策が存在しないからです。具体的な対応施策を講じるには、会員獲得や継続化などの小さな目的に細分化する必要があります。そこで、まずは大きなPDCAの計画をたて、そこから小さなPDCAの計画にブレイクダウンする流れとなります。

マスタープランを策定する。

大きなPDCAの計画を、ここではマスタープラン（Master Plan）と呼びます。マスタープランでは以下の項目を策定します。

1. 最終目的（Objective）
2. 最終目標達成指標（Key Goal Indicator：KGI）
3. 投資対効果（Return on Investment：ROI）
4. 主要成功要因（Key Success Factor：KSF）
5. 主要業績評価指標（Key Performance Indicator：KPI）
6. マイルストーン（Milestone）
7. 実行計画（Execution Plan）

具体的なケースで考えていきます。あなたは、とある総合ECサイトの責任者で、年間獲得利益を20億円から30億円に一年間で伸長させることがミッションであるとします。なお、ここでの利益とは売上総利益を意味するとします。この場合のマスタープランはどのようになるでしょうか。

最終目的（Objective）は利益獲得であり、最終目標達成指標（Key Goal Indicator：KGI）は年間獲得利益の10億円伸長となります。ただし、このままでは具体的な実行計画を作ることはできません。

そこでまず、投資対効果を考えます。投資対効果（Return on Investment：ROI）とは文字通り、投資額に対して獲得する効果のことです。ここでの効果とはすなわち利益であり、獲得する効果は利益伸長分の10億円ということが予め決まっています。そのうちの50%を効果獲得のために投資可能だとすると投資額は5億円となり、これが予算（Budget）となります。なお、5億円の投資で10億円の効果が得られるためROIは200%です。

次に、最終目的を達成する戦略（Stragegy）を策定します。戦略策定の詳細なプロセスはここでは言及しませんが、最終的には主要成功要因と主要業績評価指標を策定することになります。主要成功要因（Key Success Factor：KSF）とは最終目的を達成するための主要な要因のことで、主要業績評価指標（Key Performance Indicator：KPI）はそれを定量的に評価するための指標のことです。具体的には下表のようなKSFに細分化することができます。また、予算10億円を各KSFの優先度や効率性をもとに割り振りをします。これを予算配分（Budget Allocation）といいます。

なお、ここでのKGI・KPIは年間での評価指標ですが、一年経過してから初めて評価するのでは、うまく成果が出せていない場合に軌道修正ができません。したがって、例えば四半期ごとなど定期的に評価して改善アクションを行います。そのためには各評価期間ごとのKGI・KPIが必要があり、それをマイルストーン（Milestone）と呼びます。このマイルストーン単位で回すPDCAが大きなPDCAということになります。

これで、KSFごとの実行計画（Execution Plan）を策定し、小さなPDCAを回すことが可能となります。

実行計画を策定する。

ここでは、会員獲得の実行計画を検討してみます。KPIである会員獲得数の達成目標は年間で50万人増で、投下可能な予算は3億円であるため、獲得単価（Cost Per Aquisition：CPA）は600円となります。すなわちCPAが600円以下で会員を獲得する具体施策を検討する必要があるわけですが、それだけでは条件として不十分です。

マスタープランでは、会員獲得数だけでなくF2転換率もKPIであるため、継続化の可能性が高い性質の会員を優先して獲得する必要があります。また、会員獲得の時期が早ければ、それだけF2会員数や年間LTVも向上しやすくなるため、マイルストーンの視点では第一四半期に重きを置いた獲得計画にしておく必要があります。これらの必要条件をすべて考慮した会員獲得の実行計画を立てることになります。

• 必須要件（Mandatory Requirement）
  • 会員獲得数：50万人
  • CPA：600円
• 検討要件（Consideration Requirement）
  • 継続化の可能性が高い性質の会員を優先した獲得計画とする。
  • 第一四半期に重きを置いた獲得計画とする。

これらの要件を踏まえて策定した実行計画に基づき、数日から数週間単位で回すPDCAが小さなPDCAということになります。なお、ここで評価するのはKPIである会員獲得数とCPAのみで、その後にF2転換する会員であるかを評価することはできません。それはマイルストーンごとの大きなPDCAで評価することになります。そして、獲得した会員のF2転換率が期待通りでない場合は、獲得する会員の質を変える必要があり、会員獲得の実行計画にフィードバックします。このようにして大きなPDCAと小さなPDCAを両輪で回すわけです。

次回以降で、小さなPDCAの推進に欠かすことのできないABテストによる実験・評価・改善アクションの実践的なメソッドを見ていきます。

データ駆動によるUX向上。

グロースハック（Growth Hack）とは「いまさら聞けないグロースハック」でも触れたとおり、ユーザーの体験全体を最適設計するUXデザイン（UX Design）と、その向上にむけたPDCAをデータに基づいて推進するデータサイエンス（Data Science）の両輪を回すことで商品やサービスを成長させる活動のことを言います。グロースハックが注目される背景には、従来型マーケティングから、生活者の価値観に合わせて、購買に関わるあらゆる場を全体最適化する、データ駆動型のマーケティングへと変化していることがあります。

ちなみに最近ではグロースハックではなく、単にグロース（Growth）と呼ぶことも増えてきており、これはハック（Hack）が、ライフハックなどの言葉に使われるとおり「物事を効率的にするためのちょっとしたコツ」というニュワンスを持っているため、より広範な責任をもつ役割の呼称として相応しくないからかもしれません。

ここではデータ駆動によるUX向上に焦点を当てたグロースハックをUXグロース（UX Growth）と呼ぶことにし、その実践にむけた入門編をご紹介したいと思います。

大きなPDCAと小さなPDCA。

UXグロースを進める上では、大きなPDCAと小さなPDCAの二つのプロセスの存在を理解することが重要です。PDCAはご存知のとおり、計画（Plan）・実行（Do）・評価（Check）・改善（Action）の頭文字をとったものです。

大きなPDCA（Big PDCA）とは、UXの全体最適を目的に、数ヶ月から数年単位で回すPDCAサイクルのことを言います。たとえばECサイトの場合であれば、ユーザーの生涯価値（Lifetime Value：LTV）を向上するために、年単位での購買傾向を分析しながら、継続的に購入してもらうためのUXを設計あるいは改善していくような取り組みになります。大きなPDCAの評価期間は長く、成果が確認されるまでに時間がかかります。

一方で小さなPDCA（Small PDCA）とは、より細分化されたUXの個別最適を目的に、数日から数週間単位で回すPDCAサイクルのことを言います。たとえばECサイトの場合であれば、初回購買や会員獲得、あるいは二回目購買などのそれぞれの個別の目的に対してUXを設計あるいは改善していくような取り組みになります。小さなPDCAの評価期間は短く、成果を早く確認することができます。

一般的にグロースハックと言えば小さなPDCAが想起されますが、それはABテストなどの象徴的な手法がそのためのものであるからでしょう。しかしながら、詳細は後述しますが、小さなPDCAだけではUXグロースはうまく行きません。それが大きなPDCAの一環であると理解する必要があります。

小さなPDCAのための因果推論。

先ほど小さなPDCAのための象徴的な手法であるABテストについて触れましたが、これは「いまさら聞けない因果推論」でも触れたとおり、正式にはランダム化比較実験（Randomized Controlled Trial：RCT）というもので、因果推論の代表的な手法です。因果推論（Causal Inference）とは二つの事象間に因果関係があるかどうかを明らかにするための考え方や手法を言います。

単に成果の有無を評価するだけであれば因果関係を理解する必要はありません。しかしがなら継続的に成果を生むには、評価後に再現または改善のアクションを行う必要があり、それには因果関係を理解する必要があります。なぜ売上が上がったのか、あるいは下がったのか。結果の良し悪しに関わらず、その原因を特定することで、良い結果の再現や悪い結果の改善につなげることが可能となります。

次回以降では、大きなPDCAから小さなPDCAに落とし込み、ABテストによる実験・評価・改善アクションを行う実践的なメソッドを、具体的なケースを交えて紹介します。

2019年3月、アメリカの名門大学への大規模な裏口入学が発覚し、大きな話題となりました。当事者の多くは富裕層で、大企業の最高経営責任者や有名女優が含まれるとのことです。なお、入学先にはイェール大学・スタンフォード大学・ジョージタウン大学などが含まれますが、大学側の関与はないようです。

子どもを名門大学に入学させたい親の心理を考えると、ある問いが思い浮かびます。それは「偏差値の高い大学へ行けば収入は上がるのか」というものです。もっともこの事件においては、当事者の多くは富裕層であり、目的は収入ではなく名誉かもしれません。

この問いに対し、多くの人が「はい」と答えるのではないでしょうか。確かに富裕層には高学歴な人が多いように思います。しかしながら、経済学の有力な研究は、これを否定しています。それでも多くの人が「はい」と答えるのは、相関関係と因果関係を混同しているからに他なりません。

相関関係（Correlation）とは、二つの事象に何らかの関係があることをいい、因果関係と疑似相関に大別されます。二つの事象の片方が原因となって、もう片方が結果として生じた場合、事象間に因果関係（Causation）があるといいます。一方で、原因と結果の関係ではない場合は疑似相関（Spurious Correlation）と呼ばれます。

そして、二つの事象間に因果関係があるかどうかを明らかにするための考え方や手法を因果推論（Causal Inference）といいます。聞きなれない言葉なので「いまさら聞けない」というタイトルはやや不適切ですが、実はビジネスの現場でも、グロースハック（Growth Hack）¹⁾いまさら聞けないグロースハックやカイゼン（Kaizen）の領域で、A/Bテストという形で広く使われています。

第三の要因はないか。

事象Xが原因で、事象Yが結果であるという因果関係の存在を確認するためには、三つのチェックポイントがあります。

1. 偶然の一致ではないか
2. 逆の因果関係ではないか（事象Yが原因で、事象Xが結果ではないか）
3. 第三の要因は存在しないか（第三の事象Zが、事象Xと事象Yの原因ではないか）

「地球温暖化が進むと、海賊の数が減る」これはパロディ宗教である空飛ぶスパゲッティ・モンスター教が、相関関係と因果関係の混同を風刺するのに用いた例です。統計的な一致が見られたとしても、因果関係があるとは思えません。これは偶然の一致であり、見せかけの相関と呼ばれます。

「警察官の多い地域では、犯罪も多い傾向にある」と言われています。しかしながら、警察官が多いことが原因で、犯罪発生件数が多いという結果を引き起こすとは考えづらいでしょう。むしろ犯罪が多い危険な地域であるがゆえに、警察官を多く配置していると考えるべきです。これは逆の因果関係と呼ばれます。

「体力がある子どもは学力が高い」と言われています。では、子どもに運動させることが学力向上につながると考えてよいでしょうか。もちろん、体力がつくことで長時間の勉強に耐えられるなどの効果があるかもしれません。ただ、学力向上にはもっと効率的な手段があるでしょう。むしろ体力にも学力にも影響を及ぼしている第三の要因があるように思えます。例えば「親の教育熱心さ」などがそれです。これは交絡因子（Confounding Factor）と呼ばれます。

では冒頭の問い「偏差値の高い大学へ行けば収入は上がるのか」についてはどうでしょうか。まず何らかの関係があることは間違いないため、偶然の一致ではないでしょう。また多くの人は大学卒業後に働き始めるため、逆の因果関係があるとも思えません。では第三の要因はどうでしょうか。「潜在能力の高さ」が、偏差値の高い大学に行く力と、高い収入を得る力の両方を生み出しているとは考えられないでしょうか。

反事実との比較による証明。

二つの事象間に因果関係があることを証明する手法に、事実と反事実の比較があります。反事実（Counterfactual）とは、その事象が発生しなかった場合のことです。そして、原因の事象Xが発生したという事実における結果の事象Yと、原因の事象Xが発生しなかったという反事実における結果の事象Y’を比較し、有意差（Significantly Different）が見られる場合に因果関係があると結論づけます。この場合の有意差とは、事象Yと事象Y’の間の統計的に偶然とはいえない差のことで、それを因果効果（Causal Effect）といいます。また、事実と反事実の比較により因果関係を説明することを反事実モデル（Counterfactual Model）といいます。

反事実モデルの代表的な手法に、ランダム化比較実験（Randomized Controlled Trial：RCT）があります。たとえば新薬の臨床試験において、病気のネズミを無作為に二つのグループに分け、片方のグループにのみ投薬したとしましょう。そこで投薬したグループのほうが治癒率が高ければ、因果効果があると言えます。なお、投薬したグループを介入群（Intervention Group）、投薬しなかったグループを対照群（Control Group）といいます。またランダム化比較実験は、ビジネスの世界ではA/Bテストと呼ばれています。

ところで、二つのグループを無作為に分けたのはなぜでしょうか。それは比較する二つのグループの間に介入した事実以外の違いが存在すると、違いを生んだ原因がどちらであるかを説明できなくなるからです。

ランダム化比較実験には極めて高い証明力があるものの、実験ができない場合には適用できません。実験には時間やコストもかかります。実験対象となる人や企業を人為的に無作為に分けることは簡単ではありません。介入群と対照群に不公平があれば反発も起こるでしょう。前述の臨床試験には倫理的な問題もあります。

実験ができない場合は、すでにあるデータを用いる他ありません。なお、実験で獲得したデータを実験データ（Experimental Data）と呼ぶのに対し、日常の活動から獲得したデータを観察データ（Observational Data）といいます。すなわち、観察データを用いて反事実モデルを実施することになります。それには観察データ内に原因と考えられる事象の反事実が存在する必要があります。

たとえば、新商品の案内メールをすべての顧客に送信したはずが、メール配信システムの障害で一部の顧客に送信されていなかったとします。これは観察データ内に反事実が偶然発生している状態であり、送信された顧客と送信されなかった顧客の購買の結果を比較することで因果推論が可能です。この状態を自然実験（Natural Experiment）といいます。

しかしながら、自然実験の状態が都合よく発生するわけではなく、またそれを観察データから見つけることも容易ではありません。そこで、観察データと統計手法を用いて、あたかもランダム化比較実験を実施しているような状態を作り出す、疑似実験（Quasi Experiment）という考え方があります。統計手法には、差の差分析・操作変数法・回帰不連続デザインなどがありますが、ここではマッチング法による疑似実験のアプローチを紹介します。

マッチング法とは、介入群によく似たペアを対照群から選び出すことにより、介入した事実以外の違いを排除することで、二つのグループを比較可能にする手法です。そして冒頭の問い「偏差値の高い大学へ行けば収入は上がるのか」を、この手法で否定したのが、プリンストン大学のアラン・クルーガーらによる研究です。

クルーガーらは、それぞれの学生がどの大学に合格し、どの大学に不合格だったかのデータを用いてマッチング法を実施しました。たとえば、大学Aと大学Bには合格したが、大学Cには不合格だった二人がいたとすると、この二人はよく似たペアと言えます。そのうちの一人は偏差値の高い大学Aに、もう一人は立地のよい大学Bに進学した場合、この二人を比較すれば、偏差値の高い大学へ行くことによる将来の収入への因果効果を推定できることになります。

この研究の結果、偏差値の高い大学Aに進学した学生のグループ（介入群）と、偏差値の低い大学Bに進学した学生のグループ（対照群）の間で、大学卒業後の収入に有意差が見られないことがわかりました。多くの人が「偏差値の高い大学へ行けば収入は上がる」と信じていたことが否定されたわけです。

このように、因果推論を駆使すれば、二つの事象間の因果関係の有無を明らかにすることができ、相関関係との混同や思い込みから解放されます。

最後に、この記事を書くにあたり、中室牧子氏・津川友介氏による著書『「原因と結果」の経済学―データから真実を見抜く思考法』を参考にさせていただいたことをお伝えします。因果推論を詳しく知りたい方には大変お薦めです。

グロースハックという言葉は、ここ日本でも2013年ごろから、とりわけネットビジネスの世界を中心に使われていますが、もともとはシリコンバレーで生まれたものです。

ところで、この言葉を聞いてイメージするものは何でしょうか。成功事例として有名なTwitterやDropboxでしょうか。代表的なフレームワークのAARRRモデル¹⁾AARRRモデルでしょうか。あるいは、ひたすらA/Bテストをしてユーザーインターフェース（User Interface：UI）を改善することでしょうか。おそらく人によって異なりますし、日本ではその定義があいまいであるがゆえに定着していないとも言われています。そこで、グロースハックの本質を、従来型マーケティングやカイゼンとの違いから説明してみようと思います。

グロースハックの生みの親は、初期のDropboxを成長に導いたことで知られるショーン・エリスであり、2010年6月に投稿された記事「Find a Growth Hacker for Your Startup」（訳：スタートアップするにはグロースハッカーを見つけよう）でグロースハッカー（Growth Hacker）という言葉が使われたことが始まりだと言われています。

この記事では、グロースハッカーとは何か、そして求める資質とスキルについて言及し、スタートアップの成長には欠かせない人材として、従来型マーケティングに精通したマーケターではなく、グロースハッカーを採用すべきであると推奨しています。では、グロースハックと従来型マーケティングの違いはどこにあるのでしょうか。

従来型マーケティングとの違い。

それにはまず、マーケティング（Marketing）とは何かという問いへの答えが必要です。端的にいえば、自動的に売れる仕組みを作ることであり、その究極の目的と目標はセリング（Saling）をなくすことにあります。ビジネス拡大にともない、セリングの効率性は相対的に下がり、マーケティングの重要性が上がります。

では従来型マーケティングとは何か、また、そこからどのような変化が起きているのでしょうか。ここでは三つのポイントで整理します。

• マスから1to1へ。
• マルチチャネルからオムニチャネルへ。
• 勘と経験からデータ駆動型へ。

かつての大量生産・大量消費時代は、すべての人に、同じモノを、同じメッセージ・チャネル・タイミングで訴求する、マスマーケティングが主流でした。しかしながら、モノが満たされるにつれユーザーの価値観は多様化し、マスマーケティングはその有効性を失います。いまでは、生活者の価値観に合わせて最適化する1to1マーケティングが主流となりつつあります。

またITの進化により、情報収集・購買・決済の場（チャネル）も多様化しています。SNSで知った商品をそのままECサイトで買うこともできますし、店舗でモバイル決済することもできます。モバイルも店舗も、情報収集の場でもあり、同時に購買や決済の場でもあるわけです。もはや従来型の、商品をメディアで知って店舗で買うという図式は成立しません。それゆえ、チャネルを個別で捉えるマルチチャネル（Multi-Channel）から、全体で捉えるオムニチャネル（Omni-Channel）へと変化しています。

さらに、価値観や購買行動が多様化する中で、マーケターの勘と経験によるマーケティングでは立ち行かなくなっています。成功や失敗の結果につながる原因の変数が多変量化し、因果関係を直感的に捉えることが難しくなっているからです。因果関係がわからなければ、PDCAを回して成長に導くことができません。これによりデータ駆動型（Data-Driven）のマーケティングが求められるようになっています。

すなわち従来型マーケティングから、生活者の価値観に合わせて、購買に関わるあらゆる場を全体最適化する、データ駆動型のマーケティングへと変化しているということです。

またそれにはユーザーの体験全体を最適設計するUXデザイン（UX Design）と、その向上にむけたPDCAをデータに基づいて推進するデータサイエンス（Data Science）の両輪が必要です。その両輪を回すことで商品やサービスを成長させる活動こそがグロースハック（Growth Hack）です。

グロースとカイゼン。

リーンスタートアップ（Lean Startup）という手法があります。これは、時間とコストをかけず、スモールスタートあるいは不完全な状態でスタートし、PDCAを回しながら商品やサービスを成長させていく手法で、成功率が飛躍的に高まると言われています。変化や競争の激しいIT領域ではなおさらでしょう。

設備投資に限らず、人材投資も同じです。スタートアップではUXデザインとデータサイエンスのスキルを個別に持つ人材を多く抱えることはできません。さらに人の数が増えれば、コミュニケーションコストが上昇し、スピードが低下します。そのため、それらのスキルを兼ね備えたグロースハッカーが重要となるわけです。これは大企業においても、まったく新しい商品やサービスを投入する場合は同じです。

ところで、PDCAを回しながら成長させる手法や活動にカイゼン（Kaizen）がありますが、これとはどう違うのでしょうか。カイゼンはご存知のとおりトヨタ自動車が開発した手法で、すでに成熟したものをより良くする、あるいは効率化するものです。合理的に細分化・分業化されたそれぞれの部分や役割を個別最適化し、その集積によって全体の成果の最大化を目指すものであるため、未成熟なものを全体最適により成長させるグロースハックとは根本的に異なります。

広告のA/Bテストをしてクリック率を上げるような個別最適の取り組みをグロースハックと呼んでいるケースもありますが、これはどちらかといえばカイゼンでしょう。グロースハックはあくまで全体最適を重視し、売上やユーザー数などの最終的な成功指標を上げることを目的とします。

グロースハックやカイゼンの活動においてPDCAを回す際によく用いられる手法にA/Bテストがあります。これはアカデミアの世界でランダム化比較実験（Randomized Controlled Trial：RCT）と呼ばれるものと同じで、二つの事象間に因果関係があることを証明する手法です。結果を生む原因がわかれば、打ち手を講じることが可能となります。なお因果関係を明らかにする考え方や手法を因果推論（Causal Inference）²⁾いまさら聞けない因果推論といいます。

ちなみに最近ではグロースハックではなく、単にグロース（Growth）と呼ぶことも増えてきており、シリコンバレーでは「Head of Growth」や「Growth Lead」などの呼称の職種が登場しています。これはハック（Hack）が、ライフハックなどの言葉に使われるとおり「物事を効率的にするためのちょっとしたコツ」というニュワンスを持っているため、より広範な責任をもつ役割の呼称として相応しくないからかもしれません。一方で、グロースハックという役割の重要性が増していることの証左とも言えるでしょう。