<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>DWH &#8211; uxmeetsdata.com</title>
	<atom:link href="https://uxmeetsdata.com/tag/dwh/feed/" rel="self" type="application/rss+xml" />
	<link>https://uxmeetsdata.com</link>
	<description>UXとデータによる価値創発メディア</description>
	<lastBuildDate>Mon, 03 Jun 2024 07:01:52 +0000</lastBuildDate>
	<language>ja</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<item>
		<title>BigQueryではじめるSQL #04</title>
		<link>https://uxmeetsdata.com/bigquery-sql-04/</link>
				<pubDate>Sun, 10 Mar 2019 07:35:16 +0000</pubDate>
		<dc:creator><![CDATA[Atsushi Sugawa]]></dc:creator>
		<category><![CDATA[Tools]]></category>
		<category><![CDATA[BigQuery]]></category>
		<category><![CDATA[BigQuery]]></category>
		<category><![CDATA[DWH]]></category>
		<category><![CDATA[SQL]]></category>

		<guid isPermaLink="false">https://uxmeetsdata.com/?p=3264</guid>
				<description><![CDATA[サブクエリはWITH句。 前回は検索の基本構文であるSELECT文と、集計と正規化の基本構文であるGROUP ...<p class="more-link"><a href="https://uxmeetsdata.com/bigquery-sql-04/" class="themebutton3">Read More</a></p>]]></description>
								<content:encoded><![CDATA[<div class="wp-block-image"><figure class="aligncenter is-resized"><img src="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql.png" alt="" class="wp-image-3486" width="480" height="240" srcset="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql.png 640w, https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql-300x150.png 300w" sizes="(max-width: 480px) 100vw, 480px" /></figure></div>



<h2><strong>サブクエリはWITH句。</strong></h2>



<p>前回は検索の基本構文であるSELECT文と、集計と正規化の基本構文であるGROUP BY句について説明しましたが、今回は<strong>非正規化の基本構文であるJOIN句</strong>を中心に見ていきましょう。</p>



<p>練習用データ「E-Commerce Data」をBigQueryで操作します。なお、BigQueryと練習用データの準備は「<a href="https://uxmeetsdata.com/bigquery-sql-01/">BigQueryではじめるSQL #01</a>」を参照してください。</p>



<p><strong>非正規化（Denormalization）</strong>とは<strong>データの重複を許容する</strong>ことです。データが重複すると、データの追加・更新・削除における処理が冗長化するため、メンテナンス効率を重視する場合はなるべく排除しますが、処理速度を重視する場合はそれを犠牲にして、あえて非正規化を行います。</p>



<p>練習用データ「E-Commerce Data」は、とあるECサイトの購買履歴データで、各レコードには「CustomerID」（顧客ID）が紐づいているため、各顧客IDをグループとみなし、それぞれの購買回数に基づいた顧客ランクの集計が可能です。</p>



<p>その顧客IDごとの顧客ランクを、購買履歴と合わせて参照したい場合は、購買履歴の各レコードに、該当する顧客IDの顧客ランクを保持しておくと便利です。すなわち非正規化を行うということです。この非正規化を以下の手順で進めます。</p>



<ol><li>購買履歴データから、<strong>顧客IDごとの顧客ランクを集計</strong>する。</li><li>購買履歴データの各レコードに、上記1で集計した<strong>顧客IDごとの顧客ランクの列を結合</strong>する。</li></ol>



<p>このように、前のクエリの出力をもとに後のクエリを行うこと、あるいはその「前のクエリ」のことを<strong>サブクエリ（Subquery）</strong>といいます。サブクエリの記述方法には、後のクエリのFROM句に前のクエリを記述する方法もありますが、構文が視覚的に煩雑になるため、それを回避したい場合に<strong>WITH句</strong>を用います。WITH句を用いたサブクエリの構文は以下のようになります。</p>



<pre class="wp-block-preformatted"><strong>WITH</strong> <em>ビュー名</em> <strong>AS</strong> ( <em>サブクエリ</em> ) <em>クエリ</em></pre>



<p>ちなみに、サブクエリの出力は実体を持たない仮想的なテーブルですが、それを<strong>ビュー（View）</strong>といいます。また、構文中のASは<strong>AS句</strong>といい、ここでは<strong>サブクエリが出力したビューに名前をつける</strong>役割を担います。</p>



<p>前回の「<a href="https://uxmeetsdata.com/bigquery-sql-03/">BigQueryではじめるSQL #03</a>」で行った顧客IDごとの顧客ランクの集計をサブクエリとして、後のクエリに利用できるようWITH句を用いて以下の例文のように記述します。</p>



<script src="https://gist.github.com/crosshack/16ba1a8ef67090854d12a888ae98832d.js"></script>



<h2><strong>列結合による非正規化はJOIN句。</strong></h2>



<p>それでは、購買履歴データの各レコードに、上記で集計した顧客IDごとの顧客ランクの列を結合して、非正規化を行います。このように列方向に結合することを<strong>列結合</strong>といい、列結合による非正規化には<strong>JOIN句</strong>を用います。構文は以下のとおりです。</p>



<pre class="wp-block-preformatted"><strong>SELECT</strong> <em>列名</em>, <em>列名</em>, … <strong>FROM</strong> <em>テーブル名（ビュー名）</em> <strong>AS</strong> <em>略称</em> <strong>JOIN</strong> <em>テーブル名（ビュー名）</em> <strong>AS</strong> <em>略称</em> <strong>ON</strong> <em>結合条件式</em></pre>



<p>さきほどのサブクエリと組み合わせると、例文は以下のようになります。</p>



<script src="https://gist.github.com/crosshack/bca8816fe5661c1e60460008aa34e267.js"></script>



<p>上記の例文全体の意味は、<strong>テーブル「ECData」（略称「ED」）と顧客ランクの集計結果であるビュー「CRank」（略称「CR」）を、列「CustomerID」が一致する場合に列結合し、列「InvoiceNo」「StockCode」「UnitPrice」「CustomerID」「CustomerRank」を出力する</strong>、となります。青い［実行］ボタンをクリックして、出力結果を確認してみましょう。</p>



<p>なお、例文中のASは<strong>AS句</strong>といい、ここでは<strong>テーブルやビューに略称をつける</strong>役割を担います。略称は必須ではありませんが、つけておくと便利です。というのも、列結合ではテーブル間で列名が重複することが多く、その場合はどのテーブルの列かを「<em>テーブル名</em>.<em>列名</em>」の形で明記する必要があるのですが、テーブル名が長いとSQL文が冗長となり、可読性が損なわれるからです。この例文では「ED.CustomerID」がそれにあたります。</p>



<p>また、列結合には<strong>内部結合</strong>と<strong>外部結合</strong>があります。内部結合は結合条件に合致するレコードが双方にあるものだけを残す結合方式で、<strong>INNER JOIN</strong>を用います。ちなみに、単に<strong>JOIN</strong>と記述するとINNER JOINと同じ意味になります。つまり上記例文のJOINは内部結合となります。</p>



<p>一方で、外部結合は結合条件に合致するものが双方になくても残す結合方式で、<strong>OUTER JOIN</strong>を用いますが、左右どちらも残す場合は<strong>FULL OUTER JOIN</strong>、左のみ残す場合は<strong>LEFT OUTER JOIN</strong>、右のみ残す場合は<strong>RIGHT OUTER JOIN</strong>と、区別して指定する必要があります。</p>



<h2><strong>ビッグデータ分析に便利な構文。</strong></h2>



<p>複数のテーブルを列方向に結合することを列結合というのに対し、行方向に結合することを<strong>行結合</strong>といい、<strong>UNION句</strong>を用います。なお行結合では、<strong>結合するテーブルの列の構成が一致</strong>していることが前提となります。構文は以下のとおりです。</p>



<pre class="wp-block-preformatted"><strong>SELECT</strong> <em>列名</em>, <em>列名</em>, … <strong>FROM</strong> <em>テーブル名（ビュー名）</em> <strong>UNION</strong> <strong>SELECT</strong> <em>列名</em>, <em>列名</em>, … <strong>FROM</strong> <em>テーブル名（ビュー名）</em> </pre>



<p>ちなみに、上記のように単に<strong>UNION</strong>と記述すると、結合するテーブル間で重複するレコードは削除され、ユニークなものだけが残ります。重複を許容したい場合は<strong>UNION ALL</strong>と記述します。</p>



<p>行結合は、日時で分割して蓄積や集計したレコードを統合する場合などで利用されます。すなわち、ビッグデータ分析には便利な機能です。なお、大量のレコードを日時などで分割して管理することを<strong>パーティショニング</strong>といいます。</p>



<p>この他にも、ビッグデータ分析では<strong>集計関数＋OVER句</strong>をよく用います。これは、通常の集計処理をGROUP BY句を使った正規化状態で行うのに対し、<strong>非正規化状態のまま、特定のグループごとに集計処理を行う</strong>方法です。そのグループを<strong>ウィンドウ（Window）</strong>といい、<strong>PARTITION BY句</strong>で指定します。なお、この場合の集計関数は、分析関数やウィンドウ関数とも呼ばれます。構文は以下のとおりです。</p>



<pre class="wp-block-preformatted"><strong>SELECT</strong> <em>集計関数</em> <strong>OVER</strong>( <strong>PARTITION</strong> BY <em>列名</em> ) <strong>FROM</strong> <em>テーブル名（ビュー名）</em></pre>



<p>これを利用すれば、購買履歴などの時系列データの集計処理を行う場合に、サブクエリでGROUP BY句を使って集計し、その結果をJOIN句を使って時系列データに列結合する、という煩雑な処理をする必要がなくなり、とても便利です。</p>



<p>なお、時系列データの分析については、別の記事にて詳しく説明する予定なので、UNION句やOVER句の具体的な使い方や例文の紹介はその機会に譲りたいと思います。</p>



<p>また、この「BigQueryではじめるSQL」で触れたもの以外にも、SQLには多くの便利な構文・関数・演算子があります。とりわけBigQueryで利用可能なものについては、GCPの<a rel="noreferrer noopener" aria-label="BigQuery公式リファレンスサイト (新しいタブで開く)" href="https://cloud.google.com/bigquery/docs/reference/standard-sql/functions-and-operators" target="_blank">BigQuery公式リファレンスサイト</a>に詳しいため、こちらをご参照されることをお勧めします。</p>
]]></content:encoded>
										</item>
	<item>
		<title>BigQueryではじめるSQL #03</title>
		<link>https://uxmeetsdata.com/bigquery-sql-03/</link>
				<pubDate>Sat, 09 Mar 2019 07:31:01 +0000</pubDate>
		<dc:creator><![CDATA[Atsushi Sugawa]]></dc:creator>
		<category><![CDATA[Tools]]></category>
		<category><![CDATA[BigQuery]]></category>
		<category><![CDATA[BigQuery]]></category>
		<category><![CDATA[DWH]]></category>
		<category><![CDATA[SQL]]></category>

		<guid isPermaLink="false">https://uxmeetsdata.com/?p=3028</guid>
				<description><![CDATA[検索はSELECT文。 SQLによる検索の基本構文はSELECT文、集計と正規化の基本構文はGROUP BY句...<p class="more-link"><a href="https://uxmeetsdata.com/bigquery-sql-03/" class="themebutton3">Read More</a></p>]]></description>
								<content:encoded><![CDATA[<div class="wp-block-image"><figure class="aligncenter is-resized"><img src="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql.png" alt="" class="wp-image-3486" width="480" height="239" srcset="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql.png 640w, https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql-300x150.png 300w" sizes="(max-width: 480px) 100vw, 480px" /></figure></div>



<h2><strong>検索はSELECT文。</strong></h2>



<p>SQLによる<strong>検索の基本構文はSELECT文</strong>、<strong>集計と正規化の基本構文はGROUP BY句</strong>になりますので、こちらを中心に見ていきましょう。</p>



<p>練習用データ「E-Commerce Data」をBigQueryで操作します。なお、BigQueryと練習用データの準備は「<a href="https://uxmeetsdata.com/bigquery-sql-01/">BigQueryではじめるSQL #01</a>」を参照してください。</p>



<p><strong>SELECT文</strong>は検索対象の<strong>テーブル（Table）</strong>と<strong>列（Column）</strong>の名前を指定する形で記述します。BigQueryの場合、テーブル名はデータセット名と合わせて記述し、その間をドット「.」で結びます。また、列名は複数の指定が可能で、その間をカンマ「,」で区切ります。構文と例文は以下のようになります。</p>



<pre class="wp-block-preformatted"><strong>SELECT</strong> <em>列名</em>, <em>列名</em>, ... <strong>FROM</strong> <em>テーブル名（ビュー名）</em><br></pre>



<script src="https://gist.github.com/crosshack/eab6fed31ccbfa9b650ba8466d140bb8.js"></script>



<p>ちなみに<strong>ビュー（View）</strong>とは、<strong>テーブルの一部を抽出</strong>あるいは<strong>複数のテーブルを結合</strong>するなどして作成した実体をもたない仮想的なテーブルのことで、SQL文中の<strong>サブクエリ（Subquery）</strong>の出力がそれにあたります。サブクエリについては次回説明します。</p>



<p>また、検索対象となる<strong>行（Record）</strong>の<strong>条件や数を指定する場合</strong>は、それぞれ<strong>WHERE句</strong>と<strong>LIMIT句</strong>を用います。構文と例文は以下のとおりです。</p>



<pre class="wp-block-preformatted"><strong>SELECT</strong> <em>列名</em>, <em>列名</em>, ... <strong>FROM</strong> <em>テーブル名（ビュー名）</em> <strong>WHERE</strong> <em>条件式</em> <strong>LIMIT</strong> <em>行数</em></pre>



<script src="https://gist.github.com/crosshack/1c6da4544d2f5fb74fbc80f4fa13dcf2.js"></script>



<p>なお、WHERE句には<strong>条件式</strong>を指定しますが、検索対象となる列名と、演算子や定数などを組み合わせて表現します。この例文でいうと「UnitPrice &gt;= 10」がそれにあたります。そして、この例文全体の意味は、<strong>テーブル「ECData」で、列「UnitPrice」が10以上の行を100行だけ抽出し、列「InvoiceNo」「StockCode」「UnitPrice」を出力する</strong>、となります。青い［実行］ボタンをクリックして、出力結果を確認してみましょう。</p>



<h2><strong>集計はGROUP BY句。</strong></h2>



<p>集計と正規化の基本構文である<strong>GROUP BY句</strong>は、SELECT文と組み合わせて使います。内容の説明は後述するとして、構文と例文はこのようになります。</p>



<pre class="wp-block-preformatted"><strong>SELECT</strong> <em>列名</em>, <em>集計関数</em> <strong>AS</strong> <em>列名,</em> ... <strong>FROM</strong> <em>テーブル名（ビュー名）</em> <strong>GROUP BY</strong> <em>列名</em></pre>



<script src="https://gist.github.com/crosshack/7a87b9ea715582365734c594b4b01e0d.js"></script>



<p><strong>集計（Aggregation）</strong>とは、データ内のある<strong>グループ（Group）</strong>について、頻度・合計値・平均値などを計算することをいいます。グループの軸には性別や年代などさまざまあり、この軸のことを<strong>ディメンション（Dimension）</strong>ともいいます。</p>



<p>練習用データ「E-Commerce Data」は、とあるECサイトの購買履歴データで、各レコードには「CustomerID」（顧客ID）が紐づいているため、各顧客IDをグループとみなし、それぞれの購買回数を集計することができます。</p>



<p>上記の例文全体の意味は、<strong>テーブル「ECData」で、グループの軸「CustomerID」ごとに、列「CustomerID」と、行数の集計結果である「InvoiceCount」を出力する</strong>、となります。こちらも、青い［実行］ボタンをクリックして、出力結果を確認してみましょう。</p>



<p>なお、例文中の<strong>COUNT</strong>は<strong>集計関数（Aggregate Function）</strong>と呼ばれ、行数を集計するものになります。集計関数は他に、合計値を集計する<strong>SUM</strong>や、平均値を集計する<strong>AVG</strong>などがあります。</p>



<p>また、例文中のASは<strong>AS句</strong>といい、ここでは<strong>集計関数の出力列に名前をつける</strong>役割を担います。つまり「COUNT(*)」の出力列に「InvoiceCount」という名前をつけることを意味します。AS句はこの他にも、SELECT文で出力されたテーブルに名前をつける機能もあります。こちらは次回の<strong>WITH句</strong>や<strong>JOIN句</strong>のところで説明します。</p>



<p>ちなみに、ここでもう少し踏み込んで、各顧客IDごとの顧客ランクを集計する方法を見てみます。顧客ランクの集計条件を、購買回数が300回以上を「A」、100回以上を「B」、それ未満を「C」と定義すると、例文は以下のようになります。なお、例文中のCASEは<strong>CASE句</strong>という<strong>条件分岐の基本構文</strong>のひとつで、<strong>分岐が多い場合</strong>に使います。条件分岐には他に<strong>IF句</strong>があり、こちらは<strong>分岐がひとつの場合</strong>に使います。</p>



<script src="https://gist.github.com/crosshack/38da929df291e9ac9e5099a64aa495c0.js"></script>



<p>上記の例文全体の意味は、<strong>テーブル「ECData」で、グループの軸「CustomerID」ごとに、列「CustomerID」と、顧客ランクの集計結果（集計条件は、購買回数が300回以上を「A」、100回以上を「B」、それ未満を「C」とする）である「CustomerRank」を出力する</strong>、となります。こちらも、青い［実行］ボタンをクリックして、出力結果を確認してみましょう。</p>



<h2><strong>正規化もGROUP BY句。</strong></h2>



<p>GROUP BY句は、集計の他に正規化の役割を持ちます。<strong>正規化（Normalization）</strong>とはデータの重複を排除することです。</p>



<p>練習用データ「E-Commerce Data」においては、<strong>StockCode（商品コード）</strong>と<strong>UnitPrice（商品単価）</strong>が重複しているはずです。なぜなら商品コードとは商品管理の最小単位であるため、商品単価が一意に定義されているはずだからです。すなわち、<strong>商品コードと商品単価の1対1の対応表を別テーブルで保持</strong>しておけば、購買履歴のテーブルとして保持する必要があるのは商品コードだけでよいことになります。</p>



<p>では、商品コードと商品単価の1対1の対応表を取り出して正規化してみましょう。例文はこのようになります。</p>



<script src="https://gist.github.com/crosshack/43e42b155e265fe78e0891a42d409443.js"></script>



<p>上記の例文全体の意味は、<strong>テーブル「ECData」で、グループの軸「StockCode」ごとに、列「StockCode」と、列「UnitPrice」の任意の値を列名「UnitPrice」として出力する</strong>、となります。こちらも、青い［実行］ボタンをクリックして、出力結果を確認してみましょう。</p>



<p>なお、例文中の<strong>ANY_VALUE</strong>も集計関数のひとつで、グループ内の指定した列の任意の値を取り出すものであり、データの重複を正規化する場合によく用います。</p>



<p>また、このように正規化された対応表データを<strong>マスタデータ（Master Data）</strong>といい、商品コードをキーとしたものを<strong>商品マスタ</strong>、顧客IDをキーとしたものを<strong>顧客マスタ</strong>といいます。逆に、購買履歴などの発生事象の時系列データを<strong>トランザクションデータ（Transaction Data）</strong>といいます。</p>



<p>次回は「BigQueryではじめるSQL」最終回、<strong>非正規化の基本構文であるJOIN句</strong>を中心に見ていきます。</p>
]]></content:encoded>
										</item>
	<item>
		<title>BigQueryではじめるSQL #02</title>
		<link>https://uxmeetsdata.com/bigquery-sql-02/</link>
				<pubDate>Wed, 06 Mar 2019 12:55:48 +0000</pubDate>
		<dc:creator><![CDATA[Atsushi Sugawa]]></dc:creator>
		<category><![CDATA[Tools]]></category>
		<category><![CDATA[BigQuery]]></category>
		<category><![CDATA[BigQuery]]></category>
		<category><![CDATA[DWH]]></category>
		<category><![CDATA[SQL]]></category>

		<guid isPermaLink="false">https://uxmeetsdata.com/?p=2844</guid>
				<description><![CDATA[RDBとNoSQL。 BigQueryの準備が整ったところで、ビッグデータ分析のためのSQLの実践を進めていき...<p class="more-link"><a href="https://uxmeetsdata.com/bigquery-sql-02/" class="themebutton3">Read More</a></p>]]></description>
								<content:encoded><![CDATA[<div class="wp-block-image"><figure class="aligncenter is-resized"><img src="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql.png" alt="" class="wp-image-3486" width="480" height="241" srcset="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql.png 640w, https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql-300x150.png 300w" sizes="(max-width: 480px) 100vw, 480px" /></figure></div>



<h2><strong>RDBとNoSQL。</strong></h2>



<p>BigQueryの準備が整ったところで、ビッグデータ分析のためのSQLの実践を進めていきましょう。なお、BigQueryの準備は「<a href="https://uxmeetsdata.com/bigquery-sql-01/">BigQueryではじめるSQL #01</a>」を参照してください。</p>



<p>とはいえ、<strong>データベース（Database：DB）</strong>や<strong>クエリ（Query）</strong>の基本概念を理解していないと、ただサンプルどおりにSQLを実行するだけになってしまうので、簡単におさらいしておきます。</p>



<p>蓄積や検索をしやすいように整理されたデータの集まりのことDBといい、蓄積や検索の指示を行うことをクエリといいます。また、単にDBというと<strong>関係データベース（Relational Database：RDB）</strong>のことをさします。RDBは、データを<strong>複数のテーブル（Table）</strong>として管理し、テーブル間の関係を定義することで、複雑なデータの関連性を扱えるようにしたもので、企業の基幹システムのような大規模なものから、個人のブログのような小規模なものまで、データ管理の領域で幅広く利用されています。</p>



<p>DBを管理するシステムのことを<strong>データベース管理システム（Database Management System：DBMS）</strong>といいますが、とりわけRDBによるものをRDBMS（Relational Database Management System）といい、代表的なものに<strong>PostgreSQL</strong>などがあります。GCP（Google Cloud Platform）では<strong>Cloud SQL</strong>、AWS（Amazon Web Services）では<strong>Amazon RDS</strong>がそれにあたります。</p>



<p>一方でRDBは、データ構造が複雑化したり、データ量が膨大化すると、整合性の確保のために処理速度が遅くなるという問題を抱えています。そこで<strong>NoSQL</strong>という概念が登場しました。NoSQLは「Not only SQL」の略とされる、RDB以外のDBを示す大まかな分類であり、特定のデータ管理方式を示すものではありません。代表的な方式として<strong>キーバリュー型が</strong>あり、GCPでは<strong>Cloud Bigtable</strong>、AWSでは<strong>Amazon DynamoDB</strong>がそれにあたります。</p>



<p>RDBとNoSQLは、どちらが優れているかということではなく、用途により使い分けることが重要です。NoSQLの登場前は、これらを考慮することなく無条件にRDBを採択していたことが問題であったわけで、RDBが劣るということではありません。RDBとNoSQLの比較表は以下のとおりで、ざっくり言うと、顧客ランクのような<strong>日々更新されるマスタデータの管理はRDB</strong>、購買履歴のような<strong>日々追加されるトランザクションデータの管理はNoSQL</strong>が、それぞれ得意領域としています。</p>



<table style="table-layout: fixed; width: 100%;">
<tr style="color: #fff; background-color: #000;">
<td>&nbsp;</td>
<td>RDB</td>
<td>NoSQL</td>
</tr>
<tr>
<td style="background-color: #eee;">データの整合性の確保</td>
<td>得意</td>
<td>苦手</td>
</tr>
<tr>
<td style="background-color: #eee;">登録済みデータの更新</td>
<td>得意</td>
<td>苦手</td>
</tr>
<tr>
<td style="background-color: #eee;">大量データの処理</td>
<td>苦手</td>
<td>得意</td>
</tr>
<tr>
<td style="background-color: #eee;">データの多様性への対応</td>
<td>苦手</td>
<td>得意</td>
</tr>
</table>



<p>なお、<strong>Google BigQuery</strong>や<strong>Amazon Redshift</strong>は<strong>カラムストア型</strong>と呼ばれ、RDBではないためにNoSQLに区分されますが、RDBと同じテーブルの概念を持ち、SQLによるデータ操作を可能としつつも、<strong>列指向</strong>にデータを蓄積することで処理速度を高速化させる方式となります。この列指向について詳しく見ていきます。</p>



<h2><strong>行指向と列指向。</strong></h2>



<p>テーブル型のDBには大きく、<strong>行指向DB</strong>と<strong>列指向DB</strong>の二つの方式があります。もともと行指向という概念や言葉は存在しませんでしたが、列指向の登場後、従来のRDBはそれと区別するために行指向と呼ばれるようになりました。</p>



<p>データの蓄積と検索を、行指向DBでは行単位、列指向DBでは列単位で行います。この方式の違いが、以下のような特徴の違いを生みます。</p>



<table style="table-layout: fixed; width: 100%;">
<tr style="color: #fff; background-color: #000;">
<td>&nbsp;</td>
<td>行指向</td>
<td>列指向</td>
</tr>
<tr>
<td style="background-color: #eee;">データの蓄積単位</td>
<td>行</td>
<td>列</td>
</tr>
<tr>
<td style="background-color: #eee;">多数の列への検索</td>
<td>得意</td>
<td>苦手</td>
</tr>
<tr>
<td style="background-color: #eee;">多数の行への検索</td>
<td>苦手</td>
<td>得意</td>
</tr>
<tr>
<td style="background-color: #eee;">1行に対する処理速度</td>
<td>速い</td>
<td>遅い</td>
</tr>
<tr>
<td style="background-color: #eee;">1列に対する処理速度</td>
<td>遅い</td>
<td>速い</td>
</tr>
<tr>
<td style="background-color: #eee;">代表的なDB</td>
<td>Oracle Database, MySQL, PostgreSQL</td>
<td>Google BigQuery, Amazon Redshift</td>
</tr>
</table>



<p>つまり<strong>列指向DB</strong>は、<strong>大量データの特定の列に対する集計処理が得意</strong>であり、ビッグデータ分析に向いているといえます。一方で、<strong>1行に対する計算処理が苦手</strong>なため、1行をまるごと更新する処理（SQLでいうとUPDATE）は推奨されません。またデータの抽出を行う際も、すべての列を指定するような処理（SQLでいうとSELECT *）も非効率であるため避けるべきです。なお、BigQueryはクエリ課金（クエリ時のデータスキャン量による従量課金）であるため、コスト面においても指定する列を必要最小限に抑えることは重要です。</p>



<h2><strong>正規化と非正規化。</strong></h2>



<p>DBの基本概念でもうひとつ重要なのが、<strong>正規化</strong>と<strong>非正規化</strong>です。これをきちんと理解することで、用途に対して効率的なDBを設計することが可能となります。</p>



<p><strong>正規化（Normalization）</strong>とはデータの重複を排除することであり、これによりデータの追加・更新・削除における<strong>処理の冗長化が抑制</strong>され、<strong>メンテナンスが効率化</strong>されます。この正規化を簡単に実現できるように考えられたのが<strong>RDB</strong>です。</p>



<p>正規化をするほど冗長化が抑制され、メンテナンス効率が上がる一方で、テーブルの分割により<strong>データ構造が複雑化し、処理速度が遅くなる</strong>という欠点があります。そこで、処理速度を重視する場合には、あえて<strong>非正規化（Denormalization）</strong>を行います。非正規化を前提として処理速度の高速化を追求したのが<strong>NoSQL</strong>であるともいえます。</p>



<p>正規化と非正規化の特徴を整理すると、このようになります。</p>



<table style="table-layout: fixed; width: 100%;">
<tr style="color: #fff; background-color: #000;">
<td>&nbsp;</td>
<td>正規化</td>
<td>非正規化</td>
</tr>
<tr>
<td style="background-color: #eee;">データの重複</td>
<td>なし</td>
<td>あり</td>
</tr>
<tr>
<td style="background-color: #eee;">メンテナンス効率</td>
<td>効率的</td>
<td>非効率的</td>
</tr>
<tr>
<td style="background-color: #eee;">処理速度</td>
<td>遅い</td>
<td>速い</td>
</tr>
<tr>
<td style="background-color: #eee;">前提とするDB方式</td>
<td>RDB</td>
<td>NoSQL</td>
</tr>
</table>



<p>この正規化と非正規化も、どちらが優れているかということではなく、用途に合わせて選択する、あるいは併用することが重要です。典型的な併用方法として、<strong>マスターとなるDBを正規化</strong>して管理し、メンテナンスを効率化させつつ、<strong>個別の分析用途に合わせて非正規化かつ高速化したDBを出力</strong>するという構造化手法がよく用いられます。その出力されたDBを<strong>データマート（Data Mart）</strong>といいます。また、正規化と非正規化に用いられるSQLの構文が<strong>GROUP BY句</strong>と<strong>JOINk句</strong>で、SQLを利用したデータ分析の主役となります。</p>



<p>次回は<strong>検索の基本構文であるSELECT文</strong>と、<strong>集計と正規化の基本構文であるGROUP BY句</strong>を中心に見ていきましょう。</p>
]]></content:encoded>
										</item>
	<item>
		<title>BigQueryではじめるSQL #01</title>
		<link>https://uxmeetsdata.com/bigquery-sql-01/</link>
				<pubDate>Tue, 05 Mar 2019 11:54:34 +0000</pubDate>
		<dc:creator><![CDATA[Atsushi Sugawa]]></dc:creator>
		<category><![CDATA[Tools]]></category>
		<category><![CDATA[BigQuery]]></category>
		<category><![CDATA[BigQuery]]></category>
		<category><![CDATA[DWH]]></category>
		<category><![CDATA[SQL]]></category>

		<guid isPermaLink="false">https://uxmeetsdata.com/?p=2626</guid>
				<description><![CDATA[ビッグデータ分析のためのSQL。 Google BigQuery1)BigQuery vs. Redshift...<p class="more-link"><a href="https://uxmeetsdata.com/bigquery-sql-01/" class="themebutton3">Read More</a></p>]]></description>
								<content:encoded><![CDATA[<div class="wp-block-image"><figure class="aligncenter is-resized"><img src="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql.png" alt="" class="wp-image-3486" width="480" height="240" srcset="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql.png 640w, https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_sql-300x150.png 300w" sizes="(max-width: 480px) 100vw, 480px" /></figure></div>



<h2><strong>ビッグデータ分析のためのSQL。</strong></h2>



<p><strong>Google BigQuery</strong><sup id="footnote_plugin_tooltip_1" class="footnote_plugin_tooltip_text" onclick="footnote_moveToAnchor('footnote_plugin_reference_1');">1)</sup><span class="footnote_tooltip" id="footnote_plugin_tooltip_text_1"><a href="https://uxmeetsdata.com/bigquery-vs-redshift/">BigQuery vs. Redshift どっち？</a></span><script type="text/javascript">	jQuery("#footnote_plugin_tooltip_1").tooltip({		tip: "#footnote_plugin_tooltip_text_1",		tipClass: "footnote_tooltip",		effect: "fade",		fadeOutSpeed: 100,		predelay: 400,		position: "top right",		relative: true,		offset: [10, 10]	});</script>は、Googleが提供するクラウドサービスで、フルマネージドな<strong>データウェアハウス（Data Warehouse：DWH）</strong>であり、総合的なクラウドコンピューティングサービスである<strong>GCP（Google Cloud Platform）</strong>の一部です。</p>



<p>BigQueryは、PostgreSQLなどの一般的なRDBでも使われている<strong>標準SQL（Standard SQL）</strong>で、大量データの処理に優れた<strong>列指向DB（Columner Database）</strong>でデータを自在に操作することが可能です。また、AWS（Amazon Web Services）の<strong>Amazon Redshift</strong>とよく比較されますが、SQLの実行に<strong>ブラウザUI</strong>を利用でき、さらに時間課金ではなく<strong>クエリ課金</strong>（クエリ時のデータスキャン量による従量課金）であるため、より手軽かつ安価にビッグデータのアドホック分析ができるという特徴を備えています。</p>



<p>そしてこのことは、これから<strong>ビッグデータ分析のためのSQLを学びたい人</strong>のトレーニング用としても相性がよく、Googleのアカウントがあれば、いますぐSQLの練習を開始できます。</p>



<p>ではさっそく、BigQueryによるビッグデータ分析のためのSQLをはじめてみましょう。<a href="https://console.cloud.google.com/">GCPコンソール</a>にアクセスしてみてください。検索エンジンで「Google Cloud」と検索してもらっても結構です。すると、初めてアクセスする方にはチュートリアルが、ログイン経験がある方にはデフォルトプロジェクトのダッシュボードが表示されるかと思います。</p>



<div class="wp-block-image"><figure class="aligncenter is-resized"><img src="http://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1a-e1552220555301-1024x558.jpg" alt="" class="wp-image-3487" width="480" height="239"/></figure></div>



<p>なお、GCPには12ヶ月間300ドル分の無料トライアルがあります。（2019年2月現在）画面上部［無料トライアルを試してみませんか&#8230;］の右横の［有効化］をクリックして、クレジットカードを登録すれば、無料トライアルを開始できます。また、無料トライアル終了後に自動的にクレジットカード課金されることはないので安心して利用できます。</p>



<p>ところで、GCPには<strong>プロジェクト（Project）</strong>という特徴的な概念があります。BigQueryはもちろん、Cloud StorageやCompute Engineなどの<strong>GCPのすべてのサービスインスタンスがこれにひもづき</strong>、また<strong>プロジェクトごとに参加するアカウントを設定</strong>することができます。まさに、現実世界のプロジェクトの概念に近いものと言えるでしょう。仕事で使うには、まずはプロジェクトを作成するところからスタートしますが、練習用にはデフォルト設定されている「My First Project」で問題ありません。</p>



<h2><strong>Kaggleで練習用データを準備。</strong></h2>



<p>さて、GCPの準備が整ったところで、BigQueryによるビッグデータ分析のためのSQLに挑戦するわけですが、それには分析用データが必要です。手元にあるデータでもよいのですが、せっかくなので<strong>ビッグデータ分析に向いたデータ</strong>で進めてみましょう。こんなときは<a rel="noreferrer noopener" aria-label="Kaggle (新しいタブで開く)" href="https://www.kaggle.com" target="_blank"><strong>Kaggle（カグル）</strong></a>がおすすめです。</p>



<p>Kaggleは世界中のデータサイエンティストが集まるコミュニティーサイトで、最大の特徴はコンペの開催です。企業や政府が<strong>データ分析や機械学習の課題</strong>を提示し、もっとも優れた分析や予測のモデルを賞金と引き換えに買い取る仕組みになっています。Kaggleに登録しているデータサイエンティストは、<strong>コンペへの参加や練習用データセットのダウンロードを無料で</strong>行えます。</p>



<p>ではKaggleに登録して、練習用データをダウンロードしてみましょう。Kaggleの登録はFacebookなどのSNSアカウントで簡単に行えます。登録が完了したら、ログインして「<a rel="noreferrer noopener" aria-label="E-Commerce Data (新しいタブで開く)" href="https://www.kaggle.com/carrie1/ecommerce-data" target="_blank">E-Commerce Data</a>」というデータセットのページにアクセスしてみてください。こちらは、とあるECサイトの購買履歴データで、内容・サイズともにビッグデータ分析の練習用にはちょうどよいものとなっています。このページの右上部の「Download」というリンクをクリックすれば、練習用データの準備は完了です。</p>



<h2><strong>簡単なクエリにトライ。</strong></h2>



<p>練習用データをさっそくBigQueryで操作してみましょう、と行きたいところですが、もう少し準備が必要です。BigQueryでデータを操作するには、<strong>テーブル（Table）</strong>を作成する必要があります。テーブルの作成には、データファイルをそのままBigQueryにアップロードする方法もありますが、ファイルサイズに10MBの上限がかかるため、今回の練習用データ（45.6MB）では使えません。別の方法として、<strong>Googleドライブ</strong>を経由する方法とGCPの<strong>Google Cloud Storage（GCS）</strong>を経由する方法がありますが、ここではGCSを経由する方法を選択します。</p>



<p>GCPコンソールの左上のハンバーガーメニューをクリックすると、GCPで利用できるサービスメニューが開くので［<strong>Storage</strong>］をクリックをしましょう。ここに練習用データをアップロードするわけですが、そのためには<strong>バケット（Bucket）</strong>の作成が必要になります。バケットはフォルダのようなものと考えてください。画面上部の［<strong>バケットを作成</strong>］をクリックし、任意の名前をつけて作成します。あとはそのバケット内に入り、練習用データファイル「data.csv」を画面内にドラック＆ドロップするか、［ファイルをアップロード］ボタンをクリックすることで、練習用データをアップロードできます。</p>



<p>GCSへのアップロードが完了したら、BigQueryのテーブルへの取り込みを行います。サービスメニューの［<strong>BigQuery</strong>］をクリックしましょう。ここでも、テーブルを作成する前に<strong>データセット（Dataset）</strong>を作成する必要がありますが、こちらもフォルダのようなものになります。右下ペインにある［<strong>データセットを作成</strong>］をクリックし、任意の名前をつけてデータセットを作成します。ここでは「Training」と命名します。すると左ペインに作成したデータセット「Training」がツリー状で表示されるので、それを選択し、右下ペインにある［<strong>テーブルを作成</strong>］をクリックします。</p>



<div class="wp-block-image"><figure class="aligncenter is-resized"><img src="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1b-e1555478207197-1024x561.jpg" alt="" class="wp-image-3488" width="480" height="262" srcset="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1b-e1555478207197-1024x561.jpg 1024w, https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1b-e1555478207197-300x164.jpg 300w, https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1b-e1555478207197-768x420.jpg 768w" sizes="(max-width: 480px) 100vw, 480px" /></figure></div>



<p>そこで表示される［テーブルの作成］画面で、GCSにアップしたデータを取り込んでテーブルを作成します。手順は以下のとおり。</p>



<ol><li>［テーブルの作成元］で［Google Cloud Storage］を選択</li><li>［GCS バケットからファイルを選択］で「data.csv」を選択</li><li>［ファイル形式］で［CSV］を選択</li><li>［テーブル名］に任意のテーブル名を入力（ここでは「ECData」と命名）</li><li>［スキーマと入力パラメータ］にチェック</li><li>［詳細オプション］のアコーディオンを開く</li><li>［スキップするヘッダー行］に「1」を入力</li><li>［<strong>テーブルを作成</strong>］ボタンをクリック</li></ol>



<div class="wp-block-image"><figure class="aligncenter is-resized"><img src="http://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1c-e1552220622925-1024x676.jpg" alt="" class="wp-image-3489" width="480" height="289"/></figure></div>



<div class="wp-block-image"><figure class="aligncenter is-resized"><img src="http://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1d-e1552220641608-1024x736.jpg" alt="" class="wp-image-3490" width="480" height="315"/></figure></div>



<p>すると左ペインに作成したテーブル「ECData」がツリー状で表示されているかと思います。これでテーブルの作成は完了です。</p>



<p>試しに、簡単なSQL文を実行してみましょう。左ペインで作成したテーブルをクリックすると、右下ペインにテーブルのデータが表示されます。その状態で、同じく右下ペインの［<strong>テーブルをクエリ</strong>］をクリックしてみてください。すると右上ペインに「<strong>SELECT</strong>  <strong>FROM</strong> &#8216;Training.ECData&#8217; <strong>LIMIT</strong> 1000」というSQL文が表示されるかと思います。そのSQL文の「SELECT」と「FROM」の間に「InvoiceNo, StockCode」というテキストを挿入して、青い［<strong>実行</strong>］ボタンをクリックしてみましょう。「InvoiceNo」と「StockCode」の二つの列と1,000行に絞られたデータが右下ペインに表示されるかと思います。このように<strong>非常に手軽にSQLを実行することができる</strong>わけです。</p>



<pre class="wp-block-preformatted"><strong>SELECT</strong><br>  InvoiceNo<br> ,StockCode<br><strong>FROM</strong> 'Training.ECData'<br><strong>LIMIT</strong> 1000</pre>



<div class="wp-block-image"><figure class="aligncenter is-resized"><img src="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1e-e1555478253730-1024x561.jpg" alt="" class="wp-image-3491" width="480" height="262" srcset="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1e-e1555478253730-1024x561.jpg 1024w, https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1e-e1555478253730-300x164.jpg 300w, https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_1e-e1555478253730-768x420.jpg 768w" sizes="(max-width: 480px) 100vw, 480px" /></figure></div>



<p>では次回以降で、ビッグデータ分析のためのSQLの実践に踏み込んで行きたいと思います。</p>
]]></content:encoded>
										</item>
	<item>
		<title>BigQuery vs. Redshift どっち？</title>
		<link>https://uxmeetsdata.com/bigquery-vs-redshift/</link>
				<pubDate>Thu, 07 Feb 2019 09:58:20 +0000</pubDate>
		<dc:creator><![CDATA[Atsushi Sugawa]]></dc:creator>
		<category><![CDATA[Tools]]></category>
		<category><![CDATA[BigQuery]]></category>
		<category><![CDATA[BigQuery]]></category>
		<category><![CDATA[Data Science]]></category>
		<category><![CDATA[DWH]]></category>

		<guid isPermaLink="false">https://uxmeetsdata.com/?p=1274</guid>
				<description><![CDATA[セルフサービスなDWH。 データウェアハウス（Data Warehouse：DWH）は、直訳すれば「データの倉...<p class="more-link"><a href="https://uxmeetsdata.com/bigquery-vs-redshift/" class="themebutton3">Read More</a></p>]]></description>
								<content:encoded><![CDATA[<div class="wp-block-image"><figure class="aligncenter is-resized"><img src="https://uxmeetsdata.com/wp-content/uploads/2019/03/xmd_bq_rs.png" alt="" class="wp-image-3462" width="480" height="243"/></figure></div>



<h2><strong>セルフサービスなDWH。</strong></h2>



<p><strong>データウェアハウス（Data Warehouse：DWH）</strong>は、直訳すれば「データの倉庫」で、データベース（Database：DB）の一種ですが、過去すべての時系列データを要約せずにそのまま保持し続ける、文字通り倉庫のような役割から、区別してそう呼ばれています。</p>



<p>また、DWHはデータを活用した意思決定に利用されることから、<strong>ビジネスインテリジェンス（Business Intelligence：BI）</strong>のひとつに位置付けられます。BIは経営・会計・情報処理などの用語で、企業などの組織のデータを収集・分析・可視化することで、ビジネスの意思決定に役立てる手法や技術のことを言います。</p>



<p>DWHを利用するのは<strong>商品開発やマーケティングなどの部門</strong>ですが、基幹データを扱うことから、管理するのは<strong>情報システム部門</strong>であることがほとんどです。管理部門がDWHのデータ設計と実装を行い、分析可能な状態にして利用部門に提供するのが一般的な役割分担です。一方で、利用部門が分析を進める中で、データ構造を変更したいという要求がうまれるものの、自分たちでそれを実施できないため、分析や意思決定のスピードが上がらないこともよくあります。</p>



<p>そこで、利用部門が管理部門に頼ることなく、自分たちでデータの分析・可視化に必要な環境を構築するセルフサービスBIという考え方が生まれました。その中でも、とりわけDWHに特化したクラウドサービスとして、いま人気を二分しているのが、<strong>Google BigQuery</strong>（以下、BigQuery）と<strong>Amazon Redshift</strong>（以下、Redshift）です。</p>



<h2><strong>ツールのBigQuery、基盤のRedshift。</strong></h2>



<p>BigQueryとRedshiftはそれぞれ<strong>クラウドコンピューティングサービス</strong>である<strong>GCP（Google Cloud Platform）</strong>と<strong>AWS（Amazon Web Services）</strong>の一部であり、フルマネージドなDWHです。GCPとAWSはよく比較されますが、サービスラインナップ<sup id="footnote_plugin_tooltip_1" class="footnote_plugin_tooltip_text" onclick="footnote_moveToAnchor('footnote_plugin_reference_1');">1)</sup><span class="footnote_tooltip" id="footnote_plugin_tooltip_text_1"><a rel="noreferrer noopener" href="https://www.apps-gcp.com/gcp-aws-service-correspondence-comparison/" target="_blank">GCP・AWSサービス比較表</a></span><script type="text/javascript">	jQuery("#footnote_plugin_tooltip_1").tooltip({		tip: "#footnote_plugin_tooltip_text_1",		tipClass: "footnote_tooltip",		effect: "fade",		fadeOutSpeed: 100,		predelay: 400,		position: "top right",		relative: true,		offset: [10, 10]	});</script>としては同質化が進んでおり、いま現在はほぼ横並びといえます。</p>



<p>ただ、AWSがECサイトのAmazon.comの<strong>インフラのシェアリング</strong>を、GCPがGoogleの各種<strong>アプリケーションのエンジンのシェアリング</strong>をそれぞれルーツとしているため、それが特徴の違いを生んでいます。</p>



<p>サービス拡張の経緯にもそれは現れていて、IaaSについてはAWSは当初からAmazon EC2（Elastic Compute Cloud）として提供していましたが、GCPのGCE（Google Compute Engine）はかなり後発です。一方で、PaaSについてはGCPのGAE（Google App Engine）が先行しています。</p>



<p>また、導入されるケースの違いにも特徴があり、レガシーなインフラの置き換えには、インフラの導入実績が豊富なAWSが、ビッグデータ基盤の構築には、深層学習（Deep Learning）などの先進的なアプリケーションが充実したGCPが、それぞれ選ばれる傾向にあるように思います。</p>



<p>この特徴の違いがBigQueryとRedshiftにも引き継がれていて、GCPの一部であるBigQueryはアドホック分析のための<strong>分析ツール</strong>、AWSの一部であるRedshiftは既存のDWHを置き換えてセルフサービス化する<strong>分析基盤</strong>の性格が強いといえます。</p>



<h2><strong>用途に合わせた選択を。</strong></h2>



<p>BigQueryとRedshiftを、諸元レベルで比較してみます。</p>



<table style="table-layout: fixed; width: 100%;">
<tr style="color: #fff; background-color: #000;">
<td>&nbsp;</td>
<td>BigQuery</td>
<td>Redshift</td>
</tr>
<tr>
<td style="background-color: #eee;">SQL</td>
<td>標準SQL</td>
<td>標準SQL</td>
</tr>
<tr>
<td style="background-color: #eee;">データ格納方式</td>
<td>列指向</td>
<td>列指向</td>
</tr>
<tr>
<td style="background-color: #eee;">インデックス</td>
<td>なし</td>
<td>あり<br>※インターリーブインデックス</td>
</tr>
<tr>
<td style="background-color: #eee;">パーティション</td>
<td>あり<br>※日付分割テーブル</td>
<td>なし</td>
</tr>
<tr>
<td style="background-color: #eee;">マルチバイト文字対応（テーブル名・カラム名）</td>
<td>なし</td>
<td>あり</td>
</tr>
<tr>
<td style="background-color: #eee;">クエリ実行環境</td>
<td>ブラウザUI</td>
<td>コマンドライン<br>※GUIツールは別途必要</td>
</tr>
<tr>
<td style="background-color: #eee;">直接連携可能なストレージ</td>
<td>GCS（Gooble Cloud Storage）, Google Drive</td>
<td>Amazon S3（Simple Storage Service）</td>
</tr>
<tr>
<td style="background-color: #eee;">入力データフォーマット</td>
<td>Avro, JSON, CSV, Parquet, ORC</td>
<td>CSV/TSV, Avro, JSON</td>
</tr>
<tr>
<td style="background-color: #eee;">出力データフォーマット</td>
<td>Avro, JSON, CSV</td>
<td>CSV/TSV</td>
</tr>
<tr>
<td style="background-color: #eee;">基本的な課金体系</td>
<td>クエリ課金<br>※定額プランあり</td>
<td>時間課金<br>※クエリ課金プランあり</td>
</tr>
<tr>
<td style="background-color: #eee;">時間課金の料金</td>
<td>−</td>
<td>0.314USD〜/H<br>※東京リージョン</td>
</tr>
<tr>
<td style="background-color: #eee;">クエリ課金の料金</td>
<td>8.55USD/TB<br>※東京リージョン</td>
<td>5USD/TB<br>※Amazon Redshift Spectrum</td>
</tr>
</table>



<p>BigQueryの特徴をRedshiftとの比較で整理してみます。</p>



<ul><li>Redshiftと同じく、<strong>標準SQL</strong>に対応。</li><li>Redshiftと同じく<strong>、大量データの集計に優れた列指向の格納方式</strong>を採用。</li><li>テーブル名・カラム名の<strong>マルチバイト文字は非対応</strong>。</li><li>ブラウザUIのクエリ実行環境を装備。</li><li>課金体系は、時間課金ではなく<strong>クエリ課金</strong>。（データスキャン量による従量課金）</li></ul>



<p>BigQueryとRedshiftの共通点としては、<strong>標準SQLに対応した列指向DB</strong>であるということ。これにより、一般的なRDBと同様のSQLで、大量データの集計に優れた列指向DBとしてデータの操作が可能です。</p>



<p>BigQueryの特長は、<strong>ブラウザUI</strong>でクエリ実行が可能なのと、時間課金ではなく<strong>クエリ課金</strong>（クエリ時のデータスキャン量による従量課金）であるため、手軽にアドホック分析を行う分析ツールとして採用しやすいという点です。</p>



<p>一方で、時間課金ではないために<strong>コストを見積もりづらい</strong>のと、テーブル名・カラム名の<strong>マルチバイト文字は非対応</strong>という欠点があるため、既存のDWHの置き換えには不向きであり、その場合はRedshiftのほうが採用しやすいでしょう。</p>



<p>ちなみにAWSには、ブラウザGUIのクエリ実行環境を備え、クエリ課金であるAmazon Athenaという、BigQueryと似たサービスもあるので、AWSユーザーは用途に合わせて選択することが可能です。ただしSQL互換エンジンのPrestoを採用しており、関数の体系が異なるため注意が必要です。</p>



<p>このようにBigQueryとRedshiftは、同じセルフサービスDWHでも特徴がかなり異なるので、用途に合わせて選んでもらえればよいと思います。</p>
]]></content:encoded>
										</item>
	</channel>
</rss>
