ビッグデータ狂騒曲①　「ビッグデータは必要悪」

長らくビッグデータブームを静観していましたが、これから数回でビッグデータとデータ分析に関する最近の動きに異論を唱えたいと思います。

まずビッグデータそのものがもてはやされている現状に関して意見を述べたいと思います。

スマートフォンなど個人単位でデータを生成デバイスだけでなく、センサー、社会統計、企業活動から生まれるトランザクションのデータなど、ＩＴ技術(要素技術を含む)の発展と、それを利活用したビジネスやアプリケーションの発達に伴い、大量のデータが蓄積されてきています。それよりも重要なドライバーはストレージの単価や管理コストが低くなったことだと思います。これまでは貯めておきたいデータであっても容量とコストの都合で属性を絞り、期間を絞り限定されたデータのみを保存してきましたが、今ではとりあえず貯めておくという発想が広く行き渡るほどデータ保管コストが低下しました。一昔前のＤＷＨブームの時にはできなかった行為です。また同時にビッグデータを読み込んで処理する側のサーバやソフトウェア技術の進歩も一因だと思います。以前は数ＴＢの処理を行うことでも、かなりの労力や技術的な対応が必要だったものを、いとも簡単に処理できるようになったこともデータをため込んで処理する傾向に拍車をかけています。

技術面、環境面だけを見ると、現在企業等がビッグデータを蓄積することは必要悪に近いものだと考えます。考え方を替えると、「捨てるくらいであれば取っておけば役に立つかもしれない」という保険の意味も大きいと感じます。

その一方で、ビッグデータを活用して新しい試みを行った事例が多く出てきています。それらの事例を綿密に確認していくと、本当にビッグデータが必要であるのか疑問が表出します。結果としてビッグデータを活用した結果であることには変わりありませんが、本当に膨大な属性情報またはデータ件数がそれらの作業の前提となったかは疑問です。それよりも存在していたデータを触ってみたということでしょうか。

その意味では、ビッグデータは本来さほど重要な要素では無く、必要悪として蓄積されたものが偶然利用できたものではないかと思います。ビッグな属性情報やビッグなデータ件数になる前に、もっとコンパクトなデータの状態で簡易な分析を行い、行動分析等を並行して行うことで、実はビックデータを保持すること自体が不要な行為だったのではと考えさせられるものも多く存在します。

ＩＴ企業が作り出すトレンドなので、ビッグデータのブームもまもなく収束すると思いますが、データを貯め込む文化は根強く残りそうです。データの収集、蓄積、保管にも多くのエネルギーとコストがかかることを考えると、本来の目的を明確にしているデータ蓄積以外の、無用なデータ生成と蓄積はある程度淘汰したほうが、最終的には効率・効果さらには競争力を最大化できる近道になるのではと思います。