ビッグデータはブームなの？というまるでITがファッションの流行のようにバズで覆われていくことに辟易をしている人たちへのオマージュ

「来年はビッグデータらしいよ？」

「えー？またー？こないだまでクラウドクラウドって猫も杓子も言っていたのにまた新しいのが出てくるの?だいたいビッグデータってなんだよ？でっかいデータのこと?」

年末年始を迎えてこんな声が聞こえてきそうだ。ITはバズ（流行）の宝庫とシニカルに揶揄る人がいる。私も時々そんなことを思ったり、言ったり、書いたりもしてきた。ソーシャルメディアだって、3年前はブログ、昨年はTwitter、今年はFacebook、最近はG+とかなんとか。毎年巷をにぎわせるキーワードが変わってきているのである。これじゃまるで、「今年の流行色は赤だってさ」などという会話とさして変わらない。困ったものだ。

しかし、こと爆発的に増大するデータ量についての議論は異質だ。スマートフォンのすさまじい勢いでの普及や、ソーシャルメディア人口の増加、コンピュータやネットワーク技術の飛躍など、「きっとこれからデータが爆発するに違いない」（実際に爆発などしない。単なるメタファーだ念のため）と表現した時に、なんとなく「うんうん」とうなずく人々は多いのではないだろうか。（いや、もし、そんなことはない。これからますますワークライクバカンスとかスローライフになってデータ量なんか減るよ！という方がいたらぜひその反論を拝聴したい。）

で、先程とある記事を拝読して、内容は大変勉強になったのだが、少々の違和感があったので、以下、「ビッグデータは今そこにある未来」という視点でちょっとだけ書いてみたい。

「ところでさ。ビッグデータって、でっかいデータのことだろ？」

バブル時代にはやった「気まぐれコンセプト」にでも出てきそうな言い方である。でっかいデータってなんだよっっ。ハリセンで突っ込みたくなる気持ちをおさえて解説をしよう。

ビッグデータを構成するデータの一例はこうだ。

体に心拍計をつけたとしよう。その心拍計は健康な貴方の心拍をリアルタイムに計測し、記録し、データストレージに溜めていく。起きているときも、寝ているときも、だ。普段は、なんということのない心拍のデータだ。身体が健康なのだから、個別の心拍データを見たとこで、さして意味を持たない。どちらかというと、無駄だ。

しかし、あるとき、何らかの理由で突然心拍数が跳ね上がり、異常値を示したとしよう。一大事である。その異常な心拍データを補足したら、直ちに医療行為につなげればならない。つまり、心拍の異常データというのは意味のある情報になる。

もしも、この心拍計を世界70億人が身につけて、24時間365日すべての人の心拍情報が送りつけられてきたとしたら、どうすればいいのだろう。とてもじゃないが人間の力で捌くのは無理だ。コンピュータが必要だ。（おい、エクサデータを一台持ってきてくれ！）

70億人のリアルタイムな心拍データ。そのほとんどが意味のないデータだ。しかし、ときどき、先程のように異常なデータを検知することがある。そしたらすぐに医療チームを派遣するのだ。その人の命が助かるかもしれない。重要なのは、その異常値が「いつ来るかわからない。どこにあるかもわからない。」ということだ。これをITの力で活用しようという。

つまりたとえばこれがビッグデータだ。

間違っちゃいけない。データのもとになる個々のことは、過去から、自然界に、文明社会に、偏在していた。特に新しいものではない。心拍データが厭なら、これらをスマートフォンやソーシャルメディアなどで取り交わされる人々の会話、口コミ情報や、ロケーション情報に置き換えて考えてみるといい。世界70億人の人々の一挙手一投足がITの力で観測されるようになったとしたらどうだろう。

とてもじゃないけど私たちの人手では捕捉し、捌き、溜め、分析なんてやっていられない。
ITの力でやるのだ。しかもすごいITで。

「2012年の流行色は赤だってさ？」
もうひとつの議論は、心拍データのように、人・日時・心拍だけで構成するシンプルな構造化データだけではなく、非構造化データ、つまり、会話や人の行動など、必ずしも論理的に構造化されていないデータをITで捕捉し、捌き、きちんと溜め、分析することができたらもっと活用できるはずだ、というもの。これができるなら、世の中を俯瞰して、未来を予測することも可能だという。しかし、非構造データをデータベース化なんてできるんかいな。

いや、なんか、それができるらしいんだよね。こういう技術を使うと。

Map Reduce
http://ja.wikipedia.org/wiki/MapReduce

Oracle Loader for Hadoop
http://www.oracle.com/us/corporate/features/feature-oracle-loader-for-hadoop-505115.html

へぇ・・・