当ブログで、最大2,000億件のデータをパソコンで超高速に検索・集計できるソフトウェア「1/3 C Reader・Publisher」をご紹介したのは、1年前でした。2012年は「ビッグデータ」がバズワードから抜け出して事例が出てくる「ビッグデータ元年」になりそうです。

「1/3 C Reader・Publisher」はその後に機能追加されて、製品名が「ターボ DataReader・DataWriter」に変わりました。ターボ DataReader・DataWriterは、横浜に本社を置く株式会社ターボデータラボラトリーさんが開発した国産ソフトウェアです。

ターボ DataReader・DataWriterの肝は、最大１兆件のデータを独自の形式で変換した「D5Aファイル」です。D5Aファイルは、以下の特徴を持つファイルフォーマットです。

• インターネット上で共有可能です
• 複数のD5Aファイルを瞬時に結合(UNION)できます
• XMLドキュメントも格納可能です
• 暗号化されていてセキュリティを保てます

このようなD5Aファイルは、リレーショナルデータベースに格納されたデータと異なり、OSやDBMSの違いに煩わされることなくどこに持って行っても読みだすことができます。手元のポータブルハードディスクにコピーすることや、クラウド上に置いておくことも容易です。

ターボ DataWriterは、最大2,000億行x4,096項目の表形式のCSVファイルを読み込んで、D5Aファイルに変換します。また、複数のD5Aファイルを1つにマージする機能や、D5Aファイルの一部を抽出して別のD5Aファイルを作成する機能があります。

（2,000億行を超えるデータは、2,000億行未満の複数のD5AをReaderで結合してブラウズします）

完成したD5Aファイルは、社内であればファイルサーバーに置きます。Webサーバーに置いてインターネット経由で利用することも可能です。

D5Aファイルを利用する時に使うのが、ターボ DataReaderです。Windows版、Linux版、Android版の3種類があります。

ターボ DataReaderは一般的なスペックのWindowsパソコンで巨大なD5Aファイルをスクロールしながら眺めることや、条件に合った行を瞬時に絞り込むことが簡単にできます。

D5Aファイルからデータを切り出して自分で加工したい場合は、Readerで選択したデータをCSV/Excel形式で保存できます。巨大データをExcelで扱えるサイズに絞り込んでグラフを作成する等の場合に便利な機能です。また、同社のAktblitzIIで扱えるD5T形式で保存することもできます。

さらに、Liux/Windows の C/C++/Java/PHP/Python言語で独自のアプリケーションを開発することができます。

ターボ DataReaderのおもしろい所は、ターボ DataReaderが無償のライセンスになっていることです。つまり、他のソフトウェアパッケージのような利用人数や端末数による料金体系ではないということです。ターボデータラボラトリーさんは、ターボ DataWriterでD5Aファイルを作成する部分に課金して収益を得る仕組みです。このライセンス体系は、Adobe社のAcrobaとAdobe Readerの関係に似ていますね。

この1年の機能強化の目玉は、Webサーバーに対応したことです。PHPを使ってD5AファイルにアクセスするWebアプリケーションを開発することができるようになりました。D5AファイルをWebサーバーに置いたままでPCやスマートフォンのブラウザからアクセス可能になったことで、活用の可能性が広がりました。

ターボ DataReaderのGUI部分はオープンソースとして公開されています。また、エンジン部分はAPIが公開されています。クラウド上で手軽に大規模データを作成して共有できるソフトウェアは他にありません。SI会社の方は、ビッグデータ対応のシステム構築エンジンとしてターボ DataReader・DataWriterを検討してみてはいかがでしょうか。

【宣伝】

億単位の大量データの管理にお困りのお客様で「ターボ DataReader・DataWriter」にご興味がありましたら、弊社お問い合せフォームよりお気軽にお問い合せください。

株式会社テクネコ：お問い合わせフォーム

【関連リンク】

ターボデータラボラトリー:「ターボ DataReader・DataWriter」資料(PDF)

http://www.turbo-data.co.jp/ReaderWriterJ.pdf

ビッグデータ

http://blogs.itmedia.co.jp/musasabi/2011/12/post-ea37.html

【2,000億行】データベースに入りきらないデータ求む

http://blogs.itmedia.co.jp/techneco/2010/10/2000-dceb.html