スーパーエンジニアの独り言　“Doug Cutting氏 来日”

皆さん、こんばんは。吉政創成の吉政でございます。

弊社のお客様であるCTC教育サービス様がメルマガを発行しました。今回はそこで連載しているコラム「スーパーエンジニアの独り言　“Doug Cutting氏 来日”」を紹介します。

CTC様のメルマガの申込は以下からお願いします。
http://www.school.ctc-g.co.jp/mailmagazine/index.php

今回のメルマガの原文は以下をご覧ください。
ctc201109.pdfをダウンロード

コラム「スーパーエンジニアの独り言　“Doug Cutting氏 来日”」については以下をご覧ください。

┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
◆◇ 『スーパーエンジニアの独り言　第3回“Doug Cutting氏 来日” 』  ◇◆
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┛

今回の話題は「Doug Cutting（ダグ・カッティング）氏の来日講演」です。
Doug Cutting 氏とは、あの "Apache Hadoop" の創造主です。

"Hadoop" は、Twitter や Facebook など著名なサービスで大量データ処理の
仕組みとして採用されていますのでその名前を耳にしたこともあるかと思います。
今回、Doug Cutting 氏本人が来訪され各所で開かれるカンファレンスで講演
されると聞き、是非とも創造主である彼の話を聴きたくて（逢いたくて）
とあるカンファレンス会場に向かいました。
そこで幸運にも拝聴できた顛末の一部を書き記します。

"Apache Hadoop: A New Paradigm for Data Processing"
Doug Cutting, Architect, Cloudera, Inc.

まずは講演されたスライドタイトルの一覧です。
◇ Who am I ?
◆ Apache Hadoop : a new paradigm
◇ New foundations
◆ Commodity Hardware
◇ Sequential Access
◆ Open Source
◇ Nutch (2002)
◆ Nutch (2004)
◇ Hadoop (2006)
◆ HDFS
◇ MapReduce
◆ Hadoop: the ecosystem
◇ Cloudera's Distribution including Apache Hadoop
◆ Pig & Hive
◇ Avro
◆ Mahout
◇ HBase
◆ Flume
◇ pattern of adoption
◆ advantages of paradigm
◇ the future is data

「シリコンバレーで25年のベテランです。」から始まった彼の講演ですが、
前半部分は、どのような経緯でHadoopが誕生したのか？というお話でした。

当時 Yahoo!に所属していたエンジニアが、Googleが発表した論文に触発
されて開発したソフトウェアがいきなり登場したのであろう、と理解（誤解）
されている方が多いかもしれませんが、どうやらそれだけでは無いらしいのです。

Doug氏自身のキャリアは1980年代にXEROXから出発しAppleでMac OSのテキスト
検索エンジン開発、90年代にはExciteの検索エンジンを担当、そして全文検索の
Lucene、それをベースとしたウェブ検索エンジン Nutch など、幾つかのオープン
ソースプロジェクトに関わっていました。そこではいつも、「大量データをどう
やって効率良く扱うか？」の問題と対峙することになり、その都度、試行錯誤を
繰り返していたそうです。

勿論、当時同じ問題に直面していたGoogle論文発表のタイミングやこのソフト
ウェアをプラットフォームとして採択して応援してくれるYahoo!への参画など、
ターニングポイントは幾つもあった事でしょうが、何よりも長年の地道な積み
重ねがあってこその現在のHadoopだと言えましょう。
それ故、オープンソース Hadoop の存在意義を改めて認識した次第です。

「脚踏実地」。紆余曲折ありながらも、ひとつの課題を長年に渡り突き詰めて
いくことで成功した彼の実直さ、講演で一番感慨深かったのはこの事でした。

ところで肝心の Hadoop についてですが、Doug Cutting 氏曰く、
『Apache Hadoop が一つの新しいパラダイムであり、
　これこそがデータ解析における回答となるでしょう。』

という主旨の事を仰っていました。この講演を拝聴し、これから
Hadoop を勉強してみたいという気持ちが膨らんだのは事実です。
「千里の道も一歩から」の言葉を再び噛み締める必要があるのでしょう。

Doug Cutting 氏は現在、Hadoop を生業とする Clouderaの社員なのだそう
ですが、加えてASFの委員長（チェアマン）でもあるそうです。

Current officers of The Apache Software Foundation:
http://www.apache.org/foundation/

講演内容の続きについては、また次回ということにさせて頂きます。

関連コースの詳細情報はこちら：

「Java」関連コース
http://www.school.ctc-g.co.jp/java/

「クラウド・仮想化」関連コース
http://www.school.ctc-g.co.jp/cldvir/