賞金100万ドル。史上最大級のアルゴリズム・コンテスト「Netflix Prize」がついに決着

賞金100万ドルを賭けて，186ヶ国から4万チームが参戦して争われた壮大なアルゴリズム競争が，延々三年間にわたって行なわれていたのをご存知だろうか？

このコンテスト「Netflix Prize」は，2006年10月に米国トップのオンラインDVDレンタル会社「Netflix社」が開催したもので，前代未聞の超大型アルゴリズム・コンテストとして大きな話題を呼んでいた。

コンテスト内容は，同社の持つリコメンデーションエンジン「Cinematch」（協調フィルタリングによるAmazon並にパワフルなエンジン）を基準として，成果ベースで10%上回るリコメンデーション・アルゴリズムを開発することだ。具体的に言うと，DVDをレンタルした人に対して，Amazonのように「こちらの商品もおすすめです」とリコメンドするためのロジックの効率化だ。

2006年に始まったこのバトルは，2011年を期限として10%に達するまで続き，年に一回 "Progress Prize"という5万ドルの中間表彰まで用意されている。コンテストの方法もユニークだ。参加者は1億件の匿名ユーザーデータをダウンロードし, 自らのアルゴリズムを通して計算されたリコメンドデータを投稿する。運営サイドはその投稿データを実際のデータと比較することで改善率を計算し，ウェブ上のleaderboardで参加者の成績を一覧表示させている。コンテストシステムとしても実に美しく設計されているのが特徴だ。

■アルゴリズムをめぐる激戦の歴史

コンテスト開始直後から，腕自慢の個人プログラマだけでなく大学や企業の研究機関も加わり，大激戦のアルゴリズム・バトルがはじまった。そしてそこでは映画の演出を見るようにドラマテックな展開が待っていた。

スタートから2週間で150件を超える応募があり，そのうち数件は「Cinematch」を上回る成果を挙げるという非常に順調な滑り出しだったが，改善のペースは次第に落ち，2006年末には早くも8%の見えない壁が立ちはだかった。

そんなこう着状態でヒーローとして登場したのが，当時3位につけていたsimonfunk氏だ。彼は自ら開発した高度なアルゴリズムをウェブ上で突然公開する。このことがきっかけとなり，個人プレーに限界の感じていた多くの参加者の間で情報交換がはじまった。複数の参加者がアルゴリズムを公開し，コミュニティが活性化し，個人がチームを組み始める。まさにコンテスト自体のレベルを底上げする触媒の役目を果たしたことになる。蛇足だが，simonfun氏はその後レースに加わることはなかったようだ。

続いて現れたヒーローが"Just a guy in a garage"こと，Gavin Potter氏だ。新顔でいきなり7%を超えるハイスコアを記録すると，さらに2008年1月には8%を叩きだして常連化していた上位陣に食い込んだのだ。しかも彼は元IBMのコンサルタントで，バックグラウンドは心理学者である。「データの背景にあるのは人間である」という視点で行動経済学を駆使したアプローチは斬新なもので，参加者コミュニティの注目を大いに集めることになった。

■ついにコンテストが決着

そして，ついに2009年7月26日，常連メンバーが集結した最強チーム「BellKor's Pragmatic Chaos」が10.5%を達成した。彼らは7人構成の国際チームで，米国AT&T Researchから2人、オーストリアCommendoから2人、カナダPragmatic Theoryから2人、イスラエルYahoo! Researchから1名という，いわばオールスターによるコラボレーション・チームだ。コンテスト規約に基づき，10%を破られてから30日以内に対抗者があらわれず，ついに賞金100万ドルの獲得者となった。

ここで特筆しておきたいのは，このコンテスト設計の素晴らしさだ。データ配布によるアルゴリズム評価の自動化，leaderboardやコミュニティでの参加者交流，さらには10%という目標設定の的確さには芸術性すら感じてしまう。この分野では先駆者であるTop Coderのコンペティション・システムを参考にしているのかも知れない。なお，Top Coderについては筆者コラムで紹介しているので参照してほしい。

【クラウドソーシング事例】世界の天才プログラマが争う凄いサイト
【クラウドソーシング事例】早い！安い！うまい！天才プログラマによる受託開発

ちなみに，NetPrize社によると，100万ドルでDVDリコメンデーション能力が10%挙がるのであれば，ビジネスとして十分なりたつとか。ということで「Netfllix Prize 2」も予定されているようだ。

ツタヤディスカスさん，DMM.comさん，ぽすれんさん，楽天レンタルさん，日本のIT業界を元気にするために，コンテストのご検討いかがでしょう？

----------------------------------------------------------------------------
筆者Twitterはこちら。ご意見，コンタクトなどお気軽に　　http://twitter.com/toru_saito