カテゴリーキラークローラーという案

　谷川さんのエントリ「Feedの話を聞いていて、クローラに興味を持った」にむしろクローラのほうが面白そうだという感想が書いてあって、現時点ではこれにはまったく同感なのと、以前から考えていたことがあるのでちょっと書き始めてみたい。

　ネットには90：9：1の法則というのがあって、情報発信者の数は受信者に対してかなり少数である。だからこの少数派を取り込んで便利な機能を取り込んでいくとかネット全体をセマンティック化するというアイデアはアリだと思うし、それはネット全体の発展に繋がる良い動きだと思う。しかし少数とはいっても大勢の情報発信者側を取り込むには時間が必要だし、なによりそういったサービス提供の為の投資資金の回収モデルが難しい。となるとやはり、割合的に多数でマーケットして魅力のある受信者側に取り入るような便利なサービスを立ち上げるという選択肢もまたアリなんだと思う。というか、むしろこっちの戦略を取るほうが多数派なのだろう。

　で今は、受信者側のサービスの典型が検索エンジンであり、その背後で動くクローラーだと思っている。新野さんは自立型クローラーのアイデアを出されたが、私が以前から考えていたのがインターネット上の特定分野の情報だけを自動的に取得してくるクローラー。例えば価格情報だけを取得してくるとか、研修やセミナーの開催情報だけを取得するクローラーがあると便利だし一定の人に受け入れられるのではないだろうか。他には最近増えている官公庁からWebに掲載される入札情報だけをクローリングして、その結果を提供してくれるサービスなどはビジネス面でも魅力的だ。入札情報集約サービスなら場合によっては有料サービス化も夢ではないと思う。
　ここで書いたクローラーは全自動でなくても、半自動である程度の人手のサポートがあっても良いし、例えば基本のエンジン部分だけ提供して残りのチューニング部分は、オープンソース式に参加者が個別用途別に勝手に作りこんでいくとかいうのでも良いと思う。
　このアイデアを私はカテゴリーキラークローラーと名付けているが、人によっては「それって究極にパーソナライズされたサーチエンジンでは？」と言うかもしれない。別に呼び方はどっちでも良いのだが、冒頭に書いたようにまだしばらくは発信者側からのPush的ポジションになるFeedsよりも受信者側のPull的仕組みのクローラーのほうが流行りそうだと私もまた勝手に予測している。

===2007/5/31

　これは単なるアイデアなので、解ではなく案だろうという指摘を受けてタイトルを変更

===2007/6/2

　何をトチ狂っていたのかオリジナルの書き込みを新野さんのだと勘違いしていました。私が興味を持ったのは谷川さんのエントリーでした。大変申し訳ないことをしました。ここに訂正致しますとともに謹んでお詫びします。大変申し訳ありませんでした。