超適合率と超再現率

　myrmecoleonさんの『ニコニコのタグ検索の「精度」の話』『ニコニコのタグ検索の「精度」の話」の反省』という２つの記事での再現率と精度（適合率）を使った分析と解説が興味深い。映像共有システムとしてのニコニコ動画のタグは、精度でははてブのそれを凌駕するが、再現率でははてブのほうが優秀だという意見には私も感覚的には同意。
　自分の普段の検索シーンで考えてみても、実際に「同じようなものを見たいなぁ」という時には、映像共有システム内のタグの絞り込み機能で捜しているし「この分野の作品をしらみつぶしに見たいなぁ」なんて思うときには、外部のタギングシステムや検索システムで捜す行動を取る。
　タグ/タギングのシステムの一部は情報探索を支援する機能と言って良いと私も思う。だからこうした適合率や再現率のような従来の考え方を使って分析するのは妥当だし、この視点で見ると改めていろいろ気づくなぁというのが今の率直な感想。

　そうして思いついたものを、以下いくつか書き出してみた。

　例えば、先ほどの検索シーンで言うと「同じようなものを見たいなぁ」というシーンのほうが「この分野の作品をしらみつぶしに見たいなぁ」というシーンよりも（あくまで私の日常の場合だが）圧倒的に多い。だとすると、こうした映像共有システム内での検索機能は、まずは再現率より適合率を優先して設計すべきかもしれない。

　あるいは、適合率の向上のための検索機能と再現率確保の為の検索機能は分けて実装し、極端な話再現率確保の為の検索機能のほうは外部に任せてしまうとか。myrmecoleonさんの指摘からすると今のニコニコ動画のタグは、はてブのタグとそうして既に住み分ける結果になっている可能性もあるなと。

　ユーザの立場で意見を言うと、使っていて優れているなぁと思う検索機能は「同じようなものを見たいなぁ」というシーンでは最初の数ページ内に不要な検索結果を表示しないもの。「この分野の作品をしらみつぶしに見たいなぁ」というシーンではある程度の検索結果一覧内に欲しいものがだいたい揃っているもの。ということになろう。
　で、この感覚を測るのに再現率と適合率をそのまま使うのは厳しそうだ。そもそも再現率と適合率はかなり前に考えられた指標で現在ではいまいちだと言われている。昨今の情報爆発/情報洪水時代では、これらの指標を求めるための正答数を正確に把握できないし、さがす対象も不明確なまま検索に入るシーンもあって、そんな時はそもそも正答が定義できない。myrmecoleonさんも後日談にもタグ検索での再現率や適合率の測り方の検討が難しいとある｛このあたりは、まさおのChangeLogメモ「精度・再現率の罠」も参考にさせていただきました｝

　そこで、ちょっと強引だが適合率は、

超適合率（超精度）＝検索結果上位30件（3頁）の中にノイズと感じる不要な情報を表示しない割合

ぐらいで測っても良いのではないかという案を出してみる。
　次に、たとえ正答を全て得ることができたしてもその数が多すぎると今度は人間側でそれを見る時間が無いので通常は絞り込み検索などで検索結果の数を減らすだろう。だとすると、

超再現率＝検索結果上位100件（10頁）の中に含まれる欲しかった情報の数

ぐらいで測ってみてはどうだろうか。
　見れば直ぐにわかるがこの２つの式には「ノイズと感じる」「欲しかった」という主観的なものが含まれているので、出てくる数字も主観的なものになる。でもそれでも同一人物で継続的にやれば相対評価はできるし、なによりタグ検索に関する研究が少ない現時点では、まずはいろいろやってみながら気づいたり考えてみることに意味があると思う。