目新しさ、意外性をはかる - ノベルティ、セレンディピティ -

情報検索では検索結果の評価として一般に正確性の適合率と再現率が使われる。Group lensやamazonの推薦で有名なリコメンデーション（情報推薦）に限定すると評価指標が増える。次の文献では下のような評価指標を挙げている。土方嘉徳: 情報抽出と情報推薦技術, 情報処理, vol. 48, No. 9, pp. 957-965 (Sep. 2007)

• ノベルティ
  ユーザにとって好ましくあり、かつ目新しい
• セレンディピティ
  ユーザにとっての意外性
• ダイバーシティ
  結果の多様性。結果どうしの類似性が低いと多様性が高くなる。
• ディスカバリ率
  結果の中でユーザが気づいていなかったものの割合（好ましくなくてもよい）

正確性の適合率は検索結果の精度、再現率は検索結果の網羅性を表すために使われる。情報推薦の場合、上述のようなユーザの主観的評価によるノベルティ、セレンディピティ、ダイバーシティ等の評価も加わる。これらは情報の評価において正確性とならぶ概念であり、たとえばノベルティの適合率、再現率というような評価指標になる。

これら評価指標のいくつかは、ここやここで書いたような過去の実績データから得られた規則性の評価やレビュー指摘の評価として使えないかと思っている。たとえば、レビュー指摘のダイバーシティが低い場合には、まだ指摘されていない類の欠陥があることを暗示している可能性があり、レビュー自体を再検討したりスケジュールに盛り込んでおく等の対策ができるかもしれない。