オルタナティブ・ブログ > 森崎修司の「どうやってはかるの?」 >

計測できそうでできない多くのこと。エンピリカル(実証的)アプローチで。

コンピュータサイエンス分野の受賞論文と他の論文からの参照数を比較すると・・

»

いつものソフトウェアの話とは少し違いますが、興味深い内容だと思ったので紹介します。

こちらのページ(Best papers & Top cited papers)で比較されています。学術系の国際会議に掲載された論文を対象としています。このページにある国際会議は優れた研究テーマ以外はなかなか採録されないものばかりです。Best paperは優秀論文、Top cited paperは掲載後、他の論文から引用されている回数が多い論文を示します。

優秀論文は国際会議の査読者、プログラム委員会(参加者の投票による場合もある)によって選ばれます。論文の引用は、他の論文(同じ国際会議に限定されません)からの言及を示しています。言及が多いほど、他の論文に与えた影響が強いと考えることができます。

上で紹介したページで全て大文字で書いてあるのが国際会議の名前です。一般に年に1回開催されるので会議の名前の後に開催年がつけられます。その下に何行か並んでいるのがその会議や論文誌に掲載された論文のタイトルです。論文のタイトルの右側に「Rank」「Cited by」とあります。Cited byはその国際会議終了後に引用された回数を表わしています。Rankは、その国際会議で発表された論文の中での引用回数の順位をあらわしています。

Cited byの回数が大きい(Rankが小さい)ほど後の論文に与えたインパクトが大きな論文と言えます。「N/A」はまだ一度も引用されていないことを示しています。公開されて間もない論文は引用数が小さくなる傾向にあります。

引用論文の左側に赤字で「BEST PAPER」というマークのついた論文は受賞論文です。

このリストをみると、必ずしも受賞論文がたくさん引用されるというわけではなく、受賞はしていないけれども引用数が非常に大きな論文も多くあることがわかります。査読者らがその時点でよいと判断した論文と実際に引用される論文は違う場合があることを示しています。

私も優秀論文を選択する立場になることがありますが、優秀論文はテーマだけでなく読みやすさや研究としてのシナリオの良さも含まれるような気がします。一方で他の論文からの言及が増える要因はその研究テーマに近いテーマの多さ(発展形や別の形での評価、検証)に依存しているでしょう。

こういった評価の視点が異なるというというのが原因の一つと考えられますが、リリースの瞬間よりは、リリースしてしばらくしてから価値がわかるソフトウェアと共通する部分があるかもしれません。

Comment(0)