Monthly Archives: January 2014

平成25年度 大阪大学職員研修「学術論文の研究評価指数に関する最近の動向」講演「ウェブ時代の新たな研究評価指数 #altmetrics の概要と事例報告」資料(解説付き)公開 #ORCID


 

平成25年度 大阪大学職員研修「学術論文の研究評価指数に関する最近の動向」にて、「ウェブ時代の新たな研究評価指数 #altmetrics の概要と事例報告」と題した講演をさせて頂きました。

大阪大学職員研修「学術論文の研究評価指標に関する最近の動向」

趣 旨
近年、国立大学では特に研究成果の定量的評価として、客観的な評価指標への関心が高まっています。
大阪大学では、大規模引用文献データベースであるWeb of Science に加えてEssential Science Indicators(ESI)(Web of Scienceから得られる学術論文の出版数と被引用数のデータに基づき、研究業績に関する統計情報と動向データを提供するデータベース)が全学的に利用できる環境にあります。
これらは主として被引用数により学術論文の影響度を測定する手法の一つとして用いられており、導入している大学・研究機関は多く、そのデータは政府の調査等にも利用されています。また、その手法とは別に、学術論文公開後にtwitterなどのソーシャルメディアでの反応を測定し、影響度を指標化する新しい手法「Altmetrics」が最近注目を集めてきています。「Altmetrics」がこれからどのように発展していき、従来の評価指標とどのような関係となっていくのかは、図書館職員としても注視していきたいところです。
今回の研修は、研究評価指標に関する最新の動向について講義を通じて学び、これから図書館職員として何ができるのかを考える機会を提供することを目的とします。ふるってご参加ください。
日時 平成26年1月22日(水)13時30分~17時00分 (13時開場)
会場 大阪大学附属図書館生命科学図書館  4階 AVホール
資格 大阪大学教職員、その他図書館関係者
主催 大阪大学附属図書館
13:40~14:40 講演 「Web of Scienceをベースとした研究評価データの最近の傾向」
甲斐真佐美 氏 (トムソン・ロイター)
14:50~15:50 講演「ウェブ時代の新たな研究評価指標 altmetrics の概要と事例報告」
坂東 慶太 氏(MyOpenArchive)

大阪大学附属図書館 – お知らせ – 職員研修

冒頭のスライドは、その際配布させて頂いた資料。

大阪大学さんでは、図書館さんが主催する研修会を年に一度開催されているとのこと。例年、ほぼ100%図書館員さんが参加するテーマ選定ということでしたが、今年は少し視点を変え、「学術論文の研究評価指数に関する最近の動向」を学びましょう、としたところ、今年は図書館員さんだけでなく、URA( University Research Administrator)さんや研究者の方々からの参加が多かったとのこと。
研究機関の構成員が、それぞれに問題意識を抱えられ、それをご自身のお仕事に活かそう或は組織横断的に対応していこうという気持ちが伝わる参加属性だと感じました。
そんな研修会にお声掛け頂いたきっかけが、月刊DRFさんに寄稿させて頂いた

を企画ご担当の方がご覧になったということで、ひとつの成果が次の成果へきちんとつながっていく大切さを痛感した次第です。

登壇ご一緒させて頂いたのは、トムソン・ロイターの甲斐真佐美さんで、講演テーマは「Web of Science をベースとした研究評価の最近の動向」。私自身インパクトファクターについてきちんと学ぶ機会は初めてだったので、イチ研修参加者として勉強させて頂きました。事前に甲斐さんの配布資料を拝見したところResearcherIDにまで言及されることを知り、自分が用意した講演内容、altmetrics概要→DOIやORCIDなどの識別子の重要性、という流れと若干被っていること発覚。
お昼ご飯をご一緒しながら、「Impact Factor 対 altmetrics」「ResearcherID 対 ORCID」みたいな構図でバトルトークを期待する人がいるかも知れないので期待に応えましょうか笑、なんて冗談言い合いながら、やはりその様な誤解を解けるよう互いの関連性・補完性についても触れながら話しましょうということに。

過去、1時間もの講演時間をこなした経験がないことから、(妄想)力を入れ過ぎて100枚超えのスライドとなってしまいました。汗
以下、スライドへの補足説明です。

先ず、今回のスライドではaltmetricsストーリーを次の4つに分割。

  1. altmetricsとは(概要と、なぜいまaltmetricsかという背景や業界動向)
  2. 数あるaltmetricsツールから4つを特選して紹介
  3. 2で紹介したaltmetricsツールの学術出版社における導入事例及びURAさん向け・研究者向け・図書館向け事例を紹介
  4. 最後はaltmetricsの可能性という個人的見解を、altmetrics+ORCIDという見解から機関の研究評価にまで言及

しかしすぐには本題に入らず、イントロダクションとして昨年末に公開されたAltmetric.comによるAltmetricスコアによるトップ100ランキングを題材に「従来のランキングにはない特徴を持った研究インパクト」が現れてきている、という話から始めさせて頂きました。
#今思い起こせばイントロダクション前の自己紹介で余計な話をし過ぎて与えられた時間をオーバーしてしまったと反省。。

  • altmetricsとは(概要と、なぜいまaltmetricsかという背景や業界動向)

先ずは概要説明。日本語での概要説明に、昨年図書館総合展にて岡山大学の大園さんが発表されたスライドから文言頂戴しました。感謝です。
抽象的な概念を具体的なイメージで抱いて頂こうと、日本語解説を補ってくれそうな画像を3つ採用。
なかでも、元Nature→Mendeley→eLife(イマココ)のIanさんが講演直前にツイートされた以下画像は視覚的に大変分かり易いと思い急遽スライドへ追加してご紹介。

alternativeというのが次の2つの特徴があることを説明する上で大変参考になったのではと思います。
・Saved, Discussed, Recommendedといった、CITED(引用)以外のインパクトを対象とする
・Data, Slide, Softwareといった、Article(論文)以外のインパクトを対象とする

そして、林さんの論文からaltmetricsの特徴を引用させて頂き、「広域・社会性」「補完・代替性」「即時性・予測可能性」についてイントロダクションのスライドに立ち戻って確認作業を。

なぜいまaltmetricsかという背景においては、持論の「オープンアクセス×ソーシャルメディア」時代を切り口に、特にMendeleyを代表とする研究者向けウェブサービスの充実による効用を論じるなど。
業界動向にはBOAI10 Recommendations(altmetrics開発推奨)・DORA(サンフランシスコ研究評価宣言)、NISOによるalt metrics研究開発プロジェクトといった目立った動きを押さえて頂くためのご紹介をしました。

  • 数あるaltmetricsツールから4つを特選して紹介

次の導入事例報告につなげる為にも、広く普及し(従って知名度と期待感も高まっており)複数紹介することでそれぞれの特徴が分かり易い3つ(altmetric.com、ImpactStory、PlumX)に加え、個人的にとても好んでいるReaderMeterの4つをご紹介。
ここではAltmetric.com、ImpactStoryについての言及を割愛させて頂きますが、PlumXを提供する会社Plum Analyticsはスライド作成〆切間際にEBSCOさんに買収されるなど、ホットな話題をも付け加えるなど。
そして、これらaltmetricsツールの共通点として
・学術コンテンツにはDOI付与がとても大事
・Twitterなど多くのソースをトラッキングしている中、Mendeleyを外したものはない
ということで、DOIやMendeleyの重要性を力説した上で、DOI付けてウェブにアップしたいけど・・とお悩みな方用にfigshareもご紹介するなど。笑
その流れから、Mendeleyのデータのみを利用してつくられたReaderMeterは非常に面白い存在であり、現在はMendeley側のAPI仕様変更が影響してかサービスがストップしていますが、間もなくリニューアルされるであろうReaderMeterをお忘れなく、という意味合いで紹介した次第です。

  • 2で紹介したaltmetricsツールの学術出版社における導入事例及びURAさん向け・研究者向け・図書館向け事例を紹介

ケーススタディとして学術出版社の取り組みを紹介するページは、各社のスナップページを連発することで、以下に主要altmetricsツールであるAltmetric.comとImpactStoryが普及しているかをご覧頂こうと、これでもかこれでもかと紹介。
PLoS, PeerJ, eLife, nature, Elsevier, BioMed Central, Wiley, ・・・
お腹いっぱいになりましたでしょうか笑。それもそのハズ、至とところにAltmetric.comのカラフルなドーナッツ(通称Altmetricスコア)だらけ。

そして今回URAさんの参加も少なくないということで、彼らがこれから(もう既に)情報収集されているであろう研究情報管理サービスを3つご紹介。
PlumX(Plum Analytics)
ELEMENTS(Symplecti)
Mendeley Institutional Edition(SWETS)
私の方からは、altmetricsをも意識した研究情報管理サービスということで特徴的な3つのご紹介となりましたが、欧米ではこうしたサービス利用が浸透している中で、我が国の研究機関が必要とする時が早々に来るのか、個人的にはURAさんの反応・感想をお伺いしたい・確かめたいという思いでした。

研究者向け・・と言いましても、ウェブページのCVsにaltmetricsツールを貼付けるといった事例紹介しかできなくって自分の限界を痛感したところですが、冒頭に書きました通り、貴重なお時間を割いてまで本研修会に参加された研究者の方々の心中には、個人として所属機関として、どうしたらこの新手の研究評価をうまく取り入れることができるのか、スライド全体を通じて情報提供できていれば幸いです。

そして・・図書館における導入事例報告。抄録・引用文献データベースやディスカバリーサービス或は機関リポジトリといった身近な図書館サービスへのaltmetrics対応についてご紹介。各機関さんのトライ&エラーなくして新しい発想は発展せず、という観点で、大阪大学さんの豊富な図書館サービスもいくつか試験導入し、反応や問題点或は改善点を見いだして戦略的に利用する価値を見いだして頂けたらと切に思った次第です。

  • 最後はaltmetricsの可能性という個人的見解を、altmetrics+ORCIDという見解から機関の研究評価にまで言及

最後は、引用数とaltmetricsの相関関係(「補完性」「予測可能性」)について両極端な研究結果をご紹介し、今後altmetricsの可能性について触れた後に、・・ちょっとした賭けに出てみました。笑
講演後は結構長めの質疑応答時間があるタイムスケジュールだったので、一方的な情報提供に終わることなく、議論を活性化を促すべく「Author Level Metrics」及び「Institution Level Metrics」に話題を発展。
そこでORCIDを話題に取り混ぜることにより、今後の研究者及び研究機関といったレベルでの評価にaltmetrics×ORCIDが果たす役割は大きい、という論を展開してみました。
大学図書館にとって身近なところでは、DSpaceとORCIDの連携について、その取り組み報告が間もなくなされるようで楽しみなところ。
ORCIDを機関としてサポート表明している大学は世界に19機関あり、やはり欧米中心とはいえ、アジアでは韓国や台湾が積極的なので、日本も立ち後れることなく世界標準となるORCIDにしっかり対応していって欲しいなぁと心の中でつぶやいていました。日本の大学で真っ先にサポート表明するのはどこかな。

機関レベルにおけるaltmetricsの可能性については、やはりORCIDがISINコード対応したことが後々影響することになるでしょう。
ORCID利用者が膨れ上がり、利用者が研究成果を(DOIやPMID付きで)登録し、それらひとつひとつのmetricsが算出されるようになれば、必然的に
ORCID上のデータを活かしてArticle Level Metrics→Author Level Metrics→Institution Level Metricsがランキング化できてしまう可能性も。
その際、現在在る大学ランキングにaltmetricsが与える影響は・・

来る「altmetrics×ORCID」時代到来に向けて、解のない、しかし妄想力を掻き立て頂くには面白い組み合わせとして話題提供させて頂きました。
最後は恒例の、図書館員さんを煽るメッセージを引用して終了。

質問も多数頂き、多くの気付きを頂いた研修でした。
また、最後の方の話題は、自分自身MyOpenArchiveとして新しく取り組もうとしているテーマとも合致し、思考整理する上で大変良い機会を頂いたと思っています。

大阪大学図書館のみなさま、お集り頂いた他部門・他大学のみなさま、本当にありがとうございました!
また、研修終了後に大阪の夜景と楽しい会話をコーディネートしお集り頂いた阪大図書館若手職員のみなさん、本当にありがとうございました!

Don't be shellfish...Tweet about this on TwitterShare on FacebookShare on Google+Share on LinkedIn