英国大学事情—2015年1月号「大学の研究への公的評価：REF2014」＜2014年度公的研究評価結果：HEFCE資料より＞

• イングランド地方の大学への教育・研究向け運営費交付金を配分するHEFCE(Higher Education Funding Council for England)をはじめとした、地方ごとの4つのファンディング・カウンシルは、合計で年間約20億ポンド(3,600億円^(*1) )の研究向け運営費交付金を高等教育機関に配分する役割を担っている。
• これらのファンディング・カウンシルによる研究向け運営費交付金は、経済的繁栄、国民の快適な暮らしや知識の拡大と普及に大きな貢献をする、ダイナミックで国際的にも競争力のある研究分野を支援することを目的とする。
• これらの運営費交付金を研究の質をベースにして選別的に配分するため、ファンディング・カウンシルは約6年ごとに研究評価を実施している。
• 2008年度に実施された研究評価活動はResearch Assessment Exercise(RAE)と名づけられていたが、2014年度の評価活動はResearch Excellence Framework (REF)という名称に変更された。今回の評価活動では、全学問分野の研究の質とインパクトを評価し、その結果が2015、16年度からの研究向け運営費交付金配分に反映されることになる。

  *1. 1ポンドを180円にて換算

• 研究評価(REF2014)は専門家によるレビュー方式をとっており、36の学問分野別の評価ユニット(UOA)によって実施された。

  2011-2012年(準備期間)

  ファンディング・カウンシルは、評価のための各分野の専門家パネルを任命し、高等教育機関ともコンサルテーションをしながら、評価基準とガイドラインを公表した。

  2012-2013年(高等教育機関からの申請書類の提出)

  各高等教育機関は、どの評価ユニットに、どの研究者の申請書類を提出するかを決めながら、評価対象となる申請書類の提出準備を進めた。書類提出は2013年11月末に締め切られた。

  2014年(評価の実施)

  898人のアカデミックスと259人の研究成果のユーザーからなる専門家パネルは、提出された申請書類の評価を実施し、その評価結果は2014年12月中旬にHEFCEによって公表された。

• 各高等教育機関は独自に、評価対象となるアカデミック・スタッフを選出した。選出対象となるアカデミック・スタッフは、2013年10月末に高等教育機関に在籍中であり、研究活動を含むアカデミック雇用契約を結んでいる者と規定された。
• 平等と多様性の原則を維持するため、各高等教育機関はアカデミック・スタッフを選出する際に公平かつ透明性の原則を採用し、平等性インパクト評価(equality impact assessment)を実施した。
• キャリアの早期段階の研究者、産休やパートタイムなどの事情があるスタッフには、より少ない研究成果でも評価対象者として選出できるようにした。REF2014において、評価対象に選ばれた研究者の28%がこのような環境のスタッフであり、この比率は前回のRAE2008時の13%に比べて2倍以上となった。

A) アウトプット(評価ウェイティング 65%)

【アウトプットの定義】
REF2014 における「アウトプット」とは、2008年1月から2013年12月までに発表されたすべての形態の研究成果を指す。これらには、専門誌への投稿、研究論文、出版物への掲載などによる発表をはじめ、デザイン、パフォーマンス、展示会のような方法にての研究成果の発表も含む。

【申請書類にて提供された情報】
各高等教育機関は選出した研究スタッフ１人当たり、最大4件のアウトプットを提出した。また、高等教育機関は申請書類提出時、大規模で広範囲にわたるアウトプットについては、評価パネルに対してダブル・ウェイティングとするよう要求できるようにした。(その場合には、2つのアウトプットの提出としてカウントされた)

【評価基準】
各評価パネルは、提出されたアウトプットの質を、独創性、重要性、厳格さ(originality, significance, rigour)に照らし合わせた評価を行った。パネルによる評価は、主に専門家による評価(peer review)方式を採用した。評価パネルによっては、専門家による評価を支援する情報として、アウトプットの引用回数を参考にした。

B) インパクト(評価ウェイティング 20%)

【インパクトの定義】
REF2014における「インパクト」とは、アカデミアの世界を超えて、経済、社会、文化、公的な政策やサービス、健康、環境、生活の質への変革または利益に影響をもたらすことを指す。

【申請書類にて提供された情報】
申請書類には、以下を含むことが要求された。

• インパクトの事例

  申請書類を提出する高等教育機関には、インパクトに貢献した、1993年からの高い質の研究成果の事例をあげることが要求された。又、1つの申請書類ごとに1件の事例を含むことが求められるとともに、10人の研究スタッフごとに、さらにもう1件の事例が必要とされた。

• インパクトに関する定型書式

  申請書類に添付する定型書式(template)には、2008年から2013年の間に、研究が与えたインパクトとともに、インパクトへの今後の戦略の記述が求められた。

【評価基準】
インパクトの事例は、インパクトの範囲と重要性(reach and significance)を考慮して評価された。定型書式に記載された事柄については、そのインパクトを達成するための研究のアプローチや戦略がどれくらい大きく貢献したかが判定された。

C) 研究環境(評価ウェイティング 15%)

【研究環境の定義】
REF2014 における「研究環境」とは、研究を支援するための戦略、リソースおよびインフラを指す。

【申請書類にて提供された情報】
申請書類には、以下を含むことが要求された。

• 研究環境に関する定型書式

  この書式には、各申請書類提出ユニットの研究戦略、研究スタッフや学生への支援、研究収入、インフラや設備などとともに、共同研究や研究分野へのより広範囲な貢献が記載された。

• 統計データ

  各高等教育機関は、2008、09年度から2012、13年度にかけての年度ごとの研究収入金額や、提供元の業態ごとのデータとともに、年度ごとの研究博士号授与数のデータを提出した。これらは、各高等教育機関が毎年、高等教育統計エージェンシー(HESA)に提出するデータを基にしている。

【評価基準】
研究環境は、活力と持続可能性(vitality and sustainability)を基準に評価された。

• 英国全土の154の高等教育機関が、2014年度の公的研究評価を受けた。
• 合計1,911件の申請書類の提出があり、52,061人のアカデミック・スタッフによる191,150件の研究アウトプットと6,975件のインパクト事例が評価対象となった。
• 評価は4つのメイン・パネルの監督の下に、36のサブ・パネルによって実施され、合計で898人のアカデミック・メンバーと259人の研究成果のユーザーが参加した。
• 申請書類の全体的な研究の質は、平均して以下の4段階の比率に評価分けされた。

【Excellence】

• 前回の2008年の公的評価に比べ、研究の質は大幅に向上していることが判明した。すべての評価対象資料にわたり、平均して、研究アウトプットの22%がworld leading(4*)と判定され、2008年の14%から大幅に向上している。さらに、50%がinternationally excellent(3*)と、2008年の37%から大きく改善している。
• これらの改善は、英国の研究実績の向上に関する中立的なエビデンスやREF2014の評価パネルの国際委員の見方とも一致している。
• 2008年に比べ、広範囲な高等教育機関で大きな向上が見られた。

【Diversity】

• 優れた研究成果は基礎、応用、プラクティス・ベース、戦略的な研究を含むすべての形態の研究、または共同的、学際的、多領域にわたる研究のすべてに見いだすことができた。
• キャリアの早期段階の研究者、産休をとった研究者やパートタイムの研究者らのアウトプットは、その他の研究者のアウトプットと同等に高い質のものであった。
• World leadingクラスのアウトプットは、研究に最も力を入れている大学群に集中していることは前回と同様であったが、申請書類のサイズにかかわらず、多くの多様な大学にも見いだすことができた。
• 国際的基準をベンチマークとした場合、4分の3の高等教育機関は申請件数のうち、最低でも10%はworld leading(4*)と評価された。トップの4分の1の高等教育機関は、最低でも30%の申請がworld leading(4*)と判定された。

【Impact】

• 今回の評価で初めて、研究がインパクトを与えたことのエビデンスが求められた。その結果、注目できるインパクトの事例が、すべての学問領域および多くの多様な高等教育機関から見いだすことができた。
• 250名を超える外部の研究ユーザーがアカデミック・パネルのメンバーと共同で評価したところ、全申請書類のうち、平均で44%のインパクトがoutstanding(4*)と判定された。さらに40%がvery considerable(3*)と評価された。
• 英国内および国際的に、経済、社会、文化、公的な政策やサービス、健康、環境または生活の質に影響を与える、優れた多くのインパクトを見いだすことができた。これらは、高等教育機関による公的、民間および半官半民部門との広範囲な連携を反映しているとともに、直接的に市民との関わりも深めていることの表れと言える。

【平均評価結果】

※上記の「全体平均値」は、全提出資料の全般的な質の平均を表し、アウトプット、インパクト、研究環境の3つの評価要素からなる。

• REF2014における実際の評価は、以下のような4つのメイン・パネルと36のサブ・パネルによって実施された。

  • 4つのメイン・パネル

    4人のメイン・パネル・チェア、23人の国際メンバー、17人のユーザー・メンバー

  • 36のサブ・パネル

    1,052人のメンバー(77%はアカデミック・スタッフ、23%がユーザー)
    5人のスペシャル・アドバイザー

• HEFCEが公表した評価結果資料では、36分野に分かれたすべての学問領域が大学別に評価され、その結果が掲載されている。参考までに、その中から自然科学、人文科学を含む11分野を筆者の独断で選び、最上級の4*を獲得した比率の大きい高等教育機関のトップ5を抜粋して紹介してみる。
• 実際の研究向け運営費交付金は申請書類を提出した研究者数、評価結果、分野別の経費係数(例えば、理工系の実験を中心とした分野には、経費助成のための大きい係数が用いられる)を勘案して配分される。したがって、最上級の4*の比率が大きくても、申請書類を提出した研究者数が少なかったり、3*の研究者が少なかったりした場合は、配分される交付金額が大きいとは限らない。そのため、下記の4*比率の大きいトップ5大学のランキングは、交付金配分額のランキングではない。ちなみに2008年の評価結果に基づく2012、13年度の交付金配分では、2*以下はゼロとなっている。
• なお、HEFCEによる公表結果の原文では、分野別に大学名と評価結果がアルファベット順に記されている。(原文の雰囲気を出すため、原文通りの英語で記載する。)

【Clinical Medicine】        (31機関が申請)

*2 FTEはFull Time Equivalentを指し、フルタイム換算ベースという意味で使われている。

【Biological Sciences】        (44機関が申請)

【Chemistry】        (37機関が申請)

【Physics】        (41機関が申請)

【Computer Science and Informatics】        (89機関が申請)

【Economics and Econometrics】        (28機関が申請)

【Business and Management Studies】        (101機関が申請)

【Low】        (67機関が申請)

【History】        (83機関が申請)

• 英国の大学における研究活動への公的助成は、HEFCEなどのファンディング・カウンシル経由の公的研究評価に基づき配分される運営費交付金と、リサーチ・カウンシル経由の競争的研究助成金という2つのルートによる公的研究助成があり、一般的にdual funding support方式と呼ばれる。この他にWellcome TrustやCancer Research UKなどの大型チャリティー財団、すなわち民間部門からの巨額の助成金もある。
• ファンディング・カウンシルからの助成は広範囲の学問分野に行われる基礎的助成であるに対して、リサーチ・カウンシルからの助成は国の優先研究分野を考慮した、より戦略的な助成と言えよう。
• 公的研究評価に基づく研究向け運営費交付金は年間約20億ポンド(3,600億円)、リサーチ・カウンシルからの大学への公募型研究助成金は年間約11億5,000万ポンド(2,070億円)である。
• 英国に7つあるリサーチ・カウンシルの合計年間予算は約30億ポンド(5,400億円)であるが、その半分以上は、リサーチ・カウンシルが所有する多くの研究所への投資や、英国の研究者が国際的研究機関を利用できるようにするための国際協力研究投資に使われている。
• 一般的に配分金額を考慮した場合、リサーチ・カウンシル経由の公募型助成金配分方式に比べ、HEFCEを中心としたファンディング・カウンシル経由の研究評価形態による助成金配分方式の経費は低く、経費面では効率的であるとされている。
• 筆者は、2001年、2008年そして2014年のREF2014と過去3回のファンディング・カウンシルによる公的評価を英国在住の部外者として見てきたが、2014年度には研究の経済的、社会的、文化的インパクト評価の導入がなされたり、毎回、何らかの改良がなされている。
• 評価には、大学やファンディング・カウンシルに膨大な労力と経費がかかるため、いかに効率よく、公平な評価をするかが重要になってくる。そのため、REF2014 では当初、論文引用回数を利用したインデックス化を大幅に採用しようというアイデアもあったが、人文系を中心に反対意見が続出して取りやめになった経緯がある。
• 英国の大学への公的研究評価の結果は、国費の使い道の透明性を高めるために、HEFCEのウェブに公表される。そのため、各大学は運営費交付金額の決定に大きくかかわる評価結果とともに、結果が詳細に公表されることから社会的評判にも影響するため、その準備に長い時間と労力をつぎこんでいる。
• コストと公平さを兼ね備えた評価方法はまだ完ぺきなものがなく、今後もある程度の試行錯誤がなされるのであろう。以前から言われていることであるが、同じ評価方式を長年続けると、評価を受ける大学側でもいわゆるコツを覚えてしまい、ゲームのようになってしまうとの指摘がある。このため、評価方法は今後も変化し続けるのであろう。
• なお、HEFCEによる評価結果は66ページにわたり、学問分野別、高等教育機関別に公表されているので、更に興味がおありの方は以下のウェブを参照ください。

(参考資料：HEFCE  
http://www.ref.ac.uk/media/ref/content/pub/REF%20Brief%20Guide%202014.pdf
http://www.ref.ac.uk/media/ref/content/pub/REF%2001%202014%20-%20full%20document.pdf)