국가과학위원회(National Science Board, NSB)는 미국 국립과학재단(NSF)이 제안서를 심사하는 기준에 대해 미묘하지만 잠정적으로 중요한 변화를 가져올 두 가지 평가 기준을 만들었다. 이러한 절차상의 변화는 당장은 NSF의 지원을 받기 위해 제안서를 제출하는 연구자들에게 이득이 될 것처럼 보이지만, 사실 연방 정부의 연구비로 얻은 결과를 평가하는 가장 좋은 방법이 무엇인지에 대한 끝없는 논쟁을 불러올 것으로 보인다.
지난달 발표된 NSF 관리자 최근 보고에 따르면, 1997년 도입된 제안서 평가 기준 중 현재 애매하게 해석될 수 있는 ‘사회에 미치는 영향의 광범위성(broader impacts)’에 대한 기준을 보다 명확하게 만들어, 제안서를 쓰는 연구자와 이를 평가하는 심사위원들이 상호 이해할 수 있는 명확한 심사 기준을 제시하겠다는 내용이 있다. 기존 두 개의 제안서 심사 기준 중 위에서 언급한 애매한 두 번째 기준에 대해 지원자와 심사위원 모두가 쉽게 이해할 수 있도록, NSF는 연구 성과에 대한 여덟 가지 예시를 가이드라인으로 제공하고 있다. NSF가 제시한 여덟 가지 예시는 제안서가 얼마나 여성 과학자 또는 기피 분야의 소수 과학자에게 보다 관심을 가지게 할 수 있을지, 학교와 산업이 모두 발전할 수 있는 방향으로 갈 것인지, 등등을 포함하고 있다. 이번에 제시한 여덟 가지 예시는 사실상 ‘광범위한 영향’을 평가하는 항목으로, 즉 NSF가 선호하는 연구 결과에 대한 청사진이라고 할 수 있다.
그러나 국가과학위원회 (NSB)는 상기 예시들이 창조적인 연구자들에게 불필요한 제한을 부과하는 잘못된 가정으로 오해할 수 있다는 점을 우려하고 있다. 대신에, 제안서를 평가할 때 심사위원들은 NSF가 제시하는 첫 번째 기준인 ‘지적 메리트(intellectual merit)’에 대한 평가를 얼마나 잘 반영하는지를 보는 동일한 다섯 가지 기준을 반드시 이용해야 한다고 NSB는 규정하고 있는데, 본 기준에는 아이디어의 중요성, 연구자의 연구 수행 능력 및 자원 활용 능력이 포함된다.
보고서에서 NSB는 연구자들이 보다 자유롭게 연구를 수행할 수 있도록 새로운 용어를 사용하고 있는데, 최종 분석 내용에 따르면 NSF의 제안서 심사 가이드라인에는 ‘지적 메리트’와 ‘광범위한 영향’을 두루 만족시킬 수 있는 중요한 요소가 기준에 포함되어 있다고 NSB는 믿고 있다. NSF가 지원하는 연구 분야와 교육 활동은 매우 폭넓고 다양하기 때문에, NSB는 ‘광범위한 영향’과 관련된 특정한 연구 수행만을 강요할 수 없으며, 따라서 특정 연구 형태를 추천하지 않을 예정이라고 한다. 이런 내용을 포함할 것인지 제외할 것인지는 연구책임자의 결정에 달려있으며, 또한 이런 것을 고려하여 제안서를 평가하는것도 이제 NSF의 몫이다.
NSB가 언급한 두 번째 변화는, 연구 성과를 평가함에 있어 ‘광범위한 영향’을 가지는지를 어떻게 측정할 것인지에 대한 아주 곤란한 항목에 대한 것이다. 현재, 논문 게재 편수는 연구자의 성과가 과학적으로 가치 있는 것인지를 측정하는 기준으로 널리 쓰이고 있으나, 이는 ‘광범위한 영향’을 평가하는 기준으로는 아무 의미가 없어보인다. 어떤 연구자들은 NSF가 이러한 기준을 전혀 사용하지 말아야 한다고 믿는데, 이는 이미 연구 자금을 확보한 연구자들에게 논문 게재는 불필요한 짐처럼 여겨질 것이라고 생각하고 있다. 사실 이들 연구자들은 연구 자금을 받기 위해 제안서 작성에 엄청난 스트레스를 벌써 받았다는 점을 생각하면, 논문 게재 기준은 이중고를 만드는 것이다.
논문이라는 기준이 현재 널리 통용되고 있지만, 이는 심사위원의 평가를 돕는 수단처럼 여겨질 뿐 실제 역할은 모호하다는 비판이 본 국가과학위원회에서 나왔다. 보고서에 따르면 일부 연구 활동의 범위는 아주 작을 수도 있고, 연구 기간이 매우 짧을 수도 있기 때문에, 후배 연구자들의 폭넓은 참여 또는 과학적 발견의 산업화와 같은 사회적 목적에 대해 연구 기금을 받은 연구자들의 결과가 이러한 목적에 얼마나 부합하는지를 판별하기에 논문 게재 편수는 공정하지 않아 보인다. 대신에 전적으로 NSF 프로그램에 의해 지원받았거나 특정 대학에서 공동 지원을 받은 연구자들의 연구 성과 성공 여부를 평가하는 데는 본 방법이 타당하다고 볼 수도 있다.
제한된 범위의 연구를 수행한 경우를 비롯하여 하나의 프로젝트에서 얻어진 결과물의 영향과 유효성을 개별적으로 평가하는 것이 무의미할지도 모른다고 NSB는 보고서에서 강조한다. 그러므로 사회적으로 널리 영향을 미칠 목적을 가지는 연구 테마의 유효성을 평가하는 것은 개별적인 연구보다는 넓은 범위에서 종합적으로 연구가 이루어진 프로젝트를 평가할 때 적용되어야 한다. 이런 면들을 강조하면, 학교 내에서 협력 연구 또는 다수의 연구책임자가 공동으로 수행하는 연구가 바로 NSF가 지원을 해야하는 연구일 것이다. 새롭게 변경된 기준을 시행하는 것은 NSF와 연구계 모두에게 시간이 필요한 일이며, NSF가 새롭게 제안한 연구 자금 제안서 가이드(Grant Proposal Guide)의 차기 버전은 2013년 1월부터 효력을 가지게 될 것으로 기대된다. 그 동안 우리는 광범위한 영향을 평가하는 NSB의 새로운 기준이 무엇인지에 대해 더욱 깊이 생각해야 한다. 과연 이러한 변화는 연구자들에게 좋은 일인지 또한 제안서를 쓰는 사람들과 이를 평가하는 심사위원들에게 어떤 변화를 가져올 것인지에 대해 고민해 볼 필요가 있다.
1.
In the final analysis, NSB believes that the Intellectual Merit and Broader Impacts review criteria together capture the important elements that should guide the evaluation of NSF proposals. Because of the great breadth and diversity of research and education activities that are supported by NSF, the Board has decided not to recommend a specific set of activities related to Broader Impacts, just as it would not recommend particular types of research (emphasis added). Those decisions are best left to the PIs [principal investigators] to describe and to the NSF to evaluate.
2.
NSB notes that assessing the effectiveness and impact of outcomes of these activities one project at a time may not be meaningful, particularly if the size of the activity is limited. Thus, assessing the effectiveness of activities designed to advance broader societal goals may best be done at a higher, more aggregated, level than the individual project. Large, campus-wide activities or aggregated activities of multiple PIs could lend themselves to assessment, which should be supported by NSF.
출처: 경기과학기술진흥원
원본출처: sciencemag.org
기계 / 자동차/ 건설
