[미리안 브리핑]
연구진이 미국내과의학저널(Annals of Internal Medicine), 영국의학저널(BMJ) 등에 제출된 1,000여 건의 논문들을 추적해 본 결과, 이 저널들은 엉성한 논문을 걸러내고 우수한 논문을 출판하는 데 일가견이 있지만 종종 미래의 블루칩(다빈도 피인용 논문)을 탈락시키기도 하는 것으로 밝혀졌다.
이번 연구를 지휘한 캐나다 토론토 대학교의 카일 사일러 교수(사회학)는 "충격적인 것은 피인용지수에서 상위에 링크된 논문 14편이 모두 탈락의 고배를 마신 경력이 있다는 것이다. 심지어 그중 한 편은 두 번이나 연거푸 '물을 먹은` 것으로 밝혀졌다"고 말했다.
사일러 교수가 이끄는 연구진은 UCSF의 데이터베이스에 수록된 논문 원고와 심사보고서를 이용해 `동료심사` 과정을 냉철하게 `심사`해 보기로 했다. 이를 위해 미국내과의학저널과 영국의학저널, 란셋(Lancet)지 등에 제출됐던 1,008편의 원고들을 추적해 본 결과, 심사를 통과한 후 게재된 것은 62편에 불과한 것으로 나타났다. 탈락한 원고들 중 757편은 우여곡절 끝에 결국 다른 저널에 게재됐고, 189편은 완전히 뜯어고쳐지거나 흔적도 없이 사라진 것으로 밝혀졌다.
그리고 심사보고서를 토대로 논문에 대한 점수를 매겨 논문의 피인용지수와 비교해 본 결과, 심사자들로부터 높은 평가를 받은 논문일수록 나중에 피인용지수가 높게 나오는 것으로 나타났다. 이에 연구진은 "전반적으로, 탑저널의 동료심사자들은 게이트키퍼(gatekeeper)의 역할을 충실하게 수행했다"고 결론지었다.
여기까지는 좋았다. 하지만 그 다음이 문제였다. 좀 더 자세히 분석해 본 결과, 772편의 원고들은 편집진에 의해 기각되어 동료심사 문턱에도 가지 못한 것으로 밝혀졌다. 더욱 놀라운 것은 다빈도피인용논문에 등극한 15편 중에서 12편이 이런 운명을 맞았다는 것이다.
이에 대해 사일러 교수는 "기존의 탑저널들이 혁신적인 연구를 수용하지 못하는 것은 아닌가"라는 의문을 제기했다. 그는 "동료심사에 주어진 시간과 자원을 감안할 때 탑저널들은 제출된 원고 중에서 소수의 원고만을 채택함으로써 위험기피적(risk averse) 성향을 띠게 될 가능성이 높다"고 진단했다.
하버드 대학교의 미셸 레이몽 교수(사회학)는 "편집자들이 심사자들에 대한 사전정보를 갖고 있는 것은 사실이지만, 창의적인 심사자를 판단할 능력을 갖고 있다고는 볼 수 없다. 그러다 보니 현재의 상황 하에서는 특정한 성향의(기존의 틀을 벗어나지 않는) 원고가 채택될 가능성이 높다"고 논평했다. 레이몽 교수는 '교수들은 어떻게 생각하는가?(ow Professors Think?)'라는 저서에서 학자들이 다른 학자들의 저술을 평가하는 방식을 자세히 논한 바 있다.
이상과 같은 지적에 대해 영국의학저널(BMJ)의 피오나 고들리 편집장은 "획기적인 논문이 편집진에 의해 기각된 것을 반드시 `편집진의 실수`로 볼 수는 없다. 예컨대, 아무리 뛰어난 생명공학 관련 논문이라도 우리의 초점(임상적 함의)에서 벗어날 경우 기각될 수 있다"고 항변했다.
그는 "우리는 의사결정 과정에서 `독자에의 적합성(relevance to readers)을 중시한다. 단지 피인용지수만을 근거로 한 논문 평가는 지양해야 한다"고 덧붙였다.
연구진도 `피인용지수를 근거로 논문의 질을 평가하는 것은 문제가 있다`는 점을 인정한다. 최근 네이처(Nature)의 조사에서도 세계에서 가장 많이 인용되는 논문은 `패러다임을 바꾼 혁신적 논문`이 아니라 `널리 사용되는 방법론에 관한 논문`인 것으로 드러났기 때문이다.
캐나다 몬트리올 대학교의 다니엘 파넬리 교수(진화생물학)는 논문의 질 평가를 위해 새로운 방식의 동료평가를 제안하며 심지어 `재현 및 임상적용 여부`를 논문평가의 기준을 삼아야 한다고 주장했다. 유감스럽게도 이런 방식은 엄청난 시간과 노력을 필요로 한다는 것이 문제다.
하버드 대학교의 미셸 레이몽 교수 "많은 사람들은 동료심사가 약점 투성이라고 생각하고 있다. 그러나 현재로서, 동료심사는 우리 생활의 일부가 되어 있다. 그것은 완벽하지 않지만 우리가 가질 수 있는 최선의 제도"라고 말했다.<원문 바로가기>
[알립니다] 이 기사는 한국과학기술정보연구원(KISTI)이 운영하는 미래기술정보 포털 미리안(http://mirian.kisti.re.kr)에 게재된 글을 전재한 것입니다. 본지는 KISTI와 미리안 홈페이지 내 GTB(Global Trends Briefing 글로벌동향브리핑) 컨텐츠 이용에 관한 계약을 맺었습니다.