캠페인
이종욱(경북대학교 문헌정보학과 부교수)
SCROLL DOWN
경북대학교 문헌정보학과 부교수
플로리다주립대학교 대학원 정보학 박사
연구업적 평가는 연구의 양(quantity)과 질(quality)을 중심으로 이루어진다. 정량 중심의 평가는 연구실적물의 건수를 기준으로 평가하는 것이고, 정성 중심의 평가는 전문가가 연구의 가치와 학문적 및 사회적 영향력을 종합적으로 평가하는 것이다. 국내 대다수 대학은 정량 중심의 평가를 실시하며, 일부 연구 중심 대학에서는 전문가 평가(peer review)를 주요 방식으로 하는 정성 중심의 평가를 시행하고 있다.
전문가에 의한 연구 평가는 전통적으로 널리 사용되어 온 방법이다. 대부분의 학술지는 2~3명의 전문가 평가 결과를 종합하여 출판 여부를 결정하며, 연구비 제안서 검토나 연구 관련 수상자 선정에도 전문가 평가가 핵심 요소이다. 그러나 전문가 평가는 편향성(bias) 문제를 가지고 있다.1) 여러 해외 연구에서는 평가 기준이 일관되게 적용되지 않거나, 심사 과정이 저자나 심사자의 특성(예: 성별, 학문 분야, 국적, 언어)에 영향을 받을 수 있음을 지적하고 있다. 반면, 전문가 평가의 사회적 특징이 연구의 품질을 향상시키는 데 도움이 된다는 시각도 있다.
전문가 평가의 편향성을 보완하기 위해 많은 국가에서는 연구의 질적 평가에 논문 간의 인용 관계 즉, 피인용(citation)에 기반한 계량서지지표(bibliometric indicators)를 활용한다. 피인용 기반 지표 개발은 1955년 유진 가필드(Eugene Garfield)에 의해 제안되었고, 이를 바탕으로 1961년 Science Citation Index(SCI), 1973년 Social Science Citation Index(SSCI)가 출판되었다.2) 이러한 인용색인은 Web of Science나 Scopus와 같은 온라인 데이터베이스로 발전하면서 계량서지지표의 개발과 적용이 용이해졌다.
Lee, C. J., Sugimoto, C. R., Zhang, G., & Cronin, B. (2013). Bias in peer review. Journal of the American Society for Information Science and Technology, 64(1), 2-17.
Garfield, E. (2005). The agony and the ecstasy― The history and meaning of the journal impact factor. International Congress on Peer Review and Biomedical Publication, Chicago, September 16, 2005.
피인용 기반 지표를 지지하는 입장에서는 피인용횟수가 다른 성과지표(예: 수상, 노벨상, 연구비 수주)나 전문가 평가 결과와 상관성이 있으므로 객관적이고 효율적이라고 본다. 그러나 피인용횟수에는 여러 요인(예: 시간, 학문 분야, 저자/독자, 논문의 이용가능성, 기술적 문제)이 영향을 미치므로 이에 대한 우려도 존재한다. 피인용횟수를 연구 영향력 지표로 활용하려면 특정 논문을 인용하는 이유가 해당 논문의 품질이나 중요성을 반영해야 한다. 해외 연구3)4) 에 따르면 인용이라는 행위에는 학문적 동기 외에도 사회적 관계나 개인의 이익을 위한 전략적 동기도 존재한다. 따라서 피인용횟수가 연구의 학문적 영향력을 부분적으로 제시할 수는 있지만, 이를 맹목적으로 적용하는 데에는 주의가 필요하다.
피인용 기반 계량서지지표는 학술지, 논문, 연구자 수준에서 기존 지표의 한계점을 보완하며 꾸준히 개발되고 있다.5) 가장 잘 알려진 학술지 지표로 최근 2년간 학술지에 수록된 논문의 평균 피인용횟수를 반영하는 Clarivate의 학술지 영향력 지수(JIF: Journal Impact Factor)이다. 그러나 JIF는 모든 인용을 동일하게 취급하고, 변동성이 크며, 학문 분야에 따라 차이가 크고, 자기 인용을 포함하는 등의 문제점을 지니고 있다. 이러한 문제점을 보완하기 위해 자기 인용을 제외하고 인용의 가중치를 달리하는 아이겐팩터(Eigenfactor)와 다양한 학문 분야의 인용 행태를 고려하는 SJR(SCimago Journal Ranking), SNIP(Source Normalized Impact per Paper) 등이 개발되어 활용되고 있다. 논문 지표로는 FWCI(Field-Weighted Citation Impact), RCR(Relative Ciation Ratio), AI(Article Influence) Score 등이 있으며, 연구자 지표로는 h-index, g-index 등이 주로 활용되고 있다.
국내 주요 대학의 연구업적 평가 규정을 살펴보면,6) 모든 학문 분야에서 중요하게 고려되는 업적물의 유형은 학술지 논문, 학술대회 발표, 저서 이다. 특히 학술지 논문은 게재된 학술지의 종류와 유형에 따라 다른 점수가 부여되어 정성적 측면을 일부분 고려하고 있다. 예를 들어, SCIE/SSCI 등재 학술지 논문은 KCI 등재 학술지 논문보다 3.4~3.8배 높은 점수를 부여받는다. 또한 JIF 구간(예: 상위 1% 이내, 10% 이내)에 따른 가중치를 적용하거나 문서 유형(예: letter, editorial, note)에 따라 배점을 차등 적용하는 방식으로 정성적 요소를 추가적으로 고려하기도 한다.
국내 많은 대학에서는 연구의 질적 측면을 JIF를 중심으로 평가하고 있다. 연구자의 연구 활동은 이러한 평가 체계에 직접적인 영향을 받으므로, JIF 중심 평가는 연구자가 JIF가 높은 학술지에 논문을 출판하는 데 집중하게 만든다. 한 연구자는 이러한 현상을 “출판하는 연구의 내용에 관심을 가지기보다 논문이 출판된 학술지가 무엇인지에 관심을 가진다”고 표현했다.
이에 따라 이를 상업적으로 활용하는 학술지가 등장하게 되었고, 이러한 학술지에 논문을 출판하는 행위를 방지하려는 노력이 이루어지고 있다.
Lutz, B., & Daniel, H.-D. (2008). What do citation counts measure? A review of studies on citing behavior. Journal of Documentation, 64(1), 45-80.
Lyu, D., Ruan, X., Xie, J., & Cheng, Y. (2021). The classification of citing motivations: a meta-synthesis Scientometrics, 126, 3243-3264.
이종욱, 김수정 (2022). 정보학의 이해. 서울: 청람
노영희, 강지혜, 이종욱, 김용환 (2022). 학술활동 건전성 제고를 위한 업적평가 개선방향에 관한 연구. 대전: 한국연구재단.
학술활동의 건전성을 높이기 위해 대학의 연구 업적평가에서 정성 중심의 평가가 필요하다는 의견이 많다. 우리나라의 일부 연구 중심 대학은 전문가 평가와 추천서를 중시하는 정성 중심 평가를 시행하고 있지만, 대부분의 대학에서는 이를 도입하기 어려운 여건에 있다. 연구자 수가 적고, 객관성과 공정성 확보가 쉽지 않으며, 정성 중심의 평가를 지원할 인력과 예산, 시간이 부족하기 때문이다. 따라서 많은 대학은 학술지 유형으로 연구 실적을 평가하는 체계를 유지하고 있으며, 이를 전문가 중심의 평가로 전환하는 것은 현실적인 어려움이 있다.
결론적으로 모든 대학이 정성 중심의 평가를 시행하는 것은 현실적이지 않다. 대신 정량 중심 평가를 채택한 대학은 다양한 계량서지지표를 활용하거나 위원회의 기능을 강화하여 정성적 요소를 보강해야 한다. 반면, 정성 중심 평가를 시행하는 대학은 정량적 지표도 참고하여 공정성을 확보하는 방향으로 나아가야 한다. 즉, 정량 평가에서는 정성적 지표 활용을 확대하고, 정성 평가에서는 정량적 측면을 고려하는 형식이 필요하다.
2015년에 발표된 라이덴 선언(The Leiden Manifesto)7) 은 연구평가 지표의 방향성을 10가지 원칙으로 제시한다.
이 10가지 원칙과 앞서 서술한 내용을 바탕으로 국내 대학 연구업적 평가 방향을 좀 더 구체적으로 제언하면 다음과 같다. 먼저 대학은 각자의 목표와 특성을 반영한 연구업적 평가 체계를 갖추어야 하며, 현재의 평가 체계의 약점을 보완해야 한다. 이미 정성 중심의 평가를 시행하고 있다면 계량화된 지표를 참고하여 편향성을 보완해야 한다. 정량 중심의 평가 체계를 채택한 대학에서는 평가 범위를 학술지 논문, 학술대회 논문, 저서 외에도 연구비, 특허, 사회적 영향력 등으로 확대해야 한다.
원본: Hicks, D., Wouters, P., Waltman, L., Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden manifesto for research metrics. Nature, 520, 429-431.
번역본: http://www.leidenmanifesto.org/uploads/4/1/6/0/41603901/leidenmanifesto_kor.pdf
또한 연구자 경력, 연구 분야, 자기 인용, 공동 저자 등 다양한 요소를 고려해야 한다. 이를 위해 JIF에 국한되지 않는 다양한 학술지, 논문, 연구자 지표를 활용할 필요가 있다. JIF와 같은 단일 지표를 활용하면 JIF가 높은 학술지에 논문을 출판하는 것이 연구의 목적이 될 수 있다. 나아가 ‘피인용’이라는 개념의 모호성을 고려하여 피인용 기반 지표를 세밀하게 구분하여 적용하기보다는 이러한 모호성을 수용할 수 있는 평가 방식을 적용하고, 양질의 연구 성과를 발굴하고 보상하는 다층적 보상 체계를 구축해야 할 것이다.
제 1조 (개인정보 수집의 목적)
한국연구재단은 개인정보를 다음의 목적을 위해 처리합니다. 처리한 개인정보는 다음의 목적 이외의 용도로는 사용되지 않으며, 이용목적이 변경되는 경우에는 개인정보보호법 제18조에 따라 별도의 동의를 받는 등 필요한 조치를 이행할 예정입니다.
제 2조 (개인정보 처리 및 보유기간)
한국연구재단은 법령에서 따른 개인정보 보유·이용기간 또는 정보주체로부터 개인정보를 수집 시에 동의 받은 개인정보 보유·이용기간 내에서 개인정보를 처리·보유합니다.
각각의 개인정보 처리 및 보유 기간은 다음과 같습니다.
제 3조 (개인정보파일의 등록 및 공개)
"한국연구재단"은 「개인정보보호법」제32조에 따라 개인정보의 항목이 수록된 개인정보 파일을 개인정보보호위원회(이하 ‘보호위원회’)에 등록하고 있습니다.
보유한 개인정보 파일은 보호위원회 개인정보보호 종합포털(https://www.privacy.go.kr) → 민원마당 → 개인정보 열람 등 요구 → 개인정보파일 목록 검색에서 기관명에 ‘한국연구재단’ 입력 후 조회하실 수 있습니다.
제 4조 (개인정보의 제3자 제공)
한국연구재단은 원칙적으로 제1조(개인정보의 처리 목적)에서 명시한 범위 내에서만 이용자의 개인정보를 처리하며, 이용자의 사전 동의 없이는 본래의 범위를 초과하여 처리하거나 제3자에게 제공하지 않습니다. 단, 다음의 경우에는 정보주체의 동의 없이 개인정보를 처리할 수 있습니다.
한국연구재단은 다음과 같이 개인정보를 제3자에게 제공하고 있습니다.
연구자 회원은 자신의 정보에 대해 제3자 제공 동의를 거부할 수 있고, 거부하더라도 아무런 불이익이 없습니다.
웹진 및 e-알리미 구독 신청은 개인정보 제3자 제공에 해당되는 사항이 없습니다.
제 5조 (개인정보처리의 위탁에 관한 사항)
한국연구재단은 원활한 개인정보 업무처리를 위하여 다음과 같이 개인정보 처리업무를 위탁하고 있습니다.
한국연구재단은 위탁계약 체결 시 개인정보보호 관련 법규의 준수, 개인정보에 관한 3자 제공 금지 및 책임부담 등을 명확히 규정하여 계약내용을 보관하고 있으며, 업체 변경 시 공지사항 및 개인정보 처리방침을 통해 고지하겠습니다.
· 한국연구재단은 원활한 개인정보 업무처리를 위하여 다음과 같이 개인정보 처리업무를 위탁하고 있습니다.
· 한국연구재단 웹진 및 e-알리미 시스템 운영
- 수탁자 : (주)차이
- 위탁업무내용 : 웹진 및 e-알리미 시스템 운영 및 유지보수
- 한국연구재단은 위탁계약 체결 시 개인정보보호 관련 법규의 준수, 개인정보에 관한 3자 제공 금지 및 책임부담 등을 명확히 규정하여 계약내용을 보관하고 있으며, 업체 변경 시 공지사항 및 개인정보 처리방침을 통해 고지하겠습니다.
제 6조 (처리하는 개인정보의 항목)
수집하는 개인정보의 항목
웹진 구독 및 관리
개인정보 수집방법
제 7조 (개인정보의 파기에 관한 사항)
개인정보 파기의 절차 및 기한, 파기방법은 다음과 같습니다.
파기절차
파기기한
파기방법
제 8조 (정보주체의 권리·의무 및 그 행사방법에 관한 사항)
정보주체는 한국연구재단에 대해 언제든지 다음 각 호의 개인정보보호 관련 권리를 행사할 수 있습니다.
개인정보 열람요구
오류 등이 있을 경우 정정 요구
삭제요구
처리정지 요구
일반회원의 제1항에 따른 권리 행사는, 홈페이지의 정보수정 기능을 이용하여 언제든지 처리하실 수 있습니다. 또는, 한국연구재단에 대해 개인정보 보호법 시행규칙 별지 제8호 서식에 따라 서면, 전자우편, 모사전송(FAX) 등을 통하여 하실 수 있으며 한국연구재단은 이에 대해 지체 없이 조치하겠습니다. 회원탈퇴시, 과거에 작성한 홈페이지 게시물 등에 연락처 등 개인정보가 남아 있을 수 있습니다. 회원탈퇴 후에는 기존 게시물의 수정, 삭제는 시스템 관리자만 가능하므로, 기존 게시물의 수정, 삭제 요청은 아래 기재한 개인정보보호 담당자에게 연락하시기 바랍니다.
연구자회원의 제1항에 따른 권리 행사는, 한국연구자정보(KRI)를 이용하여 열람하거나 직접 정정, 삭제 할 수 있습니다. 단, 회원탈퇴를 비롯한 모든 정보의 삭제는 과거 R&D 수행이력 등을 고려하여 삭제가 불가능 할 수도 있으므로, 전화나 이메일을 통해 회원탈퇴 신청을 하시면 정보의 삭제가능 여부를 검토한 후 후속절차를 안내해 드립니다.
한국연구자정보(KRI)에서 정보를 변경하는 방법은 한국연구자정보(KRI) 사업 안내를 참조하십시오.
정보주체가 개인정보의 오류 등에 대한 정정 또는 삭제를 요구한 경우에는 한국연구재단은 정정 또는 삭제를 완료할 때까지 당해 개인정보를 이용하거나 제공하지 않습니다.
제1항에 따른 권리 행사는 정보주체의 법정대리인이나 위임을 받은 자 등 대리인을 통하여 하실 수 있습니다. 이 경우 개인정보 보호법 시행규칙 별지 제11호 서식에 따른 위임장을 제출하셔야 합니다.
한국연구재단이 업무 수행 중 생성하여 보유·관리하는 정보의 열람을 원할 경우 정보공개시스템(www.open.go.kr)을 통해 원문을 조회하거나, 한국연구재단에 정보공개를 청구하실 수 있습니다.
제 9조 (개인정보 보호책임자 및 담당자)
한국연구재단은 개인정보를 보호하고, 개인정보 관련 불만을 처리하기 위하여 아래와 같이 개인정보 보호책임자 및 보호담당자를 지정하고 있습니다.
개인정보 보호책임자
개인정보 보호담당부서
정보주체께서는 한국연구재단의 서비스(또는 사업)를 이용하시면서 발생한 모든 개인정보 보호 관련 문의, 불만처리, 피해구제 등에 관한 사항을 개인정보 보호책임자 및 담당부서로 문의하실 수 있습니다. 한국연구재단은 정보주체의 문의에 대해 지체 없이 답변 및 처리해드릴 것입니다.
제 10조 (개인정보의 안전성 확보조치에 관한 사항)
한국연구재단은 개인정보보호법 제29조에 따라 다음과 같이 안전성 확보에 필요한 기술적/관리적 및 물리적 조치를 하고 있습니다.
개인정보 취급 직원의 최소화 및 교육
정기적인 자체 감사 실시
내부관리계획의 수립 및 시행
개인정보의 암호화
해킹 등에 대비한 기술적 대책
개인정보에 대한 접근 제한
접속기록의 보관 및 위변조 방지
문서보안을 위한 잠금장치 사용
비인가자에 대한 출입 통제
제11조 (개인정보 자동 수집 장치의 설치·운영 및 거부에 관한 사항)
자동으로 수집, 저장되는 정보
한국연구재단 홈페이지 이용과정에서 IP Address, 쿠키, 방문 시 거친 웹사이트 주소, 방문기록, 브라우저 종류 및 OS 등을 자동 수집·저장될 수 있습니다. 거부 시, 서비스 이용에 제한이 있을 수 있습니다.
자동 수집·저장되는 정보는 이용자에게 나은 서비스를 제공하고, 홈페이지의 개선과 보완을 위한 통계분석, 이용자와 웹사이트 간의 원활한 의사소통 등을 위해 이용될 것입니다.
쿠키의 설치/운영 및 거부
이용자는 쿠키 설치에 대한 선택권을 가지고 있습니다. 따라서 이용자는 웹브라우저에서 옵션을 설정함으로써 모든 쿠키를 허용하거나, 쿠키가 저장될 때마다 확인을 거치거나, 아니면 모든 쿠키의 저장을 거부할 수도 있습니다. 다만, 쿠키의 저장을 거부할 경우에는 로그인이 필요한 일부 서비스는 이용에 어려움이 있을 수 있습니다.
제12조 (개인정보 열람청구)
정보주체는 개인정보 보호법 제35조에 따른 개인정보의 열람 청구를 아래의 부서에 할 수 있습니다. 한국연구재단은 정보주체의 개인정보 열람청구가 신속하게 처리되도록 노력하겠습니다.
개인정보 열람청구 접수·처리
정보주체는 제1항의 열람청구 접수·처리부서 이외에, 개인정보보호 포털 웹사이트를 통하여서도 개인정보 열람청구를 하실 수 있습니다. 보호위원회 개인정보보호 포털(https://www.privacy.go.kr) → 민원마당 → 개인정보 열람등요구 신청 → 열람요구 신청에서 열람등요구 신청을 하실 수 있습니다.
제13조 (권익침해 구제방법)
정보주체는 아래의 기관에 대해 개인정보 침해에 대한 피해구제, 상담 등을 문의하실 수 있습니다.
아래의 기관은 한국연구재단과는 별개의 기관으로서, 한국연구재단의 자체적인 개인정보 불만처리, 피해구제 결과에 만족하지 못하시거나 보다 자세한 도움이 필요하시면 문의하여 주시기 바랍니다.
개인정보분쟁조정위원회
개인정보침해 신고센터
대검찰청 사이버수사과
경찰청 사이버안전지킴이
제14조 (개인정보 처리방침의 변경에 관한 사항)
이 개인정보 처리방침은 게시일로부터 적용됩니다.
개인정보 처리방침 버전번호: v4.7
개인정보 처리방침 변경일자: 2023-07-11
관련 법률 : 개인정보보호법 제 22조(개인정보의 수집·이용 동의 등)