- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
심사자 자동추천시스템은 심사 대상에 대한 포괄성, 전문성, 공정성, 타당성을 확보할 수 있도록 설계되어야 한다. 이를 위해 본 연구는 다면적인 학문분야분류표의 각 범주 간 연관성을 자동으로 산출할 수 있는 확률적 온톨로지를 적용하여 포괄적으로 심사자 추천 범위를 넓히고 전문성을 반영한 심사자 랭킹을 가능하도록 한다. 또한 연구자 간의 멘터, 공저역, 공동연구를 포함하는 연구자 네트워크를 구축하고 이를 심사자 배제 규칙으로 활용함으로써 공정한 심사자 추천이 이루어질 수 있도록 한다. 아울러, 전문가들을 통해 상기 방법론과 패널 결과를 검증 받아 타당성 있는 시스템이 갖추어야 할 방향을 제시한다.
Abstract
Automatic Recommendation System of Panel pool should be designed to support universal, expertness, fairness, and reasonableness in the process of review of proposals. In this research, we apply the theory of probabilistic ontology to measure relatedness between terms in the classification of academic domain, enlarge the number of review candidates , and rank recommendable reviewers according to their expertness. In addition, we construct a researcher network connecting among researchers according to their various relationships like mentor, coauthor, and cooperative research. We use the researcher network to exclude inappropriate reviewers and support fairness of reviewer recommendation process. Our methodology recommending proper reviewers is verified from experts in the field of proposal examination. It propose the proper method for developing a resonable reviewer recommendation system.
초록
연구성과평가와 연구비 배분에 인용분석을 포함한 계량정보학적 분석방법이 많이 사용되고 있으며, 부적절한 적용 및 해석에 대한 우려와 지적 또한 계속되고 있다. 이에 따라 최근 연구성과평가 지침과 권고안이 학술 커뮤니티와 계량서지학적 연구집단에서 연이어 발표되고 있다. 따라서 이 연구에서는 2015년 발표된 라이덴 선언(Leiden Manifesto)을 중심으로 Thomson Reuters 백서, 프랑스 과학원 권고안, DORA 선언, IEEE 권고안을 비교하고 이를 통해 국내 연구성과평가 환경에의 제안 가능성을 살펴보고자 하였다. 비교분석 결과, 다수의 권고안은 연구의 목적과 연구 주제분야별 특성을 반영하고 다양한 지표를 활용한 다면적 평가를 통해 총체적인 평가를 지향하고 있는 것으로 나타났다. 이러한 결과는 국내 연구성과평가시스템 적용에서 고려해 볼 주요 권고안이라고 할 수 있으며, 추후 이에 대한 이해관계자들의 의견 수렴 등을 통하여 국내 연구성과시스템에의 적용가능성을 보다 심층적으로 살펴볼 필요가 있을 것이다.
Abstract
Inappropriate applications of bibliometric approach and misinterpretation on the analysis in research evaluation have been found and recognized nationally and internationally as the use of the approach has been rapidly adopted in various sectors in research evaluation systems and research funding agencies. The flood of misuse led to several numbers of declarations and statements on appropriate research evaluation, including Leiden Manifesto, DORA, IEEE Statement, etc. The similar recommendations from five different declarations, Leiden Manifest, IEEE Statement, DORA, Institut de France, and Thomson Reuters White paper were reviewed and meta-analyzed in this study and it is revealed that most of them emphasize evaluation on quality in various aspects with multiple indicators. Research evaluation with assessing multiple aspects of individual research based on the understandings of its purpose and pertinent subject area was revealed as being mostly advised in the declarations, and this recommendation can be regarded as being mostly requested in national research evaluation system. For future study, interviews with relevant stakeholders of national research evaluation system in order to explore its application are needed to confirm the findings of this review.
초록
Hirsch(2005)가 제안한 h-지수는 인용을 통해서 개인의 연구 성과를 측정하려는 시도이다. h-지수는 용이한 산출 방법과 함께 지수의 강건성 등이 인정되면서 발표 이후 다양한 분야에서 이를 적용하거나 보완하는 연구가 활발히 이루어지고 있다. 이 연구에서는 우선 h-지수와 이를 보완한 g-지수를 비롯한 변형 지수에 대해서 현재까지 전개되고 있는 논의를 살펴보았다. 그리고 h-지수와 g-지수의 단점을 보완할 수 있는 개량 지수를 몇 가지 제안하고 가상 자료와 실제 자료에 대해서 측정해보았다. 측정 결과 제안한 지수들이 h-지수와 g-지수를 대체할 가능성이 있음을 확인하였다.
Abstract
The h-index, also called as Hirsch-index, is a new tool for measuring research outputs by citations. This h-index is not only easy to calculate, but also robust enough to handle various citation data. After its suggestion by Hirsch in 2005, many researchers applied the h-index to their own areas, and some others tried to improve the weak points of the h-index such as low discriminating power. Firstly, several of these efforts are reviewed in the present article, and then novel indexes are suggested to measure research outputs by citations more fairly and reasonably. Calculating these indexes on both artificial data and real data showed that the newly suggested indexes in this article can replace the h-index and its variants.
초록
최근 한국연구재단에서는 학술지평가에 KCI 인용지수를 반영하려는 계획을 발표하였다. 원칙적으로 학술지 평가는 다양한 지표를 통해서 개별 학술지의 상황과 특성을 최대한 반영할 수 있어야 한다. 이 연구에서는 예고된 학술지 인용지수 평가방안을 검토하여 세 가지 개선안을 제안하였다. 첫 번째 개선안은 인용지수로 5년 IF를 추가로 고려하는 것이고, 두 번째 개선안은 순위를 산출하는 범주 수준을 융통성 있게 선택하게 허용하는 것이며, 세 번째 개선안은 두 방법을 함께 적용하는 것이다. 이 연구에서 제안한 개선안은 KCI 학술지 평가의 부작용을 최소화하는데 기여할 것으로 기대된다.
Abstract
Recently, the National Research Foundation of Korea (NRF) announced new plan to reflect the KCI citation measures in journal evaluation. In principle, Journal evaluation should reflect each journals situation and characteristics through various indicators. In this study, three improvement plans were proposed by reviewing the announced journal evaluation plan of NRF. The first improvement is to consider the five-year IF as an additional citation measure; the second improvement is to allow flexible selection of the category level on which to rank journals; and the last improvement is to combine the previous two methods and apply them together. The improvement methods proposed in this study are expected to contribute to minimizing side effects of KCI journal evaluation.
초록
본 논문은 국내 인문사회과학 학술지의 오픈액세스 전환 방안을 모색하기 위하여 최근 해외에서 전개되고 있는 오픈액세스 학술지 전환 사례를 분석하였다. 연구자가 주도한 Ling OA와 UP, 도서관이 주도한 OLH와 KU, 출판사가 주도한 S2O모델, 기금기관과 도서관이 협력하는 L+F모델 사례를 분석하고 국가지원 사업 사례로서 노르웨이 연구위원회와 교육연구부, 캐나다 인문사회과학연구위원회, 오스트리아 과학재단, 스위스 인문사회과학 아카데미의 프로그램을 분석하였다. 분석결과를 기반으로 국내 인문사회과학 학술지의 오픈액세스 전환을 위하여 다음을 제안하였다. 1) 오픈액세스 출판전환 지원이 국가적인 차원에서 진행되어야 하며, 2) 국가, 대학, 도서관, 학회 등 학술커뮤니케이션 모든 주체가 참여하되 오픈액세스 출판비용 부담의 핵심주체는 연구기금지원기관과 도서관이어야 하며, 3) 초기 단계에서는 국가차원의 비용지원이 이루어져야하며, 4) 오픈액세스 학술지 구독을 위한 대학도서관 협의체 및 국가정보서비스 기관들이 참여하는 컨소시엄이 구성되어야 하며, 5) 비영리 출판유통 플랫폼이 개발 및 보급되어야 한다.
Abstract
This study analyzed recent cases of transition to open access(OA) journals in humanities and social sciences(HSS) in foreign countries to find a way to transition to OA journals in Korea. Ling OA and UP led by researchers, OLH and KU led by libraries, S2O led by publishers and L+F model led by funders and libraries were analyzed. Programs by national funding agencies such as the Norwegian Research Council, Canada Social Sciences and Humanities Research Council, Austrian Science Fund, and Swiss Academy of Humanities and Social Sciences were also reviewed. Based on the results of the analyses, this study suggests for transition in Korean HSS field as follows; 1) transitions to open access journals in HSS should be supported at national level 2) the stakeholder in scholarly communications such as the nation, universities, libraries, research funders, scholarly societies etc has their own role in the transition but funders and libraries are the most important in financial support for open access publishing 3) but the financial support for the first stage of the transition should be done at national level 4) and open access journal publishing consortium comprised of libraries and information service institutions in the public sector such as KERIS, KISTI and the national library should be established 5) non commercial publishing platforms for scholarly societies should be developed and distributed.
초록
전 학문 분야를 포괄하는 광역 과학 지도는 학문 분야 사이의 구조적인 관계를 시각적으로 분석하는데 사용되고 있다. 이 연구에서는 광역 과학 지도에 대한 선행 연구를 개관한 후 새로운 방법으로 국내의 학술 활동을 반영하는 광역 과학 지도를 생성하였다. 광역 과학 지도에 대한 연구는 ISI사(현재 Thomson Scientific)의 Garfield와 Small에 의해서 촉발되었고 최근에는 스페인 그라나다 대학의 SCImago 연구팀과 미국 인디애나 대학의 Brner 교수팀이 활발히 연구 결과를 발표하고 있다. 이들은 자신들이 만들어 발표하고 있는 지도를 과학 지도 또는 사이언토그램이라고 부르며, 이에 관련된 활동을 과학지도학(scientography)이라고 하였다. 기존의 광역 과학 지도는 대부분 학술 논문 사이의 인용 분석에 근거하여 제작되었으나, 국내 학술 논문에 대한 인용 데이터베이스는 아직 미비한 상태이다. 따라서 이 연구에서는 국내의 광역 과학 지도를 만들기 위해서 학술진흥재단에 신청된 과제 제안서의 텍스트를 활용하였다. 학문 분야 사이의 연결 정보를 네트워크로 표현하는 수단으로 널리 사용되고 있는 패스파인더 네트워크(PFNet) 알고리즘으로 광역 과학 지도를 생성한 후, 이의 대안으로 개발된 클러스터링 기반 네트워크(CBNet) 알고리즘으로 다시 지도를 생성하였다. 최종적으로 두 지도에 나타난 상반된 관점을 통합하도록 CBNet 지도를 수정하여 국내 광역 과학 지도를 제시하였다.
Abstract
Global map of science, which is visualizing large scientific domains, can be used to visually analyze the structural relationships between major areas of science. This paper reviewed previous efforts on global science map, and then tried to making a science map of Korea with some new methods. There are several research groups on making global map of science including Dr. Small and Dr. Garfield of ISI (now Thompson Scientific), SCImago research group at the University of Granada, and Dr. Brner's InfoVis Lab at the Indiana University. They called their maps as science map or scientogram and called the activity of mapping science as scientography. Most of the previous works are based on citations between scientific articles. However citation database for Korean journal articles is still under construction. This research tried to make a Korean science map with the text in the proposals suggested for funding from Korean Research Foundation. Two kinds of method for generating networks of scientific fields are used. One is Pathfinder network (PFNet) alogorithm which has been used in several published bibliometric studies. The other is clustering-based network (CBnet) algorithm which was proposed recently as an alternative to PFNet. In order to take into account both views of the two algorithms, the resulting maps are combined to a final science map of Korea.