초록

Abstract

Since information scientists have begun trying to quantify significant research trends in scientific publications, ‘-metrics’ research such as ‘bibliometrics’, ‘scientometrics’, ‘informetrics’, ‘webometrics’, and ‘citation analysis’ have been identified as crucial areas of information science. To illustrate the dynamic research activities in these areas, this study investigated the major contributors of ‘-metrics’ research for the last decade at three levels: nations, institutions, and documents. ‘-metrics’ literature of this study was obtained from the Science Citation Index for the years 2001-2011. In this analysis, we used Pathfinder network, PNNC algorithm, PageRank and several indicators based on h-index. In terms of international collaborations, USA and England were identified as major countries. At the institutional level, Katholieke University, Leuven and the University of Amsterdam in Europe and Indiana University and the Office of Naval Research in the USA have led co-research projects in informetrics areas. At the document level, Hirsch’s h-index paper and Ingwersen’s web impact factor paper were identified as the most influential work by two methods: PageRank and single paper h-index.

초록

연구자 성과 평가를 위해 널리 사용되는 h-지수는 일관성 부족 문제와 공저자 수를 고려하지 않는다는 문제를 가지고 있다. 이를 극복하기 위해 h-지수와 g-지수, 그리고 공저 보정 방안을 검토하고 2004년부터 2013년 사이의 실제 KCI 데이터를 대상으로 분석해본 결과는 다음과 같다. 첫째, 일관성 결여 문제를 해소하기 위해서는 g-지수를 사용하는 것이 더 바람직하다고 판단된다. 둘째, 연구 성과의 양적인 측면과 질적인 측면을 한꺼번에 반영하는 복합 지수라는 h-지수와 g-지수의 고유한 특성을 유지하기 위해서는 반드시 공저를 보정하여 지수를 측정해야 한다. 셋째, 공저자 수로 나눈 인용빈도를 사용하는 hC-지수와 gC-지수를 적용하면 단독 저술 비중이 높은 인문학 분야 연구자도 공정하게 평가할 수 있고, 특정 분야나 특정 기관에 속한 연구자가 상위 순위를 과점하는 현상을 방지할 수 있다.

Abstract

The h-index is a popular bibliometric indicator for evaluating individual researchers. However, it has been criticized for its inconsistency with reflecting increased number of citations and disregarding the number of co-authors in a paper. In order to overcome these problems, we examined the g-index and other Hirsch-type indices considering the number of co-authors. Test data collection was extracted from Korean Citation Index database published from 2004 to 2013. The results of this study are as follows: First, g-index is more reliable indicator than h-index with consistency. Second, number of co-authors must be considered to maintain the h-index as an complex indicator applying the quality and the quantity of research performance. Finally, hc-index and gc-index, with fractionalised counting of the papers, can fairly measure the research performance of humanities researchers, and successfully prevent specific disciplines or institutions occupying majority of top rankings.

초록

연구성과평가와 연구비 배분에 인용분석을 포함한 계량정보학적 분석방법이 많이 사용되고 있으며, 부적절한 적용 및 해석에 대한 우려와 지적 또한 계속되고 있다. 이에 따라 최근 연구성과평가 지침과 권고안이 학술 커뮤니티와 계량서지학적 연구집단에서 연이어 발표되고 있다. 따라서 이 연구에서는 2015년 발표된 라이덴 선언(Leiden Manifesto)을 중심으로 Thomson Reuters 백서, 프랑스 과학원 권고안, DORA 선언, IEEE 권고안을 비교하고 이를 통해 국내 연구성과평가 환경에의 제안 가능성을 살펴보고자 하였다. 비교분석 결과, 다수의 권고안은 연구의 목적과 연구 주제분야별 특성을 반영하고 다양한 지표를 활용한 다면적 평가를 통해 총체적인 평가를 지향하고 있는 것으로 나타났다. 이러한 결과는 국내 연구성과평가시스템 적용에서 고려해 볼 주요 권고안이라고 할 수 있으며, 추후 이에 대한 이해관계자들의 의견 수렴 등을 통하여 국내 연구성과시스템에의 적용가능성을 보다 심층적으로 살펴볼 필요가 있을 것이다.

Abstract

Inappropriate applications of bibliometric approach and misinterpretation on the analysis in research evaluation have been found and recognized nationally and internationally as the use of the approach has been rapidly adopted in various sectors in research evaluation systems and research funding agencies. The flood of misuse led to several numbers of declarations and statements on appropriate research evaluation, including Leiden Manifesto, DORA, IEEE Statement, etc. The similar recommendations from five different declarations, Leiden Manifest, IEEE Statement, DORA, Institut de France, and Thomson Reuters White paper were reviewed and meta-analyzed in this study and it is revealed that most of them emphasize evaluation on quality in various aspects with multiple indicators. Research evaluation with assessing multiple aspects of individual research based on the understandings of its purpose and pertinent subject area was revealed as being mostly advised in the declarations, and this recommendation can be regarded as being mostly requested in national research evaluation system. For future study, interviews with relevant stakeholders of national research evaluation system in order to explore its application are needed to confirm the findings of this review.

초록

전 학문 분야를 포괄하는 광역 과학 지도는 학문 분야 사이의 구조적인 관계를 시각적으로 분석하는데 사용되고 있다. 이 연구에서는 광역 과학 지도에 대한 선행 연구를 개관한 후 새로운 방법으로 국내의 학술 활동을 반영하는 광역 과학 지도를 생성하였다. 광역 과학 지도에 대한 연구는 ISI사(현재 Thomson Scientific)의 Garfield와 Small에 의해서 촉발되었고 최근에는 스페인 그라나다 대학의 SCImago 연구팀과 미국 인디애나 대학의 Brner 교수팀이 활발히 연구 결과를 발표하고 있다. 이들은 자신들이 만들어 발표하고 있는 지도를 과학 지도 또는 사이언토그램이라고 부르며, 이에 관련된 활동을 과학지도학(scientography)이라고 하였다. 기존의 광역 과학 지도는 대부분 학술 논문 사이의 인용 분석에 근거하여 제작되었으나, 국내 학술 논문에 대한 인용 데이터베이스는 아직 미비한 상태이다. 따라서 이 연구에서는 국내의 광역 과학 지도를 만들기 위해서 학술진흥재단에 신청된 과제 제안서의 텍스트를 활용하였다. 학문 분야 사이의 연결 정보를 네트워크로 표현하는 수단으로 널리 사용되고 있는 패스파인더 네트워크(PFNet) 알고리즘으로 광역 과학 지도를 생성한 후, 이의 대안으로 개발된 클러스터링 기반 네트워크(CBNet) 알고리즘으로 다시 지도를 생성하였다. 최종적으로 두 지도에 나타난 상반된 관점을 통합하도록 CBNet 지도를 수정하여 국내 광역 과학 지도를 제시하였다.

Abstract

Global map of science, which is visualizing large scientific domains, can be used to visually analyze the structural relationships between major areas of science. This paper reviewed previous efforts on global science map, and then tried to making a science map of Korea with some new methods. There are several research groups on making global map of science including Dr. Small and Dr. Garfield of ISI (now Thompson Scientific), SCImago research group at the University of Granada, and Dr. Brner's InfoVis Lab at the Indiana University. They called their maps as science map or scientogram and called the activity of mapping science as scientography. Most of the previous works are based on citations between scientific articles. However citation database for Korean journal articles is still under construction. This research tried to make a Korean science map with the text in the proposals suggested for funding from Korean Research Foundation. Two kinds of method for generating networks of scientific fields are used. One is Pathfinder network (PFNet) alogorithm which has been used in several published bibliometric studies. The other is clustering-based network (CBnet) algorithm which was proposed recently as an alternative to PFNet. In order to take into account both views of the two algorithms, the resulting maps are combined to a final science map of Korea.