- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
연구자 성과 평가를 위해 널리 사용되는 h-지수는 일관성 부족 문제와 공저자 수를 고려하지 않는다는 문제를 가지고 있다. 이를 극복하기 위해 h-지수와 g-지수, 그리고 공저 보정 방안을 검토하고 2004년부터 2013년 사이의 실제 KCI 데이터를 대상으로 분석해본 결과는 다음과 같다. 첫째, 일관성 결여 문제를 해소하기 위해서는 g-지수를 사용하는 것이 더 바람직하다고 판단된다. 둘째, 연구 성과의 양적인 측면과 질적인 측면을 한꺼번에 반영하는 복합 지수라는 h-지수와 g-지수의 고유한 특성을 유지하기 위해서는 반드시 공저를 보정하여 지수를 측정해야 한다. 셋째, 공저자 수로 나눈 인용빈도를 사용하는 hC-지수와 gC-지수를 적용하면 단독 저술 비중이 높은 인문학 분야 연구자도 공정하게 평가할 수 있고, 특정 분야나 특정 기관에 속한 연구자가 상위 순위를 과점하는 현상을 방지할 수 있다.
Abstract
The h-index is a popular bibliometric indicator for evaluating individual researchers. However, it has been criticized for its inconsistency with reflecting increased number of citations and disregarding the number of co-authors in a paper. In order to overcome these problems, we examined the g-index and other Hirsch-type indices considering the number of co-authors. Test data collection was extracted from Korean Citation Index database published from 2004 to 2013. The results of this study are as follows: First, g-index is more reliable indicator than h-index with consistency. Second, number of co-authors must be considered to maintain the h-index as an complex indicator applying the quality and the quantity of research performance. Finally, hc-index and gc-index, with fractionalised counting of the papers, can fairly measure the research performance of humanities researchers, and successfully prevent specific disciplines or institutions occupying majority of top rankings.
초록
연구성과평가와 연구비 배분에 인용분석을 포함한 계량정보학적 분석방법이 많이 사용되고 있으며, 부적절한 적용 및 해석에 대한 우려와 지적 또한 계속되고 있다. 이에 따라 최근 연구성과평가 지침과 권고안이 학술 커뮤니티와 계량서지학적 연구집단에서 연이어 발표되고 있다. 따라서 이 연구에서는 2015년 발표된 라이덴 선언(Leiden Manifesto)을 중심으로 Thomson Reuters 백서, 프랑스 과학원 권고안, DORA 선언, IEEE 권고안을 비교하고 이를 통해 국내 연구성과평가 환경에의 제안 가능성을 살펴보고자 하였다. 비교분석 결과, 다수의 권고안은 연구의 목적과 연구 주제분야별 특성을 반영하고 다양한 지표를 활용한 다면적 평가를 통해 총체적인 평가를 지향하고 있는 것으로 나타났다. 이러한 결과는 국내 연구성과평가시스템 적용에서 고려해 볼 주요 권고안이라고 할 수 있으며, 추후 이에 대한 이해관계자들의 의견 수렴 등을 통하여 국내 연구성과시스템에의 적용가능성을 보다 심층적으로 살펴볼 필요가 있을 것이다.
Abstract
Inappropriate applications of bibliometric approach and misinterpretation on the analysis in research evaluation have been found and recognized nationally and internationally as the use of the approach has been rapidly adopted in various sectors in research evaluation systems and research funding agencies. The flood of misuse led to several numbers of declarations and statements on appropriate research evaluation, including Leiden Manifesto, DORA, IEEE Statement, etc. The similar recommendations from five different declarations, Leiden Manifest, IEEE Statement, DORA, Institut de France, and Thomson Reuters White paper were reviewed and meta-analyzed in this study and it is revealed that most of them emphasize evaluation on quality in various aspects with multiple indicators. Research evaluation with assessing multiple aspects of individual research based on the understandings of its purpose and pertinent subject area was revealed as being mostly advised in the declarations, and this recommendation can be regarded as being mostly requested in national research evaluation system. For future study, interviews with relevant stakeholders of national research evaluation system in order to explore its application are needed to confirm the findings of this review.
초록
지적구조 분석을 위해 가중 네트워크를 시각화해야 하는 경우에 패스파인더 네트워크와 같은 링크 삭감 알고리즘이 널리 사용되고 있다. 이 연구에서는 네트워크 시각화를 위한 링크 삭감 알고리즘의 적합도를 측정하기 위한 지표로 NetRSQ를 제안하였다. NetRSQ는 개체간 연관성 데이터와 생성된 네트워크에서의 경로 길이 사이의 순위 상관도에 기반하여 네트워크의 적합도를 측정한다. NetRSQ의 타당성을 확인하기 위해서 몇 가지 네트워크 생성 방식에 대해 정성적으로 평가를 했었던 선행 연구의 데이터를 대상으로 시험적으로 NetRSQ를 측정해보았다. 그 결과 품질이 좋게 평가된 네트워크일수록 NetRSQ가 높게 측정됨을 확인하였다. 40가지 계량서지적 데이터에 대해서 4가지 링크 삭감 알고리즘을 적용한 결과에 대해서 NetRSQ로 품질을 측정하는 실험을 수행한 결과, 특정 알고리즘의 네트워크 표현 결과가 항상 좋은 품질을 보이는 것은 아니며, 반대로 항상 나쁜 품질을 보이는 것도 아님을 알 수 있었다. 따라서 이 연구에서 제안한 NetRSQ는 생성된 계량서지적 네트워크의 품질을 측정하여 최적의 기법을 선택하는 근거로 활용될 수 있을 것이다.
Abstract
Link reduction algorithms such as pathfinder network are the widely used methods to overcome problems with the visualization of weighted networks for knowledge domain analysis. This study proposed NetRSQ, an indicator to measure the goodness of fit of a link reduction algorithm for the network visualization. NetRSQ is developed to calculate the fitness of a network based on the rank correlation between the path length and the degree of association between entities. The validity of NetRSQ was investigated with data from previous research which qualitatively evaluated several network generation algorithms. As the primary test result, the higher degree of NetRSQ appeared in the network with better intellectual structures in the quality evaluation of networks built by various methods. The performance of 4 link reduction algorithms was tested in 40 datasets from various domains and compared with NetRSQ. The test shows that there is no specific link reduction algorithm that performs better over others in all cases. Therefore, the NetRSQ can be a useful tool as a basis of reliability to select the most fitting algorithm for the network visualization of intellectual structures.
초록
이 연구에서는 자관의 학술지 상호인용 및 동시인용 분석을 통하여 단순 피인용빈도 이상의 학술지 인용 패턴 분석을 시도 하였다. 이 연구를 통해 학술지의 중요도 파악에 있어서 자관 인용 네트워크의 구조적 분석이 인용빈도 이상의 자관 인용 패턴에 대한 설명을 하고 있는지와, Web of Science에서 제공하는 JIF 이외의 일반적 인용 지수 서비스들을 고려해야 할 필요성이 있는지를 살펴보았다. Y대학교 생명시스템대학 생명공학과 전·현직 교수진이 2006년과 2007년에 발표한 학술논문의 인용 네트워크 분석 및 Web of Science 이외의 일반적 인용 지수들간의 관계를 분석한 결과는 다음과 같다. 첫째, 자관의 상호인용 네트워크를 통해 자관의 연구 분야를 확인할 수 있었다. 둘째, 자관의 동시인용 네트워크 지수들은 자관 인용 네트워크의 구조적 속성을 반영하는 인용 패턴의 설명이 가능하며 이는 피인용빈도와 유사하면서도 추가적인 설명력을 가지는 것을 확인하였다. 셋째, 일반적 인용지수로는 JIF 외에도 합산지향지수, h-index와 같은 다양한 일반적 인용 지수들의 설명력이 다양하므로 이를 이용하여 다각적으로 고려하는 것이 필요한 것으로 파악되었다. 또한 학술지 평가에서 인용 색인 데이터베이스의 수록범위보다는 지수의 유형에 따른 설명력 차이가 크다는 것을 확인하였다. 이와 같은 자관의 인용 네트워크 분석은 정보서비스의 여러 분야에서 유용하게 사용될 수 있을 것으로 기대된다.
Abstract
In this study, we testify that network structural attributes of a citation network can explain other aspects of journal citation behaviors and the importances of journals. And we also testify various citation impact indicators of journals including JIF and h-index to verify the difference among them especially focused on their ability to explain an institution's local features of citation behaviors. An institutional citation network is derived using the articles published in 2006-2007 by biotechnology faculties of Y University. And various journal citation impact indicators including JIF, SJR, h-index, EigenFactor, JII are gathered from different service sites such as Web of Science, SCImago, EigenFactor.com, Journal-Ranking.com. As a results, we can explain the institution's 5 research domains with inter-citation network. And we find that the co-citation network structural features can show explanations on the patterns of institutional journal citation behavior different from the simple cited frequency of the institution or patterns based on general citation indicators. Also We find that journal ranks with various citation indicators have differences and it implies that total-based indices, average-based indices, and hybrid index(h-index) explain different aspects of journal citation pattern. We also reveal that the coverage of citation DB doesn't be a matter in the journal ranking. Analyzing the citation networks derived from an institution's research outputs can be a useful and effective method in developing several library services.