초록

Hirsch(2005)가 제안한 h-지수는 인용을 통해서 개인의 연구 성과를 측정하려는 시도이다. h-지수는 용이한 산출 방법과 함께 지수의 강건성 등이 인정되면서 발표 이후 다양한 분야에서 이를 적용하거나 보완하는 연구가 활발히 이루어지고 있다. 이 연구에서는 우선 h-지수와 이를 보완한 g-지수를 비롯한 변형 지수에 대해서 현재까지 전개되고 있는 논의를 살펴보았다. 그리고 h-지수와 g-지수의 단점을 보완할 수 있는 개량 지수를 몇 가지 제안하고 가상 자료와 실제 자료에 대해서 측정해보았다. 측정 결과 제안한 지수들이 h-지수와 g-지수를 대체할 가능성이 있음을 확인하였다.

Abstract

The h-index, also called as Hirsch-index, is a new tool for measuring research outputs by citations. This h-index is not only easy to calculate, but also robust enough to handle various citation data. After its suggestion by Hirsch in 2005, many researchers applied the h-index to their own areas, and some others tried to improve the weak points of the h-index such as low discriminating power. Firstly, several of these efforts are reviewed in the present article, and then novel indexes are suggested to measure research outputs by citations more fairly and reasonably. Calculating these indexes on both artificial data and real data showed that the newly suggested indexes in this article can replace the h-index and its variants.

초록

Abstract

The characteristics of citation and centrality measures in citation networks can be identified using multiple linear regression analyses. In this study, we examine the relationships between bibliometric indices and centrality measures in an article-level co-citation network to determine whether the linear model is the best fitting model and to suggest the necessity of data transformation in the analysis. 703 highly cited articles in Physics published in 2004 were sampled, and four indicators were developed as variables in this study: citation counts, degree centrality, closeness centrality, and betweenness centrality in the co-citation network. As a result, the relationship pattern between citation counts and degree centrality in a co-citation network fits a non-linear rather than linear model. Also, the relationship between degree and closeness centrality measures, or that between degree and betweenness centrality measures, can be better explained by non-linear models than by a linear model. It may be controversial, however, to choose non-linear models as the best-fitting for the relationship between closeness and betweenness centrality measures, as this result implies that data transformation may be a necessary step for inferential statistics.

초록

Abstract

This study aims at proposing three prestige indices—closeness prestige, input domain, and proximity prestige- as useful measures for the impact of a particular node in citation networks. It compares these prestige indices with other impact indices as it is still unknown what dimensions of impact these indices actually measure. The prestige indices enable us to distinguish the most prominent actors in a directed network, similar to the centrality indices in undirected networks. Correlation analysis and principal component analysis were conducted on the author citation network to identify the differentiated implications of the three prestige indices from the existing impact indices. We selected simple citation counting, h-index, PageRank, and the three kinds of centrality indices which assume undirected networks as the existing impact measures for comparison with the three prestige indices. The results indicate that these prestige indices demonstrate distinct impact dimension from the other impact indices. The prestige indices reflect indirect impact while the others direct impact.

초록

최근 한국연구재단에서는 학술지평가에 KCI 인용지수를 반영하려는 계획을 발표하였다. 원칙적으로 학술지 평가는 다양한 지표를 통해서 개별 학술지의 상황과 특성을 최대한 반영할 수 있어야 한다. 이 연구에서는 예고된 학술지 인용지수 평가방안을 검토하여 세 가지 개선안을 제안하였다. 첫 번째 개선안은 인용지수로 5년 IF를 추가로 고려하는 것이고, 두 번째 개선안은 순위를 산출하는 범주 수준을 융통성 있게 선택하게 허용하는 것이며, 세 번째 개선안은 두 방법을 함께 적용하는 것이다. 이 연구에서 제안한 개선안은 KCI 학술지 평가의 부작용을 최소화하는데 기여할 것으로 기대된다.

Abstract

Recently, the National Research Foundation of Korea (NRF) announced new plan to reflect the KCI citation measures in journal evaluation. In principle, Journal evaluation should reflect each journals situation and characteristics through various indicators. In this study, three improvement plans were proposed by reviewing the announced journal evaluation plan of NRF. The first improvement is to consider the five-year IF as an additional citation measure; the second improvement is to allow flexible selection of the category level on which to rank journals; and the last improvement is to combine the previous two methods and apply them together. The improvement methods proposed in this study are expected to contribute to minimizing side effects of KCI journal evaluation.

초록

Abstract

Despite the widespread use, critics claim that citation analysis has serious limitations in evaluating the research performance of scholars. First, conventional citation analysis methods yield one-dimensional and sometimes misleading evaluation as a result of not taking into account differences in citation quality, not filtering out citation noise such as self-citations, and not considering non-numeric aspects of citations such as language, culture, and time. Second, the citation database coverage of today is disjoint and incomplete, which can result in conflicting quality assessment outcomes across different data sources. This paper discuss the findings from a citation analysis study that measured the impact of scholarly publications based on the data mined from Web of Science, Scopus, and Google Scholar, and briefly describes a work-in-progress prototype system called CiteSearch, which is designed to overcome the weaknesses of existing citation analysis methods with a robust citation-based quality assessment approach.

초록

최근 들어 다양한 분야에서 딥러닝이 혁신적인 기계학습 기법으로 급속하게 확산되고 있다. 이 연구에서는 딥러닝 연구동향을 분석하기 위해서 자아 중심 주제 인용분석 기법을 변형하여 응용해보았다. 이를 위해 Web of Science에서 ‘deep learning’으로 탐색하여 검색된 문헌 중 소수의 씨앗 문헌으로부터 인용 관계를 통해 분석 대상 문헌을 확보하는 방법을 시도하였다. 씨앗 문헌을 인용하는 최근 논문들을 딥러닝 분야의 현행 연구를 반영하는 자아 문헌집합으로 설정하였다. 자아 문헌으로부터 빈번히 인용된 선행 연구들은 딥러닝 분야의 연구 주제를 나타내는 인용 정체성 문헌집합으로 설정하였다. 자아 문헌집합에 대해서는 공저 네트워크 분석을 비롯한 정량적 분석을 실시하여 주요 국가와 연구 기관을 파악하였다. 인용 정체성 문헌들에 대해서는 동시인용 분석을 실시하고, 도출된 문헌 군집을 인용하는 주요 키워드인 인용 이미지 키워드를 파악하여 주요 문헌과 주요 연구 주제를 밝혀내었다. 마지막으로 특정 주제에 대한 인용 영향력이 성장하는 추세를 반영하는 인용 성장지수 CGI를 제안하고 측정하여 딥러닝 분야의 선도 연구 주제가 변화하는 동향을 밝혔다.

Abstract

Recently, deep learning has been rapidly spreading as an innovative machine learning technique in various domains. This study explored the research trends of deep learning via modified ego centered topic citation analysis. To do that, a few seed documents were selected from among the retrieved documents with the keyword ‘deep learning’ from Web of Science, and the related documents were obtained through citation relations. Those papers citing seed documents were set as ego documents reflecting current research in the field of deep learning. Preliminary studies cited frequently in the ego documents were set as the citation identity documents that represents the specific themes in the field of deep learning. For ego documents which are the result of current research activities, some quantitative analysis methods including co-authorship network analysis were performed to identify major countries and research institutes. For the citation identity documents, co-citation analysis was conducted, and key literatures and key research themes were identified by investigating the citation image keywords, which are major keywords those citing the citation identity document clusters. Finally, we proposed and measured the citation growth index which reflects the growth trend of the citation influence on a specific topic, and showed the changes in the leading research themes in the field of deep learning.

초록

Abstract

Titles have been regarded as having effective clustering features, but they sometimes fail to represent the topic of a document and result in poorly generated document clusters. This study aims to improve the performance of document clustering with titles by suggesting titles in the citation bibliography as a clustering feature. Titles of original literature, titles in the citation bibliography, and an aggregation of both titles were adapted to measure the performance of clustering. Each feature was combined with three hierarchical clustering methods, within group average linkage, complete linkage, and Ward's method in the clustering experiment. The best practice case of this experiment was clustering document with features from both titles by within-groups average method.

초록

학술지의 인용빈도를 특정하여 산출된 지수로 단일 논문의 영향력을 평가하는 것에 대한 비판으로 인해 단일 논문의 인용 영향력을 측정하는 인용지수에 대한 연구가 다양하게 시도되었다. 이 연구에서는 8개의 단일 논문 인용영향력 평가 지수를 살펴보고 KCI 논문 데이터베이스를 대상으로 각 인용지수의 분야별 편향성을 조사하여 보았다. 대상 지수는 단순 인용빈도, 페이지랭크, f-값, CCI, c-지수, 단일문헌 h-지수, 단일문헌 hs-지수, cl-지수였다. 분석결과 페이지랭크가 학문 분야별 균등성, 학문 분야 내에서 학술지별 균등성 영역에서 가장 편향성이 없는 것으로 나타났다. 반면에 단순 인용빈도는 특정 학문분야나 특정 학술지에 편향된 결과를 산출할 가능성이 높은 것으로 나타났다. KCI 데이터베이스에서는 논문의 단순 인용빈도만 제공하고 있는데, 분야별 균등성을 가장 잘 유지하는 지수인 논문 페이지랭크를 함께 제공할 필요가 있다. 아울러 인용한 문헌의 인용빈도만으로 산출이 가능해서 이용자의 검색 결과로부터 바로 산출할 수 있는 지역 네크워크 지수 중에서는 cl-지수가 가장 균등성을 잘 유지하므로 계산 과정과 서비스가 손쉬운 지수로 함께 제공하는 것도 검토해야 한다.

Abstract

The impact of a journal is commonly used as the impact of an individual paper within that journal. It is problematic to interpret a journal’s impact as a single paper’s impact of the journal, so there are several researches to measure a single paper’s impact with its own citation counts. This study applied 8 impact indicators to Korean Citation Index database and examined discipline bias of each indicator. Analyzed indicators are simple citation counts, PageRank, f-value, CCI, c-index, single publication h-index, single publication hs-index, and cl-index. PageRank has the least discipline bias at highly ranked papers and journal bias in a discipline. On the contrary, simple citation counts showed strongly biased results toward a certain discipline or a journal. KCI database provides only simple citation counts. It needs to show PageRank (global indicator) to discover influential papers in diverse areas. Furthermore it needs to consider to provide the best of local indicators. Local indicators can be calculated only with papers in users’ search results because they uses citation counts of citing papers and the number of references. They are more efficient than global indicators which explore the whole database. KCI should also consider to provide Cl-index (local indicator).

초록

이 연구는 한국에서 SCIE 논문을 가장 활발하게 발표하고 있는 분야인 재료공학과 대학교수 449명이 2006년부터 2010년까지 발표한 SCIE 논문수와 피인용 횟수를 측정하고 이에 영향을 미치는 요인을 구체적으로 규명하고자 하였다. 연구 결과 논문수가 많은 교수가 피인용 횟수도 높은 것으로 나타나 외국의 선행연구 결과와 유사하였고, 논문수에 영향을 주는 요인은 교수의 직급, 출신학부, 재직 대학의 소재지일 수 있다는 것을 확인하였다. 피인용에 영향을 주는 요인으로 인적 특성 가운데 출신학부가 있었고, 환경적 특성으로 재직 대학의 소재지가 서울인지 지방인지에 따라 피인용 횟수에 뚜렷한 차이가 있음을 확인하였다. 장기적으로 국내 SCIE 논문의 피인용을 증진하기 위해서는 피인용을 촉발할 수 있는 기초 연구에 보다 많은 지원을 해야 하고, 대학과 연구비 지원기관의 연구성과 평가에 피인용 횟수도 포함시키는 등 평가방식도 보완할 필요성이 제기되었다.

Abstract

This study pointed the factors affecting the number of articles and citations in material science which is the most active publishing disciplinary in South Korea. This was conducted by gathering the information on SCIE which had been published by 449 Korean professors in material science from 2006 to 2010. One of the results was that the professors who had published more papers received more citations than those who did not, reconfirming former studies abroad. It was observed that the factors majors impacting on the number of papers may be their academic positions, educational backgrounds (particularly undergraduates), and places of work. The number of citations was affected by the authors’ undergraduate and their locations of the work. This study suggested a need for more supports on basic researches by universities and funding bodies and an amendment of performance measures to include the number of citations.

초록

교수연구업적을 보다 효과적으로 평가하기 위해서는 연구의 정량 및 정성적 측면을 고려하여야 한다. 본 연구에서는 연구의 양적 측면을 보여주는 논문 수와 질적 측면을 반영하는 피인용 수에 의한 국내 문헌정보학과 교수의 연구업적 평가순위를 국내 대학에서 사용되는 연구업적 평가규정을 적용한 순위와 비교․분석하였다. 연구결과, 논문 수에 의한 교수별 순위가 피인용 수에 의한 순위와 차이가 있으며, 대학별 교수 업적평가는 피인용 수보다는 논문 수에 의한 평가와 가까운 것으로 나타났다. 또한 대학별 상이한 논문 배점기준은 교수업적평가 결과에 별다른 영향을 끼치지 않았다. 향후 연구에서는 연구의 양적 및 질적 수준을 보다 잘 반영하는 계량서지학적 지표에 관한 연구가 진행되어야 할 것으로 본다.

Abstract

Effective assessment of faculty research performance should involve considerations of both quality and quantity of faculty research. This study analyzed methods for evaluating faculty research output by comparing the rankings of Library and Information Science(LIS) faculty by publication counts, citation counts, and research performance assessment guidelines employed by Korean universities. The study results indicated that faculty rankings based on publication counts to be significantly different from those based on citation counts. Additionally, faculty rankings measured by university guidelines showed bigger correlations with rankings based on publication counts than rankings by citation counts, while differences in universities guidelines did not significantly affect the faculty rankings. The study findings suggest the need for bibliometric indicators that reflect the quality as well as the quantity of research output.