초록

Abstract

This study aims at proposing three prestige indices—closeness prestige, input domain, and proximity prestige- as useful measures for the impact of a particular node in citation networks. It compares these prestige indices with other impact indices as it is still unknown what dimensions of impact these indices actually measure. The prestige indices enable us to distinguish the most prominent actors in a directed network, similar to the centrality indices in undirected networks. Correlation analysis and principal component analysis were conducted on the author citation network to identify the differentiated implications of the three prestige indices from the existing impact indices. We selected simple citation counting, h-index, PageRank, and the three kinds of centrality indices which assume undirected networks as the existing impact measures for comparison with the three prestige indices. The results indicate that these prestige indices demonstrate distinct impact dimension from the other impact indices. The prestige indices reflect indirect impact while the others direct impact.

초록

최근 한국연구재단에서는 학술지평가에 KCI 인용지수를 반영하려는 계획을 발표하였다. 원칙적으로 학술지 평가는 다양한 지표를 통해서 개별 학술지의 상황과 특성을 최대한 반영할 수 있어야 한다. 이 연구에서는 예고된 학술지 인용지수 평가방안을 검토하여 세 가지 개선안을 제안하였다. 첫 번째 개선안은 인용지수로 5년 IF를 추가로 고려하는 것이고, 두 번째 개선안은 순위를 산출하는 범주 수준을 융통성 있게 선택하게 허용하는 것이며, 세 번째 개선안은 두 방법을 함께 적용하는 것이다. 이 연구에서 제안한 개선안은 KCI 학술지 평가의 부작용을 최소화하는데 기여할 것으로 기대된다.

Abstract

Recently, the National Research Foundation of Korea (NRF) announced new plan to reflect the KCI citation measures in journal evaluation. In principle, Journal evaluation should reflect each journals situation and characteristics through various indicators. In this study, three improvement plans were proposed by reviewing the announced journal evaluation plan of NRF. The first improvement is to consider the five-year IF as an additional citation measure; the second improvement is to allow flexible selection of the category level on which to rank journals; and the last improvement is to combine the previous two methods and apply them together. The improvement methods proposed in this study are expected to contribute to minimizing side effects of KCI journal evaluation.

초록

최근까지 학술지의 영향력을 측정하기 위하여 Thomson Reuters(ISI)의 영향력지수(JIF: Journal Impact Factor)가 널리 사용되어왔다. 그러나, 이러한 JIF는 학술지 단위가 아니라 수록 논문의 평균 영향력을 측정하는 지표라는 근본적인 한계를 가지고 있으며, 이외에도 다양한 측면에서 많은 문제점들이 지적되었다. 특히 국내 인용색인은 국제적인 인용색인 데이터베이스에 비해서 인용 데이터의 규모가 상당히 제한적이므로, 이를 고려하여 국내 학술지 인용 환경에 적합한 지수의 적용이 필요하다. 따라서 이 연구는 최근 급속히 확산되고 있는 Hirsch 유형 지수(h-type indices)를 적용하여 국내 학술지의 영향력을 보다 더 상세하게 측정할 수 있는 실제적인 방안을 모색하였다. 결과적으로, h-지수의 변형지수(hs-지수, fs-지수)를 사용하거나 호 단위 합산(호 기반 h-지수, 호 기반 f-지수) 방법을 통하여, 기존 Hirsch 유형 지수들의 변별력을 향상시킬 수 있음은 물론 국내 학술지의 영향력을 더욱 정밀하게 측정할 수 있는 것으로 나타났다.

Abstract

The journal impact factor(JIF) of the Thomson Reuters(ISI) has been widely used to assess the impact of journal as well as its quality. However, the JIF contains its critical limitation, in which it does not measure the impact of journal but the average impact of articles in journal. Besides significant number of problems of the JIF has been noticed. Furthermore, given the limited coverage of domestic citation index database in comparison to those of international citation index, it is necessary to apply a more appropriate index with a high level of discriminating power. This study, therefore, aims to introduce some practical methods to measure the impact of domestic journals by using the Hirsch-type indices. As the Hirsch-type indices has been often used for overcoming the limitations of the JIF in worldwide, we hope that our research outcome offers an effective alternative to gauge the impact of journals more accurately. Consequently, using the variations of the h-index(hs-index, fs-index) or the sum of issue level(issue based h-index, issue based f-index), we argue that it would improve the discrimination capacity of the Hirsch-type indices significantly and that we can measure the impact of domestic journals more clearly.

초록

학술지의 인용빈도를 특정하여 산출된 지수로 단일 논문의 영향력을 평가하는 것에 대한 비판으로 인해 단일 논문의 인용 영향력을 측정하는 인용지수에 대한 연구가 다양하게 시도되었다. 이 연구에서는 8개의 단일 논문 인용영향력 평가 지수를 살펴보고 KCI 논문 데이터베이스를 대상으로 각 인용지수의 분야별 편향성을 조사하여 보았다. 대상 지수는 단순 인용빈도, 페이지랭크, f-값, CCI, c-지수, 단일문헌 h-지수, 단일문헌 hs-지수, cl-지수였다. 분석결과 페이지랭크가 학문 분야별 균등성, 학문 분야 내에서 학술지별 균등성 영역에서 가장 편향성이 없는 것으로 나타났다. 반면에 단순 인용빈도는 특정 학문분야나 특정 학술지에 편향된 결과를 산출할 가능성이 높은 것으로 나타났다. KCI 데이터베이스에서는 논문의 단순 인용빈도만 제공하고 있는데, 분야별 균등성을 가장 잘 유지하는 지수인 논문 페이지랭크를 함께 제공할 필요가 있다. 아울러 인용한 문헌의 인용빈도만으로 산출이 가능해서 이용자의 검색 결과로부터 바로 산출할 수 있는 지역 네크워크 지수 중에서는 cl-지수가 가장 균등성을 잘 유지하므로 계산 과정과 서비스가 손쉬운 지수로 함께 제공하는 것도 검토해야 한다.

Abstract

The impact of a journal is commonly used as the impact of an individual paper within that journal. It is problematic to interpret a journal’s impact as a single paper’s impact of the journal, so there are several researches to measure a single paper’s impact with its own citation counts. This study applied 8 impact indicators to Korean Citation Index database and examined discipline bias of each indicator. Analyzed indicators are simple citation counts, PageRank, f-value, CCI, c-index, single publication h-index, single publication hs-index, and cl-index. PageRank has the least discipline bias at highly ranked papers and journal bias in a discipline. On the contrary, simple citation counts showed strongly biased results toward a certain discipline or a journal. KCI database provides only simple citation counts. It needs to show PageRank (global indicator) to discover influential papers in diverse areas. Furthermore it needs to consider to provide the best of local indicators. Local indicators can be calculated only with papers in users’ search results because they uses citation counts of citing papers and the number of references. They are more efficient than global indicators which explore the whole database. KCI should also consider to provide Cl-index (local indicator).

초록

연관성 척도는 정보검색 및 데이터마이닝을 비롯한 다양한 분야에서 사용되고 있다. 각 연관성 척도가 높거나 낮은 빈도 중에서 어떤 쪽을 선호하는가를 나타내는 빈도수준 선호경향은 척도의 적용 결과에 중요한 영향을 미치므로 이에 대한 면밀한 조사가 필요하다. 이 연구에서는 주요 연관성 척도들의 빈도수준 선호경향을 가상의 데이터를 통해 분석하고 그 결과를 제시하였다. 또한 코사인 계수를 비롯한 대표적인 연관성 척도에 대해서 빈도수준 선호경향을 조절할 수 있는 방법을 제안하였다. 이 조절 방법을 동시출현 기반 질의확장 정보검색에 적용해본 결과 그 유용성이 확인되었다. 마지막으로 분석 및 실험 결과가 관련 분야에 시사하는 바를 논하였다.

Abstract

Association measures are applied to various applications, including information retrieval and data mining. Each association measure is subject to a close examination to its tendency to prefer high or low frequency level because it has a significant impact on the performance of applications. This paper examines the frequency level preference(FLP) tendency of some popular association measures using artificially generated cooccurrence data, and evaluates the results. After that, a method of how to adjust the FLP tendency of major association measures such as cosine coefficient is proposed. This method is tested on the cooccurrence-based query expansion in information retrieval and the result can be regarded as promising the usefulness of the method. Based on these results of analysis and experiment, implications for related disciplines are identified.

초록

이 연구의 목적은 공동연구 네트워크에서 연구자의 영향력과 입지를 분석하는데 사용되는 중심성 지수들의 특징에 대해서 고찰하는 것이다. 전통적인 이진 네트워크 중심성 지수로는 연결정도중심성, 매개중심성, 근접중심성, 페이지랭크를 다루었고, 공동연구 네트워크에서의 중심성을 측정하기 위해서 개발되었거나 사용된 가중 네트워크 중심성 지수로는 삼각매개중심성, 평균연관성, 가중페이지랭크, 공동연구 h-지수와 공동연구 hs-지수, 복합연결정도중심성, c-지수에 대해서 살펴보았으며, 새로운 지수로 제곱근합 지수 SSR을 제안하였다. 이들 12종의 중심성 지수를 건축학, 문헌정보학, 마케팅 분야의 세 가지 공동연구 네트워크에 적용해본 결과 각 지수들의 특성과 지수 간 관계를 파악할 수 있었다. 분석 결과 공동연구 네트워크에서 공동연구 범위와 공동연구 강도를 모두 고려하기 위해서는 가중 네트워크 중심성 지수를 사용해야 하는 것으로 나타났다. 특히 공동연구 범위와 강도를 모두 고려하는 전역중심성을 측정하기 위해서는 삼각매개중심성 지수를 사용하고, 지역중심성을 측정하기 위해서는 SSR 지수를 사용하는 것이 바람직하다고 제안하였다.

Abstract

This study explores the characteristics of centrality measures for analyzing researchers’ impact and structural positions in research collaboration networks. We investigate four binary network centrality measures (degree centrality, closeness centrality, betweenness centrality, and PageRank), and seven existing weighted network centrality measures (triangle betweenness centrality, mean association, weighted PageRank, collaboration h-index, collaboration hs-index, complex degree centrality, and c-index) for research collaboration networks. And we propose SSR, which is a new weighted centrality measure for collaboration networks. Using research collaboration data from three different research domains including architecture, library and information science, and marketing, the above twelve centrality measures are calculated and compared each other. Results indicate that the weighted network centrality measures are needed to consider collaboration strength as well as collaboration range in research collaboration networks. We also recommend that when considering both collaboration strength and range, it is appropriate to apply triangle betweenness centrality and SSR to investigate global centrality and local centrality in collaboration networks.

초록

본 연구는 문헌정보학 분야에서 지리정보시스템을 어떻게 활용할 수 있는지에 대해 미국 플로리다주 Lake 카운티 도서관 이용자 정보를 이용하여 논의하였다. GIS의 다양한 기능 중에서 지오코딩, Thiessen 다각형, 밀집도, 버퍼, 이동거리의 측정 등의 툴들을 이용하여 도서관 이용자 정보를 분석하였다. 분석결과, 도서관 이용자의 위치나 분포형태에 대한 이해를 얻을 수 있었고 도서관 서비스 지역을 설정함으로써 도서관 서비스 계획수립을 위한 토대를 마련할 수 있었다. 또한 Thiessen 다각형이나 버퍼를 통해 이동거리가 도서관 이용에 미치는 영향을 분석함과 동시에 보다 현실적인 도서관 이용자의 이동거리를 측정하는 방법을 제시하였다.

Abstract

Using the library users' data in Lake County Public Library Systems, Florida, US, this study discussed how geographic information systems can be applied in LIS fields. These data were analyzed with such GIS functions as geocoding, Thiessen polygon, density, buffer, and distance measurement. Results indicate that findings from a study of these functions allowed for, not only a better understanding of the geographic locations of library users and user’s library activity patterns, but also for the ability to identify library market areas for future library service planning. Additionally, results from a study of the Thiesen polygon and buffer functions indicated the distance impact on library use. Regarding the travel distance of library users, the measurement of distance using road networks was suggested.

초록

Abstract

Despite the widespread use, critics claim that citation analysis has serious limitations in evaluating the research performance of scholars. First, conventional citation analysis methods yield one-dimensional and sometimes misleading evaluation as a result of not taking into account differences in citation quality, not filtering out citation noise such as self-citations, and not considering non-numeric aspects of citations such as language, culture, and time. Second, the citation database coverage of today is disjoint and incomplete, which can result in conflicting quality assessment outcomes across different data sources. This paper discuss the findings from a citation analysis study that measured the impact of scholarly publications based on the data mined from Web of Science, Scopus, and Google Scholar, and briefly describes a work-in-progress prototype system called CiteSearch, which is designed to overcome the weaknesses of existing citation analysis methods with a robust citation-based quality assessment approach.

초록

본 연구는 인용 정보와 주제범주 분류체계를 기반으로 한 기존 하향식 접근법과 달리 문헌에 출현한 단어정보를 기반으로 세부주제를 자동 추출하는 토픽 모델링을 사용하여 학제성을 측정하였다. JCR 2013의 Information & Library Science 주제범주에서 5년 영향력 지수 상위 20개 학술지의 최근 5년 동안의 논문 제목과 초록 텍스트를 분석대상으로 사용하였다. 학제성을 측정하기 위한 지수로 ‘분야적 다양성’을 나타내는 Shannon 엔트로피 지수와 Stirling 다양성 지수, ‘네트워크 응집성’을 나타내는 지수로는 토픽 네트워크의 평균 경로길이를 사용하였다. 계산된 다양성과 응집성 지수를 통해 학제성의 유형을 분류한 후 각 유형을 대표하는 학술지들의 토픽 네트워크를 비교하였다. 이를 통해 본 연구의 텍스트 기반 다양성 지수는 기존의 인용정보 기반 다양성 지수와 다른 양상을 보이고 있어 상호보완적으로 활용될 수 있으며, 다양성과 응집성을 모두 고려하여 분류된 각 학술지의 토픽 네트워크를 통해 개별 학술지가 다루는 세부주제의 특성과 연결 정도를 직관적으로 파악할 수 있었다. 이를 통해 토픽 모델링을 통한 텍스트 기반의 학제성 측정이 학술지의 학제성을 나타내는 데에 다양한 역할이 가능함을 확인하였다.

Abstract

This study has measured interdisciplinarity using a topic modeling, which automatically extracts sub-topics based on term information appeared in documents group unlike the traditional top-down approach employing the references and classification system as a basis. We used titles and abstracts of the articles published in top 20 journals for the past five years by the 5-year impact factor under the category of ‘Information & Library Science’ in JCR 2013. We applied ‘Discipline Diversity’ and ‘Network Coherence’ as factors in measuring interdisciplinarity; ‘Shannon Entropy Index’ and ‘Stirling Diversity Index’ were used as indices to gauge diversity of fields while topic network’s average path length was employed as an index representing network cohesion. After classifying the types of interdisciplinarity with the diversity and cohesion indices produced, we compared the topic networks of journals that represent each type. As a result, we found that the text-based diversity index showed different ranking when compared to the reference-based diversity index. This signifies that those two indices can be utilized complimentarily. It was also confirmed that the characteristics and interconnectedness of the sub-topics dealt with in each journal can be intuitively understood through the topic networks classified by considering both the diversity and cohesion. In conclusion, the topic modeling-based measurement of interdisciplinarity that this study proposed was confirmed to be applicable serving multiple roles in showing the interdisciplinarity of the journals.

초록

본 연구는 기존의 연구성과 분석의 한계를 극복하고 영향력이나 파급효과 등 질적 중심의 연구성과 분석을 위해 텍스트 마이닝, 인용 분석 등을 활용한 새로운 계량정보학적 분석지표를 제안하였다. 즉, 논문품질지수, 인용 영향력지수, 지식확산지수, 국제협력연구지수, 우수논문 생산지수 등 새로운 연구성과 분석지표를 제안하여 질적인 측면을 중심으로 한 연구성과 분석이 가능하도록 하였다. 그리고 제안된 지표를 활용하여 사례분석을 수행하여 그 가능성을 확인하였다.

Abstract

There are some limitations in the existing bibliometric methods to satisfy the various requests of the interest parties including researchers, managers, policy makers to identify 1) which research group or researcher is the key player, and the overall trends of the particular technological sub-fields, 2) which research groups, institutions or countries mainly use their research outputs, 3) what are the spin-offs from research outputs to some scientific and technological fields, 4) in which levels they are when comparing their quantitative and qualitative research outputs to those of other competitive institutions. It is essential to develop new informetric indicators and methodologies in order to satisfy stakeholder's various demands and to strengthen qualitative analysis in measuring research performance. This study suggested informetric indicators such as article quality index, citation impact index, international cooperation index, excellent article production index and methodologies including citation analysis, text mining.