초록

기존 메타데이터의 품질 측정 방법은 오류가 발생한 레코드를 단순히 계수하여 그 비율로 품질을 측정하였다. 이러한 한계를 극복하기 위해 메타데이터 요소별로 상대적 중요 정도를 나타내는 가중치를 적용함으로서, 메타데이터 품질을 체계적으로 계량화 하는 측정 방법을 제시하고자 하였다. 구체적인 가중치 부여 방법으로 엔트로피, 이용자 과업, 그리고 이용 통계를 활용하였다. 또한 이들을 결합하여 통합 가중치를 제시하고 실제 서비스 되고 있는 학술지 기사 메타데이터에 적용하였다. 실험 결과, 엔트로피 가중치 방법은 데이터 자체의 특성을 잘 반영하며, 이용자 과업을 적용한 방법은 이용자의 정보요구를 해결하는 필요한 메타데이터 요소를 제시하며, 통합 가중치는 특정 메타데이터 요소의 오류에 영향을 받지 않으면서 균형 잡힌 측정값을 제시하여 계량화 방법에 적합한 것으로 나타났다.

Abstract

Most metadata quality measurement employ simple techniques by counting error records. This study presents a new quantitative measurement of metadata quality using advanced weighting schemes in order to overcome the limitations of exiting measurement techniques. Entropy, user tasks, and usage statistics were used to calculate the weights. Integrated weights were presented by combining these weights and were applied to actual journal article metadata. Entropy weights were found to reflect the characteristics of the data itself. User tasks presented the required metadata elements to solve user's information need. Integrated weights showed balanced measures without being affected by the influence of error elements, This finding indicates the new method being suitable for quantitative measurement of metadata quality.

초록

학술지의 인용빈도를 특정하여 산출된 지수로 단일 논문의 영향력을 평가하는 것에 대한 비판으로 인해 단일 논문의 인용 영향력을 측정하는 인용지수에 대한 연구가 다양하게 시도되었다. 이 연구에서는 8개의 단일 논문 인용영향력 평가 지수를 살펴보고 KCI 논문 데이터베이스를 대상으로 각 인용지수의 분야별 편향성을 조사하여 보았다. 대상 지수는 단순 인용빈도, 페이지랭크, f-값, CCI, c-지수, 단일문헌 h-지수, 단일문헌 hs-지수, cl-지수였다. 분석결과 페이지랭크가 학문 분야별 균등성, 학문 분야 내에서 학술지별 균등성 영역에서 가장 편향성이 없는 것으로 나타났다. 반면에 단순 인용빈도는 특정 학문분야나 특정 학술지에 편향된 결과를 산출할 가능성이 높은 것으로 나타났다. KCI 데이터베이스에서는 논문의 단순 인용빈도만 제공하고 있는데, 분야별 균등성을 가장 잘 유지하는 지수인 논문 페이지랭크를 함께 제공할 필요가 있다. 아울러 인용한 문헌의 인용빈도만으로 산출이 가능해서 이용자의 검색 결과로부터 바로 산출할 수 있는 지역 네크워크 지수 중에서는 cl-지수가 가장 균등성을 잘 유지하므로 계산 과정과 서비스가 손쉬운 지수로 함께 제공하는 것도 검토해야 한다.

Abstract

The impact of a journal is commonly used as the impact of an individual paper within that journal. It is problematic to interpret a journal’s impact as a single paper’s impact of the journal, so there are several researches to measure a single paper’s impact with its own citation counts. This study applied 8 impact indicators to Korean Citation Index database and examined discipline bias of each indicator. Analyzed indicators are simple citation counts, PageRank, f-value, CCI, c-index, single publication h-index, single publication hs-index, and cl-index. PageRank has the least discipline bias at highly ranked papers and journal bias in a discipline. On the contrary, simple citation counts showed strongly biased results toward a certain discipline or a journal. KCI database provides only simple citation counts. It needs to show PageRank (global indicator) to discover influential papers in diverse areas. Furthermore it needs to consider to provide the best of local indicators. Local indicators can be calculated only with papers in users’ search results because they uses citation counts of citing papers and the number of references. They are more efficient than global indicators which explore the whole database. KCI should also consider to provide Cl-index (local indicator).

초록

국내 문헌정보학 분야에서 10년간 발표된 논문의 저자와 인용빈도를 대상으로 공저 네트워크에서의 중심성과 연구성과 지수 사이의 관계를 분석하였다. 특히 공저를 고려하지 않고 연구성과 지수를 산출하는 경우와 공저를 고려하여 연구성과 지수를 산출하는 경우로 나누어서 분석하였다. 또한 저자 집단을 논문 수에 따라 다르게 설정하여 지수 사이의 상관관계를 분석한 결과, 연구자의 인용지수와 연구자 중심성 사이의 상관관계에 대한 선행 연구의 일관성없는 결과를 설명해낼 수 있었다. 전체적으로 공저 활동의 정도는 연구성과와 상관관계가 유의하지 않았으며 일부에서는 오히려 부정적인 상관관계를 가진 것으로 나타났다. 중심성과 연구성과 사이의 관계는 통계적으로 유의한 긍정적인 상관관계가 나타났으나 상위 저자 30명만을 대상으로 분석한 결과에서는 상관관계가 유의하지 않았다.

Abstract

We analyzed the relationships between the co-authorship network centralities and the research performance indicators with the authors and the number of citations of the papers published for 10 years in Korean library and information science journals. In particular, the research performance indicators were calculated with normal counting and with fractional counting also. As a result of correlation analysis between the variables by setting the different ranges of the author groups to be analyzed according to the number of articles, it was possible to explain the inconsistent results of the previous studies on the correlations between the researchers' citation indicators and their co-authorship network centralities. Overall, the degree of co-authorship activities measured by collaboration coefficient showed no or negatively correlated with research performance. There were statistically significant positive correlations between the centralities and the research performance indicators, but the correlation was not significant in the analysis of the top 30 authors by number of articles.

초록

연구자 성과 평가를 위해 널리 사용되는 h-지수는 일관성 부족 문제와 공저자 수를 고려하지 않는다는 문제를 가지고 있다. 이를 극복하기 위해 h-지수와 g-지수, 그리고 공저 보정 방안을 검토하고 2004년부터 2013년 사이의 실제 KCI 데이터를 대상으로 분석해본 결과는 다음과 같다. 첫째, 일관성 결여 문제를 해소하기 위해서는 g-지수를 사용하는 것이 더 바람직하다고 판단된다. 둘째, 연구 성과의 양적인 측면과 질적인 측면을 한꺼번에 반영하는 복합 지수라는 h-지수와 g-지수의 고유한 특성을 유지하기 위해서는 반드시 공저를 보정하여 지수를 측정해야 한다. 셋째, 공저자 수로 나눈 인용빈도를 사용하는 hC-지수와 gC-지수를 적용하면 단독 저술 비중이 높은 인문학 분야 연구자도 공정하게 평가할 수 있고, 특정 분야나 특정 기관에 속한 연구자가 상위 순위를 과점하는 현상을 방지할 수 있다.

Abstract

The h-index is a popular bibliometric indicator for evaluating individual researchers. However, it has been criticized for its inconsistency with reflecting increased number of citations and disregarding the number of co-authors in a paper. In order to overcome these problems, we examined the g-index and other Hirsch-type indices considering the number of co-authors. Test data collection was extracted from Korean Citation Index database published from 2004 to 2013. The results of this study are as follows: First, g-index is more reliable indicator than h-index with consistency. Second, number of co-authors must be considered to maintain the h-index as an complex indicator applying the quality and the quantity of research performance. Finally, hc-index and gc-index, with fractionalised counting of the papers, can fairly measure the research performance of humanities researchers, and successfully prevent specific disciplines or institutions occupying majority of top rankings.

초록

Abstract

This study examined two characteristics of library and information science (LIS) journals in Korea through analysis of journal coupling with common authors. This study also illustrated the trend of Korean LIS research in the recent decade. The notable change is that record management and archival studies settle in LIS domain as a major research area. We introduced two indicators, Publishing Preference Index (PPI) and Researcher Attraction Index (RAI), based on the degree of common authors among journals. Both indicators revealed notable changes in author coupling, including reversal of PPIs in some journals, which can be interpreted as proof of changes in their author groups. The RAI analysis, which measured the degree of journals’ attractiveness to Korean LIS researchers and author sharing between two journals, illustrated the journals’ states in a domain; this result can help find both an isolated journal and strongly bonded journals in the specific domain. Journal coupling with common authors introduced in this study proved to be an effective investigative method for illustrating journals’ states in a specified domain as well as a multidisciplinary area.

초록

이 연구의 목적은 공동연구 네트워크에서 연구자의 영향력과 입지를 분석하는데 사용되는 중심성 지수들의 특징에 대해서 고찰하는 것이다. 전통적인 이진 네트워크 중심성 지수로는 연결정도중심성, 매개중심성, 근접중심성, 페이지랭크를 다루었고, 공동연구 네트워크에서의 중심성을 측정하기 위해서 개발되었거나 사용된 가중 네트워크 중심성 지수로는 삼각매개중심성, 평균연관성, 가중페이지랭크, 공동연구 h-지수와 공동연구 hs-지수, 복합연결정도중심성, c-지수에 대해서 살펴보았으며, 새로운 지수로 제곱근합 지수 SSR을 제안하였다. 이들 12종의 중심성 지수를 건축학, 문헌정보학, 마케팅 분야의 세 가지 공동연구 네트워크에 적용해본 결과 각 지수들의 특성과 지수 간 관계를 파악할 수 있었다. 분석 결과 공동연구 네트워크에서 공동연구 범위와 공동연구 강도를 모두 고려하기 위해서는 가중 네트워크 중심성 지수를 사용해야 하는 것으로 나타났다. 특히 공동연구 범위와 강도를 모두 고려하는 전역중심성을 측정하기 위해서는 삼각매개중심성 지수를 사용하고, 지역중심성을 측정하기 위해서는 SSR 지수를 사용하는 것이 바람직하다고 제안하였다.

Abstract

This study explores the characteristics of centrality measures for analyzing researchers’ impact and structural positions in research collaboration networks. We investigate four binary network centrality measures (degree centrality, closeness centrality, betweenness centrality, and PageRank), and seven existing weighted network centrality measures (triangle betweenness centrality, mean association, weighted PageRank, collaboration h-index, collaboration hs-index, complex degree centrality, and c-index) for research collaboration networks. And we propose SSR, which is a new weighted centrality measure for collaboration networks. Using research collaboration data from three different research domains including architecture, library and information science, and marketing, the above twelve centrality measures are calculated and compared each other. Results indicate that the weighted network centrality measures are needed to consider collaboration strength as well as collaboration range in research collaboration networks. We also recommend that when considering both collaboration strength and range, it is appropriate to apply triangle betweenness centrality and SSR to investigate global centrality and local centrality in collaboration networks.

초록

최근 한국연구재단에서는 학술지평가에 KCI 인용지수를 반영하려는 계획을 발표하였다. 원칙적으로 학술지 평가는 다양한 지표를 통해서 개별 학술지의 상황과 특성을 최대한 반영할 수 있어야 한다. 이 연구에서는 예고된 학술지 인용지수 평가방안을 검토하여 세 가지 개선안을 제안하였다. 첫 번째 개선안은 인용지수로 5년 IF를 추가로 고려하는 것이고, 두 번째 개선안은 순위를 산출하는 범주 수준을 융통성 있게 선택하게 허용하는 것이며, 세 번째 개선안은 두 방법을 함께 적용하는 것이다. 이 연구에서 제안한 개선안은 KCI 학술지 평가의 부작용을 최소화하는데 기여할 것으로 기대된다.

Abstract

Recently, the National Research Foundation of Korea (NRF) announced new plan to reflect the KCI citation measures in journal evaluation. In principle, Journal evaluation should reflect each journals situation and characteristics through various indicators. In this study, three improvement plans were proposed by reviewing the announced journal evaluation plan of NRF. The first improvement is to consider the five-year IF as an additional citation measure; the second improvement is to allow flexible selection of the category level on which to rank journals; and the last improvement is to combine the previous two methods and apply them together. The improvement methods proposed in this study are expected to contribute to minimizing side effects of KCI journal evaluation.

초록

본 연구는 기존의 연구성과 분석의 한계를 극복하고 영향력이나 파급효과 등 질적 중심의 연구성과 분석을 위해 텍스트 마이닝, 인용 분석 등을 활용한 새로운 계량정보학적 분석지표를 제안하였다. 즉, 논문품질지수, 인용 영향력지수, 지식확산지수, 국제협력연구지수, 우수논문 생산지수 등 새로운 연구성과 분석지표를 제안하여 질적인 측면을 중심으로 한 연구성과 분석이 가능하도록 하였다. 그리고 제안된 지표를 활용하여 사례분석을 수행하여 그 가능성을 확인하였다.

Abstract

There are some limitations in the existing bibliometric methods to satisfy the various requests of the interest parties including researchers, managers, policy makers to identify 1) which research group or researcher is the key player, and the overall trends of the particular technological sub-fields, 2) which research groups, institutions or countries mainly use their research outputs, 3) what are the spin-offs from research outputs to some scientific and technological fields, 4) in which levels they are when comparing their quantitative and qualitative research outputs to those of other competitive institutions. It is essential to develop new informetric indicators and methodologies in order to satisfy stakeholder's various demands and to strengthen qualitative analysis in measuring research performance. This study suggested informetric indicators such as article quality index, citation impact index, international cooperation index, excellent article production index and methodologies including citation analysis, text mining.

초록

교수연구업적을 보다 효과적으로 평가하기 위해서는 연구의 정량 및 정성적 측면을 고려하여야 한다. 본 연구에서는 연구의 양적 측면을 보여주는 논문 수와 질적 측면을 반영하는 피인용 수에 의한 국내 문헌정보학과 교수의 연구업적 평가순위를 국내 대학에서 사용되는 연구업적 평가규정을 적용한 순위와 비교․분석하였다. 연구결과, 논문 수에 의한 교수별 순위가 피인용 수에 의한 순위와 차이가 있으며, 대학별 교수 업적평가는 피인용 수보다는 논문 수에 의한 평가와 가까운 것으로 나타났다. 또한 대학별 상이한 논문 배점기준은 교수업적평가 결과에 별다른 영향을 끼치지 않았다. 향후 연구에서는 연구의 양적 및 질적 수준을 보다 잘 반영하는 계량서지학적 지표에 관한 연구가 진행되어야 할 것으로 본다.

Abstract

Effective assessment of faculty research performance should involve considerations of both quality and quantity of faculty research. This study analyzed methods for evaluating faculty research output by comparing the rankings of Library and Information Science(LIS) faculty by publication counts, citation counts, and research performance assessment guidelines employed by Korean universities. The study results indicated that faculty rankings based on publication counts to be significantly different from those based on citation counts. Additionally, faculty rankings measured by university guidelines showed bigger correlations with rankings based on publication counts than rankings by citation counts, while differences in universities guidelines did not significantly affect the faculty rankings. The study findings suggest the need for bibliometric indicators that reflect the quality as well as the quantity of research output.

초록

본 연구는 공공도서관에서 운영하는 프로그램의 성과를 로직모델을 기반으로 개발된 평가 프레임워크를 적용하여 측정하고자 하였다. 성과 측정을 위해 서울 소재 한 공공도서관에서 운영하는 여러 프로그램 중 어린이 독서 프로그램을 선정하였다. 성과 측정 과정은 어린이 독서 프로그램의 계획, 진행, 평가 등의 업무 과정 일체를 분석하여 로직 모델을 구현하였으며 이에 의거하여 예상되는 성과를 측정하였다. 데이터는 KOLAS를 통해 회원정보, 서지정보, 대출정보 등을 수집하였고, 프로그램 운영 현황에 대한 데이터는 프로그램 진행 후 작성된 보고서에서 추출하였다. 측정 결과 어린이 독서 프로그램에 참여한 회원들의 대출빈도가 상승하였고, 프로그램의 주제에 따라 대출 장서의 주제가 변화하는 것을 볼 수 있었다. 본 연구를 통해 독서 프로그램이 갖는 효과와 의미를 확인할 수 있었으며, 성과평가가 도서관에서 운영하는 타 프로그램 및 도서관 업무 등의 효과성을 측정하는데 유용한 도구가 될 수 있음을 보여주었다.

Abstract

The purpose of this study is to measure the outcomes of a program provided by a public library using the evaluation framework based on Logic Model. A reading program for children which was operated by a public library in Seoul was selected. The outcome evaluation was started with the analysis of the reading program process including planning, operation, and evaluation. Based on the analysis, a logic model framework for outcome evaluation was developed. For evaluation, user, bibliography, and circulation data were collected from the library KOLAS system. Additionally, the participant information were extracted from the final report drafted after the program. The research results show that the number of circulation of program participants was increased after the program. In addition, the range of reading topic was expanded. These findings indicate that the reading program is an effective program for promoting children’s reading habit and that outcome evaluation might be a valid tool to measure the effectiveness of public library programs.