초록

Abstract

Despite the widespread use, critics claim that citation analysis has serious limitations in evaluating the research performance of scholars. First, conventional citation analysis methods yield one-dimensional and sometimes misleading evaluation as a result of not taking into account differences in citation quality, not filtering out citation noise such as self-citations, and not considering non-numeric aspects of citations such as language, culture, and time. Second, the citation database coverage of today is disjoint and incomplete, which can result in conflicting quality assessment outcomes across different data sources. This paper discuss the findings from a citation analysis study that measured the impact of scholarly publications based on the data mined from Web of Science, Scopus, and Google Scholar, and briefly describes a work-in-progress prototype system called CiteSearch, which is designed to overcome the weaknesses of existing citation analysis methods with a robust citation-based quality assessment approach.

초록

이 연구에서는 특정 주제 분야의 핵심적이고 전역적인 연구 동향을 제공하는 연구지원 정보서비스 개발을 위해 SPLC(Search Path Link Count) 분석을 적용할 때, 데이터의 범위와 인용빈도 설정에 대하여 탐험적으로 살펴보고자 하였다. 이를 위하여 Web of Science에서 검색된 RGB LED 분야의 2,318개 논문과 20,109개 상위 인용논문으로 5개의 데이터셋을 구성하였다. 각 데이터셋에서 히스토리오그래프와 SPLC 네트워크를 인용빈도 임계치를 변화시키면서 28개 주요 연구 동향 네트워크를 추출하여, 인용문헌의 포함여부와 인용빈도 임계치 설정이 SPLC 네트워크에 미치는 영향을 살펴보았다. 그리고 특정 기관 소속 연구자들에게 SPLC 네트워크에 포함된 198개 주요 논문 리스트를 제공하고 피드백을 받음으로써, 전역적 연구 동향이 개인 연구자의 정보 요구에 부합하는지 살펴보았다. 분석 결과, 분석 대상에 상위 인용문헌 포함 여부와 인용빈도임계치에 따라 추출되는 SPLC 네트워크가 변화되었으나, 일정 인용빈도임계치값에서는 수렴하였다. 그리고 개인 연구자의 정보 요구는 SPLC를 통해 제공된 전역적 연구 동향과 출판년도의 차이는 있지만 대체적으로 일치하는 것으로 나타나, 인용문헌을 포함하여 인용빈도임계치를 변화시키는 SPLC 분석을 통해 개인 이용자가 원하는 전역적 연구 정보를 제공해 줄 수 있는 것으로 해석된다. 이를 일반화하기 위해서는 이 탐색적 연구에서 제안된 방법을 다양한 분야에 적용하는 후속 연구가 필요할 것이다.

Abstract

The purpose of this study is to examine the data coverage and citation threshold for analyzing SPLC(Search Path Link Count) as a main path of a historiograph of a certain topic in order to provide ‘core’ papers of global research trends to a researcher affiliated with a local R&D institution. 5 datasets were constructed by retrieving and collecting 2,318 articles on RGB LED on Web of Science published from 1990-2013 and 20,109 articles which cited these original 2,318. The SPLC analysis was performed on each dataset by increasing the threshold of citation counts, and the changes and resilience of the 28 extraced networks were compared. The results of user feedback on 198 unique core papers from 28 SPLC networks received from LED researchers affiliated with a Korean government-sponsored research institution were also analyzed. As a result, it is found that the nodes in each SPLC network in each dataset were differentiated by the citation counts, while the changes in the structure of SPLC networks were slight after the networks’ citation counts were set at 40. Additionally, the user feedback showed that personalized research interest generally matched to the global research trends identified by the SPLC analysis.

초록

본 연구의 목적은 연구데이터 서비스 자체의 유용성과 연구데이터에 대한 사용경험 기반의 유용성 측면에서 평가 모형을 개발하는 것이다. 다양한 사례에서 도출한 데이터 서비스의 유용성 평가 요소로부터 연구데이터에 내재된 평가척도인 검색성, 접근성, 상호운용성, 재활용성 4개와 각각의 측정지표 총 20개를 도출하였다. 그리고 Google Analytics, YouTube 광고료 책정 기준, 서울특별시, Altmetrics의 사례를 분석하여 연구데이터에 대한 이용자 경험 기반의 유용성 측정지표 12개를 도출하였다. 평가척도와 측정지표에 대한 타당성과 신뢰성 검정을 위해 연구데이터의 잠재적 이용자 164명을 대상으로 설문조사를 실시하였다. 평가척도의 타당성 검정을 위해 KMO Bartlett 분석을 하였으며, 측정지표의 성분분석을 위해 주성분 분석과 베리맥스 회전분석법을 사용하였다. 내재적 평가척도의 경우 4개 척도 모두 KMO Bartlett의 타당성 값을 충족시켰으며, 평가척도에 대한 측정지표의 성분분석 결과 모두 단일 성분으로 나타나 현재의 척도로 해당 지표에 대한 설명이 가능하였다. 그러나 이용자 경험 기반의 12개 측정지표의 성분분석 결과는 2개 성분으로 나누어지는 것으로 나타나 각각을 활용도와 참여도라는 개념의 2개 평가척도로 구분하였다. Cronbach’s alpha 계수에 의한 신뢰도 측정 결과 6개의 평가척도 모두 0.6 이상의 측정치를 충족시키는 것으로 나타났다.

Abstract

The Purpose of this study is to develop an evaluation model for usability of research data service from the angles of evaluating usefulness of research data service itself and research data use experience-based usability. First, the various cases of evaluating usability of data services are examined and 4 rating scales and 20 measuring indicators for research data service are derived as a result of comparative analysis. In order to verify validity and reliability of the rating scale and the measuring indicators, the study conducted a survey of 164 potential research data users. KMO Bartlett Analysis was performed for validity test, and Principle Component Analysis and Verimax Rotating Method were used for component analysis on measuring indicators. The result shows that the 4 intrinsic rating scales satisfy the validity criteria of KMO Barlett; A single component was determined from component analysis, which verifies the validity of measuring indicators of the current rating scale. However, the result of 12 user experience-based measuring indicators analysis identified 2 components that are each classified as rating scale of utilization level and that of participation level. Cronbach’s alpha of all 6 rating scales was 0.6 or more for the overall scale.

초록

이 연구는 국제학술지에 나타난 ‘동해’ 관련 연구에서 ‘동해’ 표기유형별 특성을 계량적으로 분석한 것이다. 이 때 동해표기 유형은 ‘동해 단독’, ‘일본해 단독’, ‘병행표기’로 구분하였다. 분석을 위해 Web of Science DB에서 총 4,192편을 대상으로, 표기유형별 시계열 변화, 저자 소속국가별 표기유형, 연구주제의 차이, 피인용도, 연구협력 및 공저 네트워크를 분석하였다. 그 결과 ‘동해’ 연구에서 ‘일본해 단독 표기’의 비율이 가장 많은 것으로 나타났고, 1990년대 이후 ‘동해 단독 표기’과 ‘병기’의 비율이 지속적으로 상승하고 있었다. 또한 ‘동해’ 연구의 핵심국가는 ‘일본’, ‘러시아’, ‘한국’, ‘미국’, ‘중국’ 5개국이며, ‘일본해 단독 표기’의 경우 ‘일본’을 중심으로 ‘미국’, ‘러시아’, ‘중국’과 공동연구가 활발히 이루어지며, ‘동해 단독 표기’와 ‘병기’는 ‘한국’ 연구자를 중심으로 ‘미국’, ‘일본’과의 연구의 비율이 높았다. 공저 네트워크는 ‘일본해 단독 표기’의 경우 하나의 “거대 구성집단”(Giant Component)을 형성하여 이(異) 집단 간의 협업이 활발히 이루어지고 있으나, ‘동해 단독 표기’의 경우 소속기관을 중심으로 소규모의 연구그룹이 분산된 것으로 나타났다.

Abstract

This study worked on the qualitative analysis about nomenclature East Sea by the record type in researches related to East Sea shown in the scientific journals. Here in this study, the way of marking is classified as three: ‘sole notation of East Sea’, ‘sole notation of Sea of Japan’, and ‘simultaneous notation of both’. Based on a total of 4,192 selections from Web of Science DB, the analysis was followed up for change in time series by the notation type, notation type according to the nation that authors belong to, difference in research topic, impact factor, collaboration in research, and co-authorship network. The result turned out in this work that the sole notation of Sea of Japan accounted for the largest portion. It also showed that the rates of sole notation of East Sea and simultaneous notation have kept increasing continuously since the 1990s. Hub nations regarding the research of East Sea is five including Japan, Russia, Korea, USA, and China. In the case of sole notation of Sea of Japan, active collaboration studies are performed in USA, Russia, and China with a focus in Japan. In the case of sole notation of East Sea and simultaneous use, the research rate is relatively high in USA and Japan with a focus in Korea. As to the co-authorship network in the sole notation of Sea of Japan, sort of a “giant component” among different groups has been set up and through which the collaborative works are actively underway. However, it was found that the research of sole notation of East Sea is dispersed into small groups on the base of relevant individual institution.

초록

본 논문에서는 다중 모델 기계학습 기법을 이용하여 자동 문서 분류의 성능과 신뢰도를 향상시킬 수 있는 연구와 실험 결과를 기술하였다. 기존의 다중 모델 기계 학습법들이 훈련 데이터 또는 학습 알고리즘의 편향에 의한 오류를 극복하고자 한 것인데 비해 본 논문에서 제안한 메타 학습을 이용한 하이브리드 다중 모델 방식은 이 두 가지의 오류 원인을 동시에 해소하고자 하였다. 다양한 문서 집합에 대한 실험 결과. 본 논문에서 제안한 하이브리드 다중 모델 학습법이 전반적으로 기존의 일반 다중모델 학습법들에 비해 높은 성능을 보였으며, 다중 모델의 결합 방식으로서 메타 학습이 투표 방식에 비해 효율적인 것으로 나타났다.

Abstract

Inductive learning and classification techniques have been employed in various research and applications that organize textual data to solve the problem of information access. In this study, we develop hybrid model combination methods which incorporate the concepts and techniques for multiple modeling algorithms to improve the accuracy of text classification, and conduct experiments to evaluate the performances of proposed schemes. Boosted stacking, one of the extended stacking schemes proposed in this study yields higher accuracy relative to the conventional model combination methods and single classifiers.

초록

최근 학술문헌의 양이 급증하고, 융복합적인 연구가 활발히 이뤄지면서 연구자들은 선행 연구에 대한 동향 분석에 어려움을 겪고 있다. 이를 해결하기 위해 우선적으로 학술논문 단위의 분류 정보가 필요하지만 국내에는 이러한 정보가 제공되는 학술 데이터베이스가 존재하지 않는다. 이에 본 연구에서는 국내 학술문헌에 대해 다중 분류가 가능한 자동 분류 시스템을 제안한다. 먼저 한국어로 기술된 기술과학 분야의 학술문헌을 수집하고 K-Means 클러스터링 기법을 활용하여 DDC 600번 대의 중분류에 맞게 매핑하여 다중 분류가 가능한 학습집합을 구축하였다. 학습집합 구축 결과, 메타데이터가 존재하지 않는 값을 제외한 총 63,915건의 한국어 기술과학 분야의 자동 분류 학습집합이 구축되었다. 이를 활용하여 심층학습 기반의 학술문헌 자동 분류 엔진을 구현하고 학습하였다. 객관적인 검증을 위해 수작업 구축한 실험집합을 통한 실험 결과, 다중 분류에 대해 78.32%의 정확도와 72.45%의 F1 성능을 얻었다.

Abstract

Recently, as the amount of academic literature has increased rapidly and complex researches have been actively conducted, researchers have difficulty in analyzing trends in previous research. In order to solve this problem, it is necessary to classify information in units of academic papers. However, in Korea, there is no academic database in which such information is provided. In this paper, we propose an automatic classification system that can classify domestic academic literature into multiple classes. To this end, first, academic documents in the technical science field described in Korean were collected and mapped according to class 600 of the DDC by using K-Means clustering technique to construct a learning set capable of multiple classification. As a result of the construction of the training set, 63,915 documents in the Korean technical science field were established except for the values ​​in which metadata does not exist. Using this training set, we implemented and learned the automatic classification engine of academic documents based on deep learning. Experimental results obtained by hand-built experimental set-up showed 78.32% accuracy and 72.45% F1 performance for multiple classification.

초록

지적구조 분석을 위해 가중 네트워크를 시각화해야 하는 경우에 패스파인더 네트워크와 같은 링크 삭감 알고리즘이 널리 사용되고 있다. 이 연구에서는 네트워크 시각화를 위한 링크 삭감 알고리즘의 적합도를 측정하기 위한 지표로 NetRSQ를 제안하였다. NetRSQ는 개체간 연관성 데이터와 생성된 네트워크에서의 경로 길이 사이의 순위 상관도에 기반하여 네트워크의 적합도를 측정한다. NetRSQ의 타당성을 확인하기 위해서 몇 가지 네트워크 생성 방식에 대해 정성적으로 평가를 했었던 선행 연구의 데이터를 대상으로 시험적으로 NetRSQ를 측정해보았다. 그 결과 품질이 좋게 평가된 네트워크일수록 NetRSQ가 높게 측정됨을 확인하였다. 40가지 계량서지적 데이터에 대해서 4가지 링크 삭감 알고리즘을 적용한 결과에 대해서 NetRSQ로 품질을 측정하는 실험을 수행한 결과, 특정 알고리즘의 네트워크 표현 결과가 항상 좋은 품질을 보이는 것은 아니며, 반대로 항상 나쁜 품질을 보이는 것도 아님을 알 수 있었다. 따라서 이 연구에서 제안한 NetRSQ는 생성된 계량서지적 네트워크의 품질을 측정하여 최적의 기법을 선택하는 근거로 활용될 수 있을 것이다.

Abstract

Link reduction algorithms such as pathfinder network are the widely used methods to overcome problems with the visualization of weighted networks for knowledge domain analysis. This study proposed NetRSQ, an indicator to measure the goodness of fit of a link reduction algorithm for the network visualization. NetRSQ is developed to calculate the fitness of a network based on the rank correlation between the path length and the degree of association between entities. The validity of NetRSQ was investigated with data from previous research which qualitatively evaluated several network generation algorithms. As the primary test result, the higher degree of NetRSQ appeared in the network with better intellectual structures in the quality evaluation of networks built by various methods. The performance of 4 link reduction algorithms was tested in 40 datasets from various domains and compared with NetRSQ. The test shows that there is no specific link reduction algorithm that performs better over others in all cases. Therefore, the NetRSQ can be a useful tool as a basis of reliability to select the most fitting algorithm for the network visualization of intellectual structures.

초록

본 연구는 계량서지학적 분석 방법을 통해 여러 영역으로 나누어진 국내 건강정보 관련 연구를 통합적인 시각으로 보고자 하였다. 이를 위해 한국학술지인용색인 데이터베이스를 통해 2002년부터 2023년까지의 국내 ‘건강정보’ 관련 논문 1,193편을 수집하여 시기별 동향, 학문분야, 지적구조, 키워드 변화 시기를 분석하였다. 분석결과, 건강정보 관련 논문 수는 지속적으로 증가하였으며, 2021년 이후 감소하고 있다. 건강정보 관련 연구의 주요 학문분야는 ‘의공학’, ‘예방의학/직업환경의학’, ‘법학’, ‘간호학’, ‘문헌정보학’, ‘학제간연구’로 볼 수 있다. 건강정보 관련 연구의 지적구조를 파악하기 위해 단어동시출현분석을 시행하였다. 이후 도출된 네트워크의 구조와 군집파악을 위해 병렬최근접이웃클러스터링 알고리즘을 적용한 결과 ‘건강정보에 대한 의료공학적 관점’과 ‘건강정보에 대한 사회과학적 관점’이라는 2개의 대군집을 중심으로 그에 속한 4개의 중군집, 17개의 소군집을 파악할 수 있었다. 학문분야와 키워드의 변화 시기를 추적하기 위해 변곡점 분석을 시도하였으며 공통적으로 2010년과 2011년 사이에 변화가 있는 것으로 나타났다. 마지막으로 평균 출판년도와 단어출현빈도를 통해 전략 다이어그램을 도출하였으며 고빈도 키워드를 ‘유망’, ‘성장’, ‘성숙’ 영역으로 구분하여 제시하였다. 본 연구는 주로 내용분석 중심의 선행연구들과 다르게 여러 가지 계량서지학적 방법을 통해 건강정보 관련 연구영역을 통합적인 시각으로 바라보았다는 데 의의가 있다.

Abstract

This study aims to identify and comprehensively view health information-related research trends using a bibliometric analysis. To this end, 1,193 papers from 2002 to 2023 related to “health information” were collected through the Korea Citation Index (KCI) database and analyzed in diverse aspects: research trends by period, academic fields, intellectual structure, and keyword changes. Results indicated that the number of papers related to health information continued to increase and has been decreasing since 2021. The main academic fields of health information-related research included “biomedical engineering,” “preventive medicine/occupational environmental medicine,” “law,” “nursing,” “library and information science,” and “interdisciplinary research.” Moreover, a co-word analysis was performed to understand the intellectual structure of research related to health information. As a result of applying the parallel nearest neighbor clustering (PNNC) algorithm to identify the structure and cluster of the derived network, four clusters and 17 subgroups belonging to them could be identified, centering on two conglomerates: “medical engineering perspective on health information” and “social science perspective on health information.” An inflection point analysis was attempted to track the timing of change in the academic field and keywords, and common changes were observed between 2010 and 2011. Finally, a strategy diagram was derived through the average publication year and word frequency, and high-frequency keywords were presented by dividing them into “promising,” “growth,” and “mature.” Unlike previous studies that mainly focused on content analysis, this study is meaningful in that it viewed the research area related to health information from an integrated perspective using various bibliometric methods.

초록

본 연구의 목적은 스마트 사회/스마트 세대를 위한 스마트 도서관을 지향하기 위해 필요한 우리나라 도서관의 정책적 과제들을 발굴하는 데 있다. 이러한 목적을 위해 본 연구에서는 도서관 R&D 정책과제 탐색을 위한 방법론을 정립하고, 계량정보 분석 방법과 주제분석 방법, 브레인스토밍 기법을 활용하여 도서관 분야의 유망과제를 발굴하는 작업을 수행하였다. 이렇게 하여 도출한 도서관 R&D 유망과제 예비 리스트는 연구팀의 브레인스토밍과 전문가 평가를 통해 최종 과제화 되었다. 또한, 본 연구에서 도출한 최종 과제의 중요도를 산출하기 위해 전문가에 의한 AHP 분석 작업을 수행하였다. 이 연구의 결과는 우리나라 도서관 정보서비스의 질적 향상뿐만 아니라 미래의 변화를 스스로 주도할 수 있는 지적 기반의 마련을 위한 R&D 과제 개발 및 이행을 위한 기초자료로 활용할 수 있을 것이다.

Abstract

This study intends to develop R&D policy agendas that are required to prepare a smart library/smart society in Korea libraries. To the end, methodology was established to explore policy issues and agenda for library R&D, and the preliminary agendas were drawn from informetrics, subject analysis, and brainstorming techniques. Then, the preliminary agendas were revised through supplementary works, such as the comprehensive investigation into research papers and the recent research projects. Based on the results, evaluation for the R&D agendas was performed. The Analytic Hierarchy Process (AHP) method was used as a structured technique for analyzing the importance and the priority of the agendas. This study can be used for improving and/or expanding quality of information services in Korean libraries and for exploring the requirements to play a crucial role in the future society.

초록

본 연구는 새로운 표준과 규칙의 제정이 이루어지고 또한 향후 예고되어 있음으로 큰 변화의 과정을 거치고 있는 목록학에 있어 그동안 연구가 거의 없었던 해외 연구들의 최근 동향과 지적 구조를 규명하고자 하였다. 이를 위해 2010년 이후 14년간 발행된 논문 680편을 수집한 후, 이로부터 전처리를 거쳐 추출한 1,942개의 저자 키워드를 분석해보았다. 주요 분석 결과는 다음과 같다. 첫째, 해외 목록학 연구는 2017년 이후 주목할만한 성장세를 보이고 있었다. 둘째, 상위빈도 연구주제는 편목, 메타데이터, RDA, 대학도서관, 전거 제어, 링크드 데이터, FRBR, 목록, LCSH, 도서관, 온라인목록이었다. 셋째, 연구주제들은 크게 도서관 목록의 전통적인 부분과 관련된 것과 최근 들어 더욱 활발하게 논의가 진행되고 있는 주제인 전거제어와 협동편목, RDA, 링크드데이터와 관련된 2개의 군집으로 나눌 수 있었고, 이를 14개 소군집으로 세분하여 분석하였다. 넷째, 키워드 군집 14개의 성장지수와 표준 성과지수를 살펴본 결과, 하나의 군집을 제외하고는 학문 분야의 성장의 측면에서 모두 성장을 나타내는 수치를 보여주었다. 본 연구는 향후 국내 학계와 현장을 위한 목록의 발전 양상 예측하기 위한 기초자료 및 관련 교육에 유용하게 활용될 수 있다는 점에서 그 의의가 있다.

Abstract

This study aims to identify the recent trends and intellectual structure of international research in the field of catalog, which is undergoing a major change due to the enactment of new standards and rules and the anticipated future. For this purpose, we collected 680 articles published in the 14 years since 2010 and analyzed 1,942 author keywords extracted from them after preprocessing. The main findings of the analysis are as follows First, overseas cataloging research has seen notable growth since 2017. Second, the most frequent research topics were: cataloging, metadata, RDA, university libraries, authority control, linked data, FRBR, catalog, LCSH, libraries, andonline cataloging. Third, the research themes were divided into two clusters, one related to the traditional aspects of library cataloging and the other related to the more recently discussed topics of authority control, cooperative cataloging, RDA, and linked data, which were further subdivided into 14 subclusters. Fourth, we looked at the growth index and standard performance index of the 14 keyword clusters and found that all but one cluster showed growth in terms of discipline growth. This study is significant in that it can be used as a basis for predicting the future development of inventories for Korean academia and the field and for related education.