- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
최근 한국연구재단에서는 학술지평가에 KCI 인용지수를 반영하려는 계획을 발표하였다. 원칙적으로 학술지 평가는 다양한 지표를 통해서 개별 학술지의 상황과 특성을 최대한 반영할 수 있어야 한다. 이 연구에서는 예고된 학술지 인용지수 평가방안을 검토하여 세 가지 개선안을 제안하였다. 첫 번째 개선안은 인용지수로 5년 IF를 추가로 고려하는 것이고, 두 번째 개선안은 순위를 산출하는 범주 수준을 융통성 있게 선택하게 허용하는 것이며, 세 번째 개선안은 두 방법을 함께 적용하는 것이다. 이 연구에서 제안한 개선안은 KCI 학술지 평가의 부작용을 최소화하는데 기여할 것으로 기대된다.
Abstract
Recently, the National Research Foundation of Korea (NRF) announced new plan to reflect the KCI citation measures in journal evaluation. In principle, Journal evaluation should reflect each journals situation and characteristics through various indicators. In this study, three improvement plans were proposed by reviewing the announced journal evaluation plan of NRF. The first improvement is to consider the five-year IF as an additional citation measure; the second improvement is to allow flexible selection of the category level on which to rank journals; and the last improvement is to combine the previous two methods and apply them together. The improvement methods proposed in this study are expected to contribute to minimizing side effects of KCI journal evaluation.
초록
교수연구업적을 보다 효과적으로 평가하기 위해서는 연구의 정량 및 정성적 측면을 고려하여야 한다. 본 연구에서는 연구의 양적 측면을 보여주는 논문 수와 질적 측면을 반영하는 피인용 수에 의한 국내 문헌정보학과 교수의 연구업적 평가순위를 국내 대학에서 사용되는 연구업적 평가규정을 적용한 순위와 비교․분석하였다. 연구결과, 논문 수에 의한 교수별 순위가 피인용 수에 의한 순위와 차이가 있으며, 대학별 교수 업적평가는 피인용 수보다는 논문 수에 의한 평가와 가까운 것으로 나타났다. 또한 대학별 상이한 논문 배점기준은 교수업적평가 결과에 별다른 영향을 끼치지 않았다. 향후 연구에서는 연구의 양적 및 질적 수준을 보다 잘 반영하는 계량서지학적 지표에 관한 연구가 진행되어야 할 것으로 본다.
Abstract
Effective assessment of faculty research performance should involve considerations of both quality and quantity of faculty research. This study analyzed methods for evaluating faculty research output by comparing the rankings of Library and Information Science(LIS) faculty by publication counts, citation counts, and research performance assessment guidelines employed by Korean universities. The study results indicated that faculty rankings based on publication counts to be significantly different from those based on citation counts. Additionally, faculty rankings measured by university guidelines showed bigger correlations with rankings based on publication counts than rankings by citation counts, while differences in universities guidelines did not significantly affect the faculty rankings. The study findings suggest the need for bibliometric indicators that reflect the quality as well as the quantity of research output.
초록
연구성과평가와 연구비 배분에 인용분석을 포함한 계량정보학적 분석방법이 많이 사용되고 있으며, 부적절한 적용 및 해석에 대한 우려와 지적 또한 계속되고 있다. 이에 따라 최근 연구성과평가 지침과 권고안이 학술 커뮤니티와 계량서지학적 연구집단에서 연이어 발표되고 있다. 따라서 이 연구에서는 2015년 발표된 라이덴 선언(Leiden Manifesto)을 중심으로 Thomson Reuters 백서, 프랑스 과학원 권고안, DORA 선언, IEEE 권고안을 비교하고 이를 통해 국내 연구성과평가 환경에의 제안 가능성을 살펴보고자 하였다. 비교분석 결과, 다수의 권고안은 연구의 목적과 연구 주제분야별 특성을 반영하고 다양한 지표를 활용한 다면적 평가를 통해 총체적인 평가를 지향하고 있는 것으로 나타났다. 이러한 결과는 국내 연구성과평가시스템 적용에서 고려해 볼 주요 권고안이라고 할 수 있으며, 추후 이에 대한 이해관계자들의 의견 수렴 등을 통하여 국내 연구성과시스템에의 적용가능성을 보다 심층적으로 살펴볼 필요가 있을 것이다.
Abstract
Inappropriate applications of bibliometric approach and misinterpretation on the analysis in research evaluation have been found and recognized nationally and internationally as the use of the approach has been rapidly adopted in various sectors in research evaluation systems and research funding agencies. The flood of misuse led to several numbers of declarations and statements on appropriate research evaluation, including Leiden Manifesto, DORA, IEEE Statement, etc. The similar recommendations from five different declarations, Leiden Manifest, IEEE Statement, DORA, Institut de France, and Thomson Reuters White paper were reviewed and meta-analyzed in this study and it is revealed that most of them emphasize evaluation on quality in various aspects with multiple indicators. Research evaluation with assessing multiple aspects of individual research based on the understandings of its purpose and pertinent subject area was revealed as being mostly advised in the declarations, and this recommendation can be regarded as being mostly requested in national research evaluation system. For future study, interviews with relevant stakeholders of national research evaluation system in order to explore its application are needed to confirm the findings of this review.
초록
본 연구는 시계열 특성을 갖는 데이터의 패턴 유사도 비교를 통해 유사 추세를 보이는 키워드를 자동 분류하기 위한 효과적인 방법을 제안하는 것을 목표로 한다. 이를 위해 대량의 웹 뉴스 기사를 수집하고 키워드를 추출한 후 120개 구간을 갖는 시계열 데이터를 생성하였다. 제안한 모델의 성능 평가를 위한 테스트 셋을 구축하기 위해, 440개의 주요 키워드를 8종의 추세 유형에 따라 수작업으로 범주를 부여하였다. 본 연구에서는 시계열 분석에 널리 활용되는 동적 시간 와핑(DTW) 기법을 기반으로, 추세의 경향성을 잘 보여주는 이동 평균(MA) 기법을 DTW에 추가 적용한 응용 모델인 MA-DTW를 제안하였다, 자동 분류 성능 평가를 위해 k-최근접 이웃(kNN) 알고리즘을 적용한 결과, ED와 DTW가 각각 마이크로 평균 F1 기준 48.2%와 66.6%의 최고 점수를 보인 데 비해, 제안 모델은 최고 74.3%의 식별 성능을 보여주었다. 종합 성능 평가를 통해 측정된 모든 지표에서, 제안 모델이 기존의 ED와 DTW에 비해 우수한 성능을 보임을 확인하였다.
Abstract
This study aims to suggest an effective method for the automatic classification of keywords with similar patterns by calculating pattern similarity of temporal data. For this, large scale news on the Web were collected and time series data composed of 120 time segments were built. To make training data set for the performance test of the proposed model, 440 representative keywords were manually classified according to 8 types of trend. This study introduces a Dynamic Time Warping(DTW) method which have been commonly used in the field of time series analytics, and proposes an application model, MA-DTW based on a Moving Average(MA) method which gives a good explanation on a tendency of trend curve. As a result of the automatic classification by a k-Nearest Neighbor(kNN) algorithm, Euclidean Distance(ED) and DTW showed 48.2% and 66.6% of maximum micro-averaged F1 score respectively, whereas the proposed model represented 74.3% of the best micro-averaged F1 score. In all respect of the comprehensive experiments, the suggested model outperformed the methods of ED and DTW.
초록
전문대학은 4년제 대학과 더불어 주요한 고등인력 양성기관임과 동시에 수적으로도 막중한 비중을 차지하고 있음에도 불구하고 도서관발전 종합계획에는 전문대학도서관만의 열악한 특성을 고려하지 않고 전체 대학도서관을 활성화할 수 있는 방안들만이 제시되고 있어서 전문대학도서관은 여전히 소외되고 있음을 알 수 있다. 이에 본 연구에서는 전문대학도서관들의 현황을 문헌조사를 통해 조사하여 전문대학도서관의 문제점을 도출하고 이를 기반으로 국가차원에서 지원해 주어야 할 정책을 6가지로 나누어 제안하고 있다. 즉, 전문대학 특성에 따른 장서개발, 전문대학 특성화에 따른 주제전문 도서관 구축, 전문대학도서관간 상호협력 강화, 전문대학도서관 서비스 강화, 전문대학도서관 법적 개선 및 평가지표 개발, 수요조사 연구 및 서비스 품질 평가 등이다.
Abstract
Community colleges are key constituents of higher education in Korea, along with four-year universities. The number of community colleges in Korea also holds significance. However, the main focus of the Master Plan for Library Development decisively lies in university libraries, with little consideration to the poor condition of community college libraries. This study aims to identify problems of community college libraries by conducting a document research on their current standing and, based on that, to present six policy proposals for government support. They are a) to develop library collections based on the school specialty, b) to build theme-oriented libraries, c) to facilitate cooperation between community college libraries, d) to reinforce capacities for library service, e) to improve legal status of community college libraries and develop an evaluation index, f) and to estimate demand and evaluate service quality.
초록
본 연구의 목적은 대학도서관이 급격한 환경변화 속에 있는 대학의 환경을 반영하고, 정보기술의 발전을 반영함으로써 대학을 리드하는 기관으로서 우뚝 서기 위한 전략을 모색하기 위함이다. 이를 위해 대학도서관 사서들을 대상으로 설문을 수행하였으며, 그 결과는 다음과 같다. 첫째, 대학도서관 사서는 대학도서관과 관련된 빅이슈가 「대학도서관진흥법」, 대학도서관 평가 및 평가지표, 대학에서의 대학도서관의 가치, 대학도서관의 공간구성 및 기능변화라고 하였고, 대학의 환경변화, 정부의 대학에 대한 정책, 각종 국책사업, 각종 구조개혁이 대학도서관에 영향을 상당히 미친다고 하였다. 둘째, 대학도서관 사서는 도서관의 역할 변화로 학생의 정보자원 및 기술의 활용능력 향상, 학생의 독서능력 향상, 대학구성원의 연구능력 향상, 대학구성원 학습역량 향상 등에 기여할 수 있다고 하였다. 셋째, 대학도서관 사서는 이용자가 대학도서관에 가장 높게 요구하는 서비스를 전자책 및 정보자원의 확대 등으로 생각하고 있는 것으로 나타났다.
Abstract
This study was carried out for the university library to find out a strategy to stand tall as an institution to lead the university, by reflecting the university environment having with drastic environmental changes and reflecting the evolution of information technology. As a result, first, university librarians responded that big issues related to the university library is the University Library Promotion Act, University Library evaluation and assessment indicators, the value of university libraries at the university, and changing spatial composition and functions of the university library. Second, university librarians responded that changes of the university environment, government policy on universities, various national projects, and various university reform policy significantly affect to the university library. Third, about what you think would be helpful to the crisis in their universities as changing role of the library, they responded that they can contribute in terms of improving students’ information and technology literacy, improving students’ reading skills, improving research capacity, and improve students’ learning ability. Fourth, they responded that services that users demand the highest in the university library will be expansion of e-books and information resource.
초록
지적구조 분석을 위해 가중 네트워크를 시각화해야 하는 경우에 패스파인더 네트워크와 같은 링크 삭감 알고리즘이 널리 사용되고 있다. 이 연구에서는 네트워크 시각화를 위한 링크 삭감 알고리즘의 적합도를 측정하기 위한 지표로 NetRSQ를 제안하였다. NetRSQ는 개체간 연관성 데이터와 생성된 네트워크에서의 경로 길이 사이의 순위 상관도에 기반하여 네트워크의 적합도를 측정한다. NetRSQ의 타당성을 확인하기 위해서 몇 가지 네트워크 생성 방식에 대해 정성적으로 평가를 했었던 선행 연구의 데이터를 대상으로 시험적으로 NetRSQ를 측정해보았다. 그 결과 품질이 좋게 평가된 네트워크일수록 NetRSQ가 높게 측정됨을 확인하였다. 40가지 계량서지적 데이터에 대해서 4가지 링크 삭감 알고리즘을 적용한 결과에 대해서 NetRSQ로 품질을 측정하는 실험을 수행한 결과, 특정 알고리즘의 네트워크 표현 결과가 항상 좋은 품질을 보이는 것은 아니며, 반대로 항상 나쁜 품질을 보이는 것도 아님을 알 수 있었다. 따라서 이 연구에서 제안한 NetRSQ는 생성된 계량서지적 네트워크의 품질을 측정하여 최적의 기법을 선택하는 근거로 활용될 수 있을 것이다.
Abstract
Link reduction algorithms such as pathfinder network are the widely used methods to overcome problems with the visualization of weighted networks for knowledge domain analysis. This study proposed NetRSQ, an indicator to measure the goodness of fit of a link reduction algorithm for the network visualization. NetRSQ is developed to calculate the fitness of a network based on the rank correlation between the path length and the degree of association between entities. The validity of NetRSQ was investigated with data from previous research which qualitatively evaluated several network generation algorithms. As the primary test result, the higher degree of NetRSQ appeared in the network with better intellectual structures in the quality evaluation of networks built by various methods. The performance of 4 link reduction algorithms was tested in 40 datasets from various domains and compared with NetRSQ. The test shows that there is no specific link reduction algorithm that performs better over others in all cases. Therefore, the NetRSQ can be a useful tool as a basis of reliability to select the most fitting algorithm for the network visualization of intellectual structures.
초록
본 연구의 목적은 과학기술정보 서비스 기관인 한국과학기술정보연구원(KISTI)에서 정보의 공동활용을 목적으로 제공하고 있는 오픈서비스에 대한 이용자의 만족도를 분석하여, 오픈서비스 이용자의 요구를 파악하고 수요자 기반의 서비스 개선사항을 도출하는데 있다. 이를 위해 KISTI에서 제공하는 있는 오픈서비스인 NOS (NDSL Open Service)의 이용자를 대상으로 만족도 조사를 실시하였다. 서비스별 품질을 나타내는 이용자의 만족도 지표는 해당 서비스에 대해 이용자들이 지각하는 품질을 측정할 수 있도록 설계하였으며, 품질지수, 만족지수, 성과지수로 구성되었다. 분석결과 이용자들은 오픈서비스의 사회적 기여도 및 공익성 측면에서 긍정적인 평가를 하고 있음을 확인할 수 있었다. 반면, 환경품질과 서비스 과정품질 항목은 상대적으로 낮은 만족도를 보여주어 오픈서비스를 조금 더 쉽게 활용할 수 있도록 하는 편의성의 제고와 함께 VOC를 중심으로 서비스 이용과정 및 환경 만족도 제고 방안을 모색해야 함을 알 수 있었다.
Abstract
The purpose of this study is to analyze service quality factors that affect user satisfaction of NDSL Open Service (NOS) and to improve standards of open service for sharing information through the user satisfaction survey. User satisfaction indexes were developed to measure the all aspects of the NOS services. The quality index, satisfaction index, and performance index were identified in this survey. According to the survey findings, the levels of social quality and social satisfaction are relatively high, this shows the positive evaluation and expectation of researchers for open services. However, relatively low level is identified in area of service process quality. Therefore, NOS requires method to help easily take advantage of OpenAPI and strategy to increase service process satisfaction and service environment satisfaction.
초록
이 연구에서는 기존의 h-지수와 g-지수에 대해 달리 해석해보고 새로운 Hirsch 유형 복합 지표인 전치 g-지수를 제안하고자 한다. 새로운 해석에 따라서 h-지수 및 g-지수 산출 그래프의 가로축이 인용빈도 기준값에 해당하고 세로축이 논문 수가 되도록 축을 전치하고, 이로부터 새로운 전치 g-지수를 제안하였다. 한국학술지인용색인 KCI의 문헌정보학 분야 연구자들을 대상으로 적용해본 결과, 제안된 새 지수는 h-지수 및 g-지수에 비해서 변별력이 높으며 연구의 질보다 연구의 양 차이에 더 민감한 것으로 나타났다. 연구를 지속하는 꾸준한 연구자를 그렇지 못한 연구자와 변별해주는 차별화된 특성을 가지고 있으므로 전치 g-지수는 다면적인 연구 성과 평가에 도움이 될 것으로 기대된다.
Abstract
This study suggests a new Hirsch-type composite index, ‘transposed g-index’ with a different viewpoint on h-index and g-index. From this new point of view, the axes of the graph describing the h-index and g-index are transposed so that the horizontal axis corresponds to the citation frequency threshold and the vertical axis corresponds to the number of documents. Based on this transposed graph, a new indicator transposed g-index is suggested and applied to library and information science researchers’ outcomes in Korean Citation Index database. The results show that this new index has more discriminating power than h-index and g-index, and is more sensitive to differences in quantitative aspects than quality of research. It is expected that the transposed g-index will be helpful for the multifaceted evaluation of the research outcome because it has differentiating characteristics that distinguish consistent researchers who continue to study from those who do not.
초록
본 연구의 목적은 우리나라 오픈액세스서비스에 대한 이용자의 만족도를 분석하여 향후 오픈액세스 활동의 활성화 및 발전방안 수립을 위한 전략과제를 도출하는 데 있다. 이를 위해 오픈액세스코리아 서비스의 이용자를 대상으로 만족도 조사를 실시하였다. 서비스별 품질을 나타내는 이용자의 만족도 지표는 해당 서비스에 대해 이용자들이 지각하는 품질을 측정할 수 있도록 설계하였으며, 품질지수, 만족지수, 성과지수로 구성되었다. 분석결과 사회적 품질, 사회적 만족 등의 항목은 상대적으로 높게 산출되어 국내 연구자들의 오픈액세스서비스에 대한 사회적 기여도 및 공익성 측면에서의 긍정적인 평가와 기대를 확인하였다. 반면, 서비스 과정품질 항목은 상대적으로 낮은 만족도를 보여주었으며 국내 오픈액세스 콘텐츠의 부족에 대한 의견이 다수 도출되어 국가 차원의 전략수립 시 콘텐츠 개발 및 확보 전략에 대한 고려가 중요함을 알 수 있었다. 또한 오픈액세스에 대한 정책적 지원, 오픈액세스 저널 출판 및 리포지터리 운영, 거버넌스체제 구축 및 오픈액세스 홍보활동을 통한 연구자들의 참여 유도, 글로벌 공조체제 구축 등이 전략과제로 제시되었다.
Abstract
The purpose of this study is to analyze service quality factors that affect user satisfaction of Open Access Korea(OAK) services and to draw strategic assignments for activating open access activities in Korea through a user satisfaction survey. User satisfaction indexes were developed to measure all aspects of the OAK services. The quality index, satisfaction index, and performance index were identified in this survey. According to the survey findings, the levels of social quality and social satisfaction are relatively high, this shows the positive evaluation and expectation of researchers for OAK services. However, relatively low level is identified in the area of service process quality, and many opinions about OA contents shortage in Korea represent the importance of the national level contents development strategy. Sustainable policy support, publishing of open access journals, management of institutional repository, OA governance system, expansion of researchers' participation, construction of global collaboration system are suggested as major implications to promote open access activities in Korea.