- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구의 목적은 연구데이터 서비스 자체의 유용성과 연구데이터에 대한 사용경험 기반의 유용성 측면에서 평가 모형을 개발하는 것이다. 다양한 사례에서 도출한 데이터 서비스의 유용성 평가 요소로부터 연구데이터에 내재된 평가척도인 검색성, 접근성, 상호운용성, 재활용성 4개와 각각의 측정지표 총 20개를 도출하였다. 그리고 Google Analytics, YouTube 광고료 책정 기준, 서울특별시, Altmetrics의 사례를 분석하여 연구데이터에 대한 이용자 경험 기반의 유용성 측정지표 12개를 도출하였다. 평가척도와 측정지표에 대한 타당성과 신뢰성 검정을 위해 연구데이터의 잠재적 이용자 164명을 대상으로 설문조사를 실시하였다. 평가척도의 타당성 검정을 위해 KMO Bartlett 분석을 하였으며, 측정지표의 성분분석을 위해 주성분 분석과 베리맥스 회전분석법을 사용하였다. 내재적 평가척도의 경우 4개 척도 모두 KMO Bartlett의 타당성 값을 충족시켰으며, 평가척도에 대한 측정지표의 성분분석 결과 모두 단일 성분으로 나타나 현재의 척도로 해당 지표에 대한 설명이 가능하였다. 그러나 이용자 경험 기반의 12개 측정지표의 성분분석 결과는 2개 성분으로 나누어지는 것으로 나타나 각각을 활용도와 참여도라는 개념의 2개 평가척도로 구분하였다. Cronbach’s alpha 계수에 의한 신뢰도 측정 결과 6개의 평가척도 모두 0.6 이상의 측정치를 충족시키는 것으로 나타났다.
Abstract
The Purpose of this study is to develop an evaluation model for usability of research data service from the angles of evaluating usefulness of research data service itself and research data use experience-based usability. First, the various cases of evaluating usability of data services are examined and 4 rating scales and 20 measuring indicators for research data service are derived as a result of comparative analysis. In order to verify validity and reliability of the rating scale and the measuring indicators, the study conducted a survey of 164 potential research data users. KMO Bartlett Analysis was performed for validity test, and Principle Component Analysis and Verimax Rotating Method were used for component analysis on measuring indicators. The result shows that the 4 intrinsic rating scales satisfy the validity criteria of KMO Barlett; A single component was determined from component analysis, which verifies the validity of measuring indicators of the current rating scale. However, the result of 12 user experience-based measuring indicators analysis identified 2 components that are each classified as rating scale of utilization level and that of participation level. Cronbach’s alpha of all 6 rating scales was 0.6 or more for the overall scale.
초록
본 연구에서는 ‘학술지의 피인용횟수 순위’를 적용한 tapered h-지수의 변형지표 Kor-hT를 고안하여 제안하였다. Kor-hT의 의미를 평가하기 위하여 Kor-hT 지수 값의 중복률 및 지수 값과 평가요소 사이의 연관성 변화를 다른 학술지 평가지표인 h-지수, tapered h-지수 및 IF와 비교 분석하였다. 지수 값의 중복률 분석은 지표의 변별력을 살펴보기 위한 것이며, 지수 값과 평가요소와의 상관관계 분석은 지표의 평가요소인 피인용횟수 및 논문 수가 지수 값에 각각 어떻게 반영되는지를 알아보기 위한 것이다. 분석을 위해 2008년부터 2010년까지의 한국학술지인용색인(KCI) 3개년 데이터를 사용하였다. 분석 결과 본 연구에서 제안한 Kor-hT가 비교 대상 지표에 비해 지수 값의 중복률이 가장 낮아 높은 변별력을 보였으며, 지수 값과 평가요소와의 상관관계에 있어서도 피인용횟수와 논문 수 모두에서 상관관계가 가장 높은 것으로 나타났다.
Abstract
This study describes the meaning of and the formula for Kor-hT, which is a modified index built on the tapered h-index by applying ‘the ranking according to the number of citations of journals’. This study evaluated the de-duplication rate of index values of Kor-hT and analyzed the change in the correlation between the index values and evaluation elements using the Korea Citation Index data from 2008 to 2010. Kor-hT is compared with h-index, tapered h-index, and IF. As a result, Kor-hT appeared to be superior to other indexes on de-duplication rate. It is also shown that there is a very strong positive correlation between the evaluation elements, the number of citations and the number of articles of journals, and the index values of Kor-hT.