바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: 평가지표, 검색결과: 3
1
박진호(주식회사 리스트 사업개발본부장) ; 고영만(성균관대학교 문과대학 문헌정보학과 교수) ; 김현수(성균관대학교 정보관리연구소 연구원) 2019, Vol.36, No.4, pp.129-159 https://doi.org/10.3743/kosim.pub.36.4.129001
초록보기
초록

본 연구의 목적은 연구데이터 서비스 자체의 유용성과 연구데이터에 대한 사용경험 기반의 유용성 측면에서 평가 모형을 개발하는 것이다. 다양한 사례에서 도출한 데이터 서비스의 유용성 평가 요소로부터 연구데이터에 내재된 평가척도인 검색성, 접근성, 상호운용성, 재활용성 4개와 각각의 측정지표 총 20개를 도출하였다. 그리고 Google Analytics, YouTube 광고료 책정 기준, 서울특별시, Altmetrics의 사례를 분석하여 연구데이터에 대한 이용자 경험 기반의 유용성 측정지표 12개를 도출하였다. 평가척도와 측정지표에 대한 타당성과 신뢰성 검정을 위해 연구데이터의 잠재적 이용자 164명을 대상으로 설문조사를 실시하였다. 평가척도의 타당성 검정을 위해 KMO Bartlett 분석을 하였으며, 측정지표의 성분분석을 위해 주성분 분석과 베리맥스 회전분석법을 사용하였다. 내재적 평가척도의 경우 4개 척도 모두 KMO Bartlett의 타당성 값을 충족시켰으며, 평가척도에 대한 측정지표의 성분분석 결과 모두 단일 성분으로 나타나 현재의 척도로 해당 지표에 대한 설명이 가능하였다. 그러나 이용자 경험 기반의 12개 측정지표의 성분분석 결과는 2개 성분으로 나누어지는 것으로 나타나 각각을 활용도와 참여도라는 개념의 2개 평가척도로 구분하였다. Cronbach’s alpha 계수에 의한 신뢰도 측정 결과 6개의 평가척도 모두 0.6 이상의 측정치를 충족시키는 것으로 나타났다.

Abstract

The Purpose of this study is to develop an evaluation model for usability of research data service from the angles of evaluating usefulness of research data service itself and research data use experience-based usability. First, the various cases of evaluating usability of data services are examined and 4 rating scales and 20 measuring indicators for research data service are derived as a result of comparative analysis. In order to verify validity and reliability of the rating scale and the measuring indicators, the study conducted a survey of 164 potential research data users. KMO Bartlett Analysis was performed for validity test, and Principle Component Analysis and Verimax Rotating Method were used for component analysis on measuring indicators. The result shows that the 4 intrinsic rating scales satisfy the validity criteria of KMO Barlett; A single component was determined from component analysis, which verifies the validity of measuring indicators of the current rating scale. However, the result of 12 user experience-based measuring indicators analysis identified 2 components that are each classified as rating scale of utilization level and that of participation level. Cronbach’s alpha of all 6 rating scales was 0.6 or more for the overall scale.

2
노영희(건국대학교 문헌정보학과 교수) ; 장로사(중앙대학교 문헌정보학과 강사) 2019, Vol.36, No.4, pp.53-81 https://doi.org/10.3743/KOSIM.2019.36.4.053
초록보기
초록

IFLA의 UN 2030 Agenda, 도서관정보정책위원회의 제3차 도서관발전종합계획(2019-2023)에서 사회적 포용을 실천하는 도서관의 역할을 강조함에 따라 최근 국내외를 막론하고 정보불평등을 해소하기 위한 공공서비스기관으로서 도서관이 새롭게 조명되고 있다. 이에 본 연구에서는 도서관에 적합한 정보불평등 측정지표를 개발하였으며, 이를 위해 전문가 집단의 검증단계로서 FGI 및 델파이기법을 실시하였다. 그 결과, 최종지표는 총 3개의 평가영역, 총 12개의 평가항목, 총 30개의 평가지표로 도출되었다. 구체적으로 첫째, 접근 평가영역에서는 3개의 평가항목, 8개의 평가지표가 도출되었으며, 둘째, 역량 평가영역에서는 5개의 평가항목, 12개의 평가지표가 도출되었고, 셋째, 활용 평가영역에서는 4개의 평가항목, 10개의 평가지표가 도출되었다. 본 연구는 현재 범지구적으로 도서관에 적용 가능한 정보불평등 측정지표가 전무한 상황에서 개발되었다는 점에서 무엇보다 그 의미와 가치가 클 것으로 사료된다.

Abstract

The 3rd Library Comprehensive Development Plan (2019-2023) of the Committee on Library and Information Policy under IFLA-UN 2030 Agenda emphasize the role of libraries in practicing social inclusion. At home and abroad, this is shedding new light on libraries as the public service institutions aimed at resolving information inequality. This study thus developed the information inequality measurement indicator optimized for libraries. For this purpose, FGI and Delphi technique were implemented as the verification stage of the expert group. As a result, the final indicators were derived in three evaluation areas, twelve evaluation items, and 30 evaluation indicators. Specifically, first, 3 evaluation items and 8 evaluation indicators were derived in the access evaluation area; second, 5 evaluation items and 12 evaluation indicators were derived in the competency evaluation area; and third, 4 evaluation items and 10 evaluation indicators were derived in the utilization evaluation area. This study is considered to be of great significance in that the information inequality measurement indicators optimized for libraries were developed, the first of its kind.

초록보기
초록

본 연구는 시계열 특성을 갖는 데이터의 패턴 유사도 비교를 통해 유사 추세를 보이는 키워드를 자동 분류하기 위한 효과적인 방법을 제안하는 것을 목표로 한다. 이를 위해 대량의 웹 뉴스 기사를 수집하고 키워드를 추출한 후 120개 구간을 갖는 시계열 데이터를 생성하였다. 제안한 모델의 성능 평가를 위한 테스트 셋을 구축하기 위해, 440개의 주요 키워드를 8종의 추세 유형에 따라 수작업으로 범주를 부여하였다. 본 연구에서는 시계열 분석에 널리 활용되는 동적 시간 와핑(DTW) 기법을 기반으로, 추세의 경향성을 잘 보여주는 이동 평균(MA) 기법을 DTW에 추가 적용한 응용 모델인 MA-DTW를 제안하였다, 자동 분류 성능 평가를 위해 k-최근접 이웃(kNN) 알고리즘을 적용한 결과, ED와 DTW가 각각 마이크로 평균 F1 기준 48.2%와 66.6%의 최고 점수를 보인 데 비해, 제안 모델은 최고 74.3%의 식별 성능을 보여주었다. 종합 성능 평가를 통해 측정된 모든 지표에서, 제안 모델이 기존의 ED와 DTW에 비해 우수한 성능을 보임을 확인하였다.

Abstract

This study aims to suggest an effective method for the automatic classification of keywords with similar patterns by calculating pattern similarity of temporal data. For this, large scale news on the Web were collected and time series data composed of 120 time segments were built. To make training data set for the performance test of the proposed model, 440 representative keywords were manually classified according to 8 types of trend. This study introduces a Dynamic Time Warping(DTW) method which have been commonly used in the field of time series analytics, and proposes an application model, MA-DTW based on a Moving Average(MA) method which gives a good explanation on a tendency of trend curve. As a result of the automatic classification by a k-Nearest Neighbor(kNN) algorithm, Euclidean Distance(ED) and DTW showed 48.2% and 66.6% of maximum micro-averaged F1 score respectively, whereas the proposed model represented 74.3% of the best micro-averaged F1 score. In all respect of the comprehensive experiments, the suggested model outperformed the methods of ED and DTW.

정보관리학회지