- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
1990년대에 들어서면서 보편화되기 시작한 정보화의 물결은 도서관의 서비스 형태에도 많은 변화를 가져왔다. 그러나 도서관 이용자의 입장에서는 어떤 형태의 서비스가 제공되더라도 기본적으로 이용자가 제공받는 서비스일 뿐, 도서관 이용에 대한 느낌이나 감정 등을 포함하는 서비스의 만족도는 제공받은 서비스의 품질에 의해서 좌우될 수밖에 없다는 특성을 갖는다. 본 연구는 도서관의 서비스 제공이 갖는 이러한 기본적인 특성에 착안하여 이용자들의 관점에서 서비스의 품질 수준을 평가하고, 이에 영향을 미치는 주된 요인들을 파악하여, 향후 더욱 높은 수준의 서비스를 제공할 수 있는 기틀을 마련하고자 하였다. 연구의 모형으로는 서비스 품질을 측정할 때 이용되는 서브퀄(SERVQUAL) 모형을 채택하여, 전문도서관에서 이용자들이 느끼는 서비스 품질에 대한 기대와 지각을 측정하였다.
Abstract
The rapid change in almost every area of science at the turn of the 21st century have also affected libraries and information centers. Whatever the change, from the library users' perspective, the functions provided by the library, is perceived as “service” and the satisfaction of the users can only be measured by the quality of the service. The study adopted the SERVQUAL model and five factors of SERVQUAL, Tangibles, Reliability, Responsiveness, Assurance, and Empathy are used as parameter values. In measuring the parameter variable, both the users' expectations and their perceived service level were measured. The difference between the expectations and the perceived level was used as users' assessment of service quality. According to the results, all but re-investment dependence level among the five SERVQUAL levels, were linked in one way or another.
초록
이 논문은 서비스 품질 관점에서 도서관 모바일 서비스를 위한 평가 모형을 개발하는 것을 목적으로 한다. 이를 위해 본 연구에서는 기존에 연구된 도서관의 서비스 품질 평가 모형과 모바일 서비스 평가 연구에 대한 문헌 분석을 실시하였으며, 이를 토대로 도서관 모바일 서비스 품질 평가에 필요한 4개 품질 차원, 10개 품질 요인, 39개 품질 측정 항목으로 구성된 평가 모형을 개발하였다. 그리고 개발된 모형의 타당성을 검증하기 위해 델파이 기법을 적용하였으며, 최종적으로 4개 품질 차원, 9개 품질 요인, 37개 품질 측정 항목으로 구성된 모형을 도출하였다. 이 연구에서 제안하고 있는 평가 모형은 도서관의 모바일 서비스 품질 진단 도구로 사용될 수 있으며, 또한 도서관 모바일 서비스의 개선을 위한 가이드라인으로도 활용될 수 있다.
Abstract
This paper aims to develop an evaluation model for library mobile services in terms of service quality. First, a literature review of the service quality evaluation model and the mobile library service evaluation was conducted. Then, based on the analysis, the evaluation model consisting of 4 quality dimensions, 10 quality factors, 39 quality measurement items was developed. Delphi method was applied to verify the validity of the model. Finally, a final model consisting of 4 quality dimensions, 9 quality factors, and 37 quality measurement items was derived. The evaluation model proposed in this study can be used as a measure of library mobile service quality and can be used as a guideline for improvement of library mobile service.
초록
본 연구는 전국 공공도서관 이용자를 대상으로 이용자만족도 조사를 실시한 후, 현재 우리나라 공공도서관의 서비스가 이용자의 만족을 얼마나 성취하고 있는 가를 분석하고, 도서관의 서비스별 품질을 나타내는 세부항목별 요인들이 도서관의 전반적 만족도에 미치는 영향관계를 파악하고자 하였다. 이용자만족도 지표는 공공도서관에 대해 이용자들이 지각하는 도서관의 전반적인 품질을 측정할 수 있도록 설계하였으며, 6개 변인(장서, 직원, 시설, 프로그램, 온라인서비스, 정보제공정도)으로 구성되었다. 분석결과 도서관 전체 이용자만족도는 정보제공정도, 시설, 직원 변인이 높게 나타난 반면, 온라인서비스 및 프로그램 변인은 상대적으로 낮은 만족도를 보여주었다. 또한 도서관의 서비스별 품질 중 장서, 직원, 시설, 프로그램, 온라인서비스, 정보제공정도 전체 요인이 전반적 만족도에 통계적으로 유의한 영향을 미치는 것으로 나타났으며, 그 중에서 정보제공정도와 시설, 장서 요인 순으로 큰 영향력을 발휘하는 것으로 파악되었다.
Abstract
This study examines user satisfaction in public libraries nationwide. It analyzes service quality factors that affect user satisfaction of public library patrons and identify sub-factors of service quality that affect the overall user satisfaction. User satisfaction factors were developed to measure library satisfaction in all aspects of the library service. Six variables were identified, including volume of books, staff, programs, facilities, online services, and information availability. According to survey findings, general library satisfaction was strongly correlated with information availability, facilities, and staff. Relatively lower levels of satisfaction were identified in the areas of online services and programs. All six service quality factors were statistically significantly associated with user satisfaction, where information availability, facilities, and volume of books showed stronger associations than the other three factors.
초록
온톨로지의 평가는 잘 구축된 기존 온톨로지와 비교하는 방법, 활용될 애플리케이션에 적용해보는 방법, 원천데이터와의 적합성․관련성을 판단해보는 방법을 통해 이뤄지고 있다. 이와 같은 방법론은 온톨로지를 통해 얻게 된 결과에 치중되어 온톨로지의 체계, 의미표현, 상호운용성과 같은 내재적인 영역의 평가에 어려움이 있다. 본 연구는 온톨로지 전문가를 통해 온톨로지 품질평가를 위한 항목을 도출하였다. 문헌조사를 통해 온톨로지의 내재적 평가를 위한 범주를 추출하였고, 각 범주에 대한 평가항목을 델파이조사를 통해 전문가들에게 수집한 뒤, 수집된 평가항목을 재검증하였다. 그 결과, 처음 수집된 70개의 평가 항목에서 최종적으로 53개의 평가항목을 선정하였다. 또한 수집된 평가항목을 온톨로지 평가에 활용하여 봄으로써 평가항목의 신뢰도를 측정하였다.
Abstract
The focus of traditional evaluations of ontologies is largely performance-based. A comparison of a new ontology with well-established ones, testing of ontologies in different applications, as well as any judgment of an ontology’s appropriateness and relatedness to source data heavily rely on what results that ontology seems to manifest. This study, on the other hand, is an attempt to evaluate the quality of a particular ontology as manifested by its structure, representation, and interoperability. To that end, major categories of quality evaluations were first identified through an extensive survey of literature. Evaluation questions were formulated from these categories using the Delphi method and were validated by ontology experts. The entire process produced a set of 53 evaluation questions, which was then employed to test the quality of a newly-developed smartphone ontology.
초록
이 연구는 국내 전문도서관을 대상으로 서비스 품질 차원 변수들의 이용자 만족도에 대한 상관성, 상대적 영향력, 차별적 영향력을 분석하여 이용자 만족도의 결정요인을 찾아내고, 이를 근거로 전문도서관의 이용자 만족도를 증대시키기 위한 경영개선의 실질적 방안을 찾고자 하였다. 괴리이론을 이용한 설문조사 결과 전문도서관 이용자들의 도서관 서비스에 대한 인식은 최소치에도 미치지 못하는 것으로 나타났다. 이에 서비스 품질 차원의 변수들과 만족도 영역간의 영향력의 상관관계를 분석하여 그 결과를 근거로 이용자 만족도를 효율적으로 증대시키기 위한 경영개선의 우선순위를 제안하고자 하였다.
Abstract
By exploring plausible relations between factors of service quality and user satisfaction, this study has derived significant determinants of user satisfaction. Based on the analytical findings, this study suggested practical measures to enhance user satisfaction of special libraries. If we determine the priority order of three dimensions of service quality depending on specialized areas of special libraries, and revise the items of higher correlations with user satisfaction, then we could effectively and efficiently level up user satisfaction of special libraries.
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
이 연구의 목적은 ChatGPT가 도서의 표지, 표제지, 판권기 데이터를 활용하여 생성한 더블린코어의 품질 평가를 통하여 ChatGPT의 메타데이터의 생성 능력과 그 가능성을 확인하는 데 있다. 이를 위하여 90건의 도서의 표지, 표제지와 판권기 데이터를 수집하여 ChatGPT에 입력하고 더블린 코어를 생성하게 하였으며, 산출물에 대해 완전성과 정확성 척도로 성능을 파악하였다. 그 결과, 전체 데이터에 있어 완전성은 0.87, 정확성은 0.71로 준수한 수준이었다. 요소별로 성능을 보면 Title, Creator, Publisher, Date, Identifier, Right, Language 요소가 다른 요소에 비해 상대적으로 높은 성능을 보였다. Subject와 Description 요소는 완전성과 정확성에 대해 다소 낮은 성능을 보였으나, 이들 요소에서 ChatGPT의 장점으로 알려진 생성 능력을 확인할 수 있었다. 한편, DDC 주류인 사회과학과 기술과학 분야에서 Contributor 요소의 정확성이 다소 낮았는데, 이는 ChatGPT의 책임표시사항 추출 오류 및 데이터 자체에서 메타데이터 요소용 서지 기술 내용의 누락, ChatGPT가 지닌 영어 위주의 학습데이터 구성 등에 따른 것으로 판단하였다.
Abstract
The purpose of this study is to evaluate the Dublin Core metadata generated by ChatGPT using book covers, title pages, and colophons from a collection of books. To achieve this, we collected book covers, title pages, and colophons from 90 books and inputted them into ChatGPT to generate Dublin Core metadata. The performance was evaluated in terms of completeness and accuracy. The overall results showed a satisfactory level of completeness at 0.87 and accuracy at 0.71. Among the individual elements, Title, Creator, Publisher, Date, Identifier, Rights, and Language exhibited higher performance. Subject and Description elements showed relatively lower performance in terms of completeness and accuracy, but it confirmed the generation capability known as the inherent strength of ChatGPT. On the other hand, books in the sections of social sciences and technology of DDC showed slightly lower accuracy in the Contributor element. This was attributed to ChatGPT’s attribution extraction errors, omissions in the original bibliographic description contents for metadata, and the language composition of the training data used by ChatGPT.
초록
이용자 관점에서 도서관 서비스에 대한 품질 평가는 시간의 흐름과 정보기술과 같은 환경에 따라 변화한다. 따라서 도서관은 서비스 품질과 이용자 만족도를 지속적으로 측정하여 새로운 환경에 필요한 개선점을 도출할 필요가 있다. 본 연구의 목적은 국내외 대학도서관을 대상으로 LibQUAL+ 서비스 품질 평가 결과의 변화와 경향을 분석하고 개선 방향을 규명하고자 하였다. 이를 위해 국내외 대학도서관 각각 1개관을 선정하였다. 캐나다 맥길대학교 도서관은 6년간 누적된 LibQUAL+결과를 대상으로 하였으며, 국내 A대학은 2012년 결과와 본 연구에서 수행한 2015년 결과를 분석하였다. 분석방법으로는 방사형 차트, 막대 차트, 그래프를 이용하여 LibQUAL+ 22개 항목, 3개 차원에 대한 이상 기대치, 실제 인식치, 최소 기대치와 적정성 갭, 우수성 갭의 변화를 비교․분석하였다. 분석 결과는 연도별, 학부생과 대학원생의 도서관 서비스에 대한 인식수준의 변화 및 기대수준에 있어 현저한 차이가 있음을 보여주었다. 특히, A대학의 분석결과는 이용자들의 전반적인 도서관의 기대수준이 향상되었으나 이에 반해 인식수준은 낮은 것으로 나타났다. 또한 이러한 결과는 이용자의 집단(학부생, 대학원생)에 따라 큰 차이를 보였다. 따라서 대학도서관 서비스는 직원, 자원, 시설 차원에 대한 개선방안이 필요하며, 개별 이용자 그룹에 특화된 서비스 개선이 필요한 것으로 나타났다.
Abstract
Users tend to perceive differently the service quality of library depending on the advance of digital information technologies. It is necessary to analyze the cumulative results of LibQUAL+ in order to identify the suggestions for improvement of library services. This study aims to comparatively analyze the results of LibQUAL+ and demonstrate the trends and changes for the services of university library. To achieve the purpose of this study, two university libraries were selected for analysis. The library of McGill University in Canada was selected with the six years’ results of LibQUAL+. Another library located in Seoul was selected with the 2012 result of LibQUAL+ and a new LibQUAL+ in 20015 was conducted for this study. The results were analyzed with three dimensions and 22 items in terms of circular chart, bar chart, and graph. Findings of this study indicated that there were substantial differences in terms of years of LibQUAL+ survey and user groups with undergraduate/graduate students in three dimensions. In particular, the results of A library showed that users were likely to expect more from the university library, but they perceived low service quality. In addition, there was found considerable differences among users groups in terms of undergraduate and graduate students. The improvements for library services need to focus on three dimensions such as staff, resources, and facilities as well as customized services for individual user groups.
초록
본 연구의 목적은 연구데이터 서비스 자체의 유용성과 연구데이터에 대한 사용경험 기반의 유용성 측면에서 평가 모형을 개발하는 것이다. 다양한 사례에서 도출한 데이터 서비스의 유용성 평가 요소로부터 연구데이터에 내재된 평가척도인 검색성, 접근성, 상호운용성, 재활용성 4개와 각각의 측정지표 총 20개를 도출하였다. 그리고 Google Analytics, YouTube 광고료 책정 기준, 서울특별시, Altmetrics의 사례를 분석하여 연구데이터에 대한 이용자 경험 기반의 유용성 측정지표 12개를 도출하였다. 평가척도와 측정지표에 대한 타당성과 신뢰성 검정을 위해 연구데이터의 잠재적 이용자 164명을 대상으로 설문조사를 실시하였다. 평가척도의 타당성 검정을 위해 KMO Bartlett 분석을 하였으며, 측정지표의 성분분석을 위해 주성분 분석과 베리맥스 회전분석법을 사용하였다. 내재적 평가척도의 경우 4개 척도 모두 KMO Bartlett의 타당성 값을 충족시켰으며, 평가척도에 대한 측정지표의 성분분석 결과 모두 단일 성분으로 나타나 현재의 척도로 해당 지표에 대한 설명이 가능하였다. 그러나 이용자 경험 기반의 12개 측정지표의 성분분석 결과는 2개 성분으로 나누어지는 것으로 나타나 각각을 활용도와 참여도라는 개념의 2개 평가척도로 구분하였다. Cronbach’s alpha 계수에 의한 신뢰도 측정 결과 6개의 평가척도 모두 0.6 이상의 측정치를 충족시키는 것으로 나타났다.
Abstract
The Purpose of this study is to develop an evaluation model for usability of research data service from the angles of evaluating usefulness of research data service itself and research data use experience-based usability. First, the various cases of evaluating usability of data services are examined and 4 rating scales and 20 measuring indicators for research data service are derived as a result of comparative analysis. In order to verify validity and reliability of the rating scale and the measuring indicators, the study conducted a survey of 164 potential research data users. KMO Bartlett Analysis was performed for validity test, and Principle Component Analysis and Verimax Rotating Method were used for component analysis on measuring indicators. The result shows that the 4 intrinsic rating scales satisfy the validity criteria of KMO Barlett; A single component was determined from component analysis, which verifies the validity of measuring indicators of the current rating scale. However, the result of 12 user experience-based measuring indicators analysis identified 2 components that are each classified as rating scale of utilization level and that of participation level. Cronbach’s alpha of all 6 rating scales was 0.6 or more for the overall scale.
초록
본 연구는 도서관 서비스 품질 평가도구인 LibQUAL+를 어린이도서관에 적용하여 서비스 품질을 평가하고 서비스 품질이 이용자 만족도에 미치는 영향을 파악하고자 하였다. 이를 위하여 J시에 소재하는 3개관의 어린이도서관을 이용하는 210명의 부모들을 대상으로 설문을 실시하였다. 통계분석 결과, 연구대상 어린이도서관 서비스의 품질은 3개의 차원, 즉 ‘서비스 영향력’, ‘정보 제어’, ‘장소로서의 도서관’의 차원에서 이용자의 서비스 품질에 대한 실제인식치가 최소인식치에도 미치지 못하여 서비스 개선이 매우 시급한 상황인 것으로 나타났다. 또한, ‘서비스 영향력’과 ‘장소로서의 도서관’ 차원만이 이용자 만족도에 영향을 미치는 것으로 나타났다. 본 연구는 이러한 통계분석 결과와 이용자 의견에 대한 내용분석을 바탕으로 어린이도서관 서비스에 대한 개선사항을 제시하였다.
Abstract
This study aims to measure the service quality of children’s libraries using LibQUAL+ and to analyze the effect of service quality on users’ satisfaction. To do that, a survey was conducted with 210 users in three children’s libraries located in J city. In three service quality dimensions - ‘Affect of Service’, ‘Information Control’, and ‘Library as Place’ - the users’ perceived service level was less than the minimum service level, which implies that the current services should be improved immediately. It was also found that ‘Affect of Service’ and ‘Library as Place’ influenced the users’ satisfaction. Based on the statistical results and the content analysis of the users’ comments about the library services, this study suggests recommendations for improving library services in the children’s libraries.