- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
1970년대 후반 북유럽을 중심으로 제조업 부문에서 시작된 서비스 품질 연구는 기업이 그들이 제공하는 서비스에 대하여 보다 많은 관심을 기울이게 되면서 활발해지게 되었다. 이러한 상황은 도서관도 예외는 아니어서 도서관의 경쟁력을 높이고 이용자들에게 보다 높은 수준의 서비스를 제공하기 위한 방면의 모색이 어느 때보다 절실하게 요구되고 있는 현실이다. 본 연구는 서비스 마케팅 분야의 대표적인 서비스 품질 평가 방법인 SERVQUAL과 SERVPERF를 적용하여 도서관의 서비스 품질을 평가하고 SERVQUAL과 SERVPERF중 어떠한 방법이 도서관 서비스 평가에 적합한 지를 평가하였다. 또한 서비스 품질과 이용자 민족간의 관계를 고찰하였다.
Abstract
Research papaers on the service quality, which began with the manufacturing industry in many Northern Europe at the end of 1970, have been found since the companies became much concerned about the level of services they offered. Libraries can not be an exception to this situation. It is absolutely necessary to find a way to develop a competitive strategy to offer a high level of services to those who use libraries. The purpose of study to evaluate the quality of library services by applying "SERVQUAL" and "SERVPERF" of evaluating service quality and to determine which of these 2 methods is better in terms of measuring library services. The study also investigated the relationship between the service quality and user satisfaction.
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
이 논문은 서비스 품질 관점에서 도서관 모바일 서비스를 위한 평가 모형을 개발하는 것을 목적으로 한다. 이를 위해 본 연구에서는 기존에 연구된 도서관의 서비스 품질 평가 모형과 모바일 서비스 평가 연구에 대한 문헌 분석을 실시하였으며, 이를 토대로 도서관 모바일 서비스 품질 평가에 필요한 4개 품질 차원, 10개 품질 요인, 39개 품질 측정 항목으로 구성된 평가 모형을 개발하였다. 그리고 개발된 모형의 타당성을 검증하기 위해 델파이 기법을 적용하였으며, 최종적으로 4개 품질 차원, 9개 품질 요인, 37개 품질 측정 항목으로 구성된 모형을 도출하였다. 이 연구에서 제안하고 있는 평가 모형은 도서관의 모바일 서비스 품질 진단 도구로 사용될 수 있으며, 또한 도서관 모바일 서비스의 개선을 위한 가이드라인으로도 활용될 수 있다.
Abstract
This paper aims to develop an evaluation model for library mobile services in terms of service quality. First, a literature review of the service quality evaluation model and the mobile library service evaluation was conducted. Then, based on the analysis, the evaluation model consisting of 4 quality dimensions, 10 quality factors, 39 quality measurement items was developed. Delphi method was applied to verify the validity of the model. Finally, a final model consisting of 4 quality dimensions, 9 quality factors, and 37 quality measurement items was derived. The evaluation model proposed in this study can be used as a measure of library mobile service quality and can be used as a guideline for improvement of library mobile service.
초록
온톨로지의 평가는 잘 구축된 기존 온톨로지와 비교하는 방법, 활용될 애플리케이션에 적용해보는 방법, 원천데이터와의 적합성․관련성을 판단해보는 방법을 통해 이뤄지고 있다. 이와 같은 방법론은 온톨로지를 통해 얻게 된 결과에 치중되어 온톨로지의 체계, 의미표현, 상호운용성과 같은 내재적인 영역의 평가에 어려움이 있다. 본 연구는 온톨로지 전문가를 통해 온톨로지 품질평가를 위한 항목을 도출하였다. 문헌조사를 통해 온톨로지의 내재적 평가를 위한 범주를 추출하였고, 각 범주에 대한 평가항목을 델파이조사를 통해 전문가들에게 수집한 뒤, 수집된 평가항목을 재검증하였다. 그 결과, 처음 수집된 70개의 평가 항목에서 최종적으로 53개의 평가항목을 선정하였다. 또한 수집된 평가항목을 온톨로지 평가에 활용하여 봄으로써 평가항목의 신뢰도를 측정하였다.
Abstract
The focus of traditional evaluations of ontologies is largely performance-based. A comparison of a new ontology with well-established ones, testing of ontologies in different applications, as well as any judgment of an ontology’s appropriateness and relatedness to source data heavily rely on what results that ontology seems to manifest. This study, on the other hand, is an attempt to evaluate the quality of a particular ontology as manifested by its structure, representation, and interoperability. To that end, major categories of quality evaluations were first identified through an extensive survey of literature. Evaluation questions were formulated from these categories using the Delphi method and were validated by ontology experts. The entire process produced a set of 53 evaluation questions, which was then employed to test the quality of a newly-developed smartphone ontology.
초록
본 연구의 목적은 연구데이터 서비스 자체의 유용성과 연구데이터에 대한 사용경험 기반의 유용성 측면에서 평가 모형을 개발하는 것이다. 다양한 사례에서 도출한 데이터 서비스의 유용성 평가 요소로부터 연구데이터에 내재된 평가척도인 검색성, 접근성, 상호운용성, 재활용성 4개와 각각의 측정지표 총 20개를 도출하였다. 그리고 Google Analytics, YouTube 광고료 책정 기준, 서울특별시, Altmetrics의 사례를 분석하여 연구데이터에 대한 이용자 경험 기반의 유용성 측정지표 12개를 도출하였다. 평가척도와 측정지표에 대한 타당성과 신뢰성 검정을 위해 연구데이터의 잠재적 이용자 164명을 대상으로 설문조사를 실시하였다. 평가척도의 타당성 검정을 위해 KMO Bartlett 분석을 하였으며, 측정지표의 성분분석을 위해 주성분 분석과 베리맥스 회전분석법을 사용하였다. 내재적 평가척도의 경우 4개 척도 모두 KMO Bartlett의 타당성 값을 충족시켰으며, 평가척도에 대한 측정지표의 성분분석 결과 모두 단일 성분으로 나타나 현재의 척도로 해당 지표에 대한 설명이 가능하였다. 그러나 이용자 경험 기반의 12개 측정지표의 성분분석 결과는 2개 성분으로 나누어지는 것으로 나타나 각각을 활용도와 참여도라는 개념의 2개 평가척도로 구분하였다. Cronbach’s alpha 계수에 의한 신뢰도 측정 결과 6개의 평가척도 모두 0.6 이상의 측정치를 충족시키는 것으로 나타났다.
Abstract
The Purpose of this study is to develop an evaluation model for usability of research data service from the angles of evaluating usefulness of research data service itself and research data use experience-based usability. First, the various cases of evaluating usability of data services are examined and 4 rating scales and 20 measuring indicators for research data service are derived as a result of comparative analysis. In order to verify validity and reliability of the rating scale and the measuring indicators, the study conducted a survey of 164 potential research data users. KMO Bartlett Analysis was performed for validity test, and Principle Component Analysis and Verimax Rotating Method were used for component analysis on measuring indicators. The result shows that the 4 intrinsic rating scales satisfy the validity criteria of KMO Barlett; A single component was determined from component analysis, which verifies the validity of measuring indicators of the current rating scale. However, the result of 12 user experience-based measuring indicators analysis identified 2 components that are each classified as rating scale of utilization level and that of participation level. Cronbach’s alpha of all 6 rating scales was 0.6 or more for the overall scale.
초록
도서관 서비스 품질평가 도구인LibQUAL+TM에 대한 많은 연구논문이 발표되었으나, LibQUAL+TM 요인과 도서관 서비스 이용의도 사의의 관계를 연구한 사례는 매우 드물다. 본 논문은 Icek Ajzen의 계획적 행위이론을 적용하여 도서관 서비스 이용의도에 영향을 미치는 요인을 추출하고자 하였다. 이러한 요인을 추출하기 위하여 미국 대학생을 대상으로 웹 설문을 실시하였고, 요인분석 및 다중회귀분석을 통하여 수집된 데이터를 분석하였다. 분석결과, 도서관 서비스 이용의도는 도서관에서 제공되는 서비스 품질에 대한 이용자의 태도와 관련이 있었다. 통계분석결과 유의미하게 나타난 태도요인은 이용자가 지각한 (1) 정보원 및 시스템 이용시의 주도성, (2) 서비스 제공 의향 정도, (3) 제공되는 정보의 포괄성이었다. LibQUAL+TM 요인간의 상대적 중요도를 측정하였다. 반면에, 이용의도에 유의미한 영향을 미치지 않는 요인으로는 정보접근의 적시성과 물리적인 공간으로서의 도서관을 지각하는 부분이었다. 본 연구의 의의는 도서관 서비스 품질평가에 대한 연구의 영역을 확장시키고 이용의도를 고려한 새로운 평가 체계를 제시한 점이다.
Abstract
While LibQUAL+TM is in the headlines of many articles focusing on library service evaluations, little research has been conducted to study the relationship between the LibQUAL+TM factors and the adoption of library services. It remains unclear whether the factors of LibQUAL+TM have any effect on its adoption. A framework was adapted from Icek Ajzens theory of planned behavior and proposed to extract factors affecting the adoption of library services. The factors were examined via data collection from a Web-based questionnaire survey with college students in the United States. Factor analyses and multiple regression analysis were conducted. Findings show that the intention to use library services is explained by attitude toward library service quality. The attitudinal factors that are significant are (1) perceived personal control, (2) perceived affect of service, and (3) perceived comprehensiveness of information. The relative importance among the factors is also represented by the numbered sequence. However, perceived timeliness of information access and the perception of library as place do not have a significant effect on the intention. This study extends the research on library service evaluation, and provides a new evaluation framework by applying adoption behaviors.
초록
본 연구는 서비스 품질 평가 도구인 LibQUAL+를 활용하여 특화서비스를 제공여부에 따른 도서관 서비스 품질의 차이를 통해 공공도서관 특화서비스에 대한 이용자의 인식을 확인하고자 하였다. 분석결과 서비스 수준에 대한 평가 결과 특화서비스를 제공하는 도서관과 그렇지 않는 도서관 차이에 최소수준 및 인식수준에 있어 차이가 나타났으며, 기대수준은 차이가 없는 것으로 나타났다. 서비스 정도는 특화서비스를 제공하는 도서관 그렇지 않는 도서관 보다 적정성 갭 및 우위성 갭에서 대부분 높은 이용자 인식을 나타내고 있어, 공공도서관을 이용하는 이용자들은 특화서비스를 제공하는 도서관이 그렇지 않는 도서관 보다 더 좋은 서비스를 제공하고 있다고 인식하는 것으로 나타났다.
Abstract
This study was intended to confirm the perception of the users for the public libraries specialized service through the difference in library service quality according to the availability of specialized services by utilizing ‘LibQUAL+’ that is a service quality assessment tool. As a results, there is difference in the minimum and perceived levels between libraries that provide assessment result specialized services for service levels and those that did not. And there was no difference in the expected level. The degree of service showed generally higher user perception in the Adequacy Gap and Superiority Gap than libraries that do not offer specialized services. Therefore, the users of public libraries recognize that libraries that offer specialized services are better served than libraries that do not.
초록
이용자 관점에서 도서관 서비스에 대한 품질 평가는 시간의 흐름과 정보기술과 같은 환경에 따라 변화한다. 따라서 도서관은 서비스 품질과 이용자 만족도를 지속적으로 측정하여 새로운 환경에 필요한 개선점을 도출할 필요가 있다. 본 연구의 목적은 국내외 대학도서관을 대상으로 LibQUAL+ 서비스 품질 평가 결과의 변화와 경향을 분석하고 개선 방향을 규명하고자 하였다. 이를 위해 국내외 대학도서관 각각 1개관을 선정하였다. 캐나다 맥길대학교 도서관은 6년간 누적된 LibQUAL+결과를 대상으로 하였으며, 국내 A대학은 2012년 결과와 본 연구에서 수행한 2015년 결과를 분석하였다. 분석방법으로는 방사형 차트, 막대 차트, 그래프를 이용하여 LibQUAL+ 22개 항목, 3개 차원에 대한 이상 기대치, 실제 인식치, 최소 기대치와 적정성 갭, 우수성 갭의 변화를 비교․분석하였다. 분석 결과는 연도별, 학부생과 대학원생의 도서관 서비스에 대한 인식수준의 변화 및 기대수준에 있어 현저한 차이가 있음을 보여주었다. 특히, A대학의 분석결과는 이용자들의 전반적인 도서관의 기대수준이 향상되었으나 이에 반해 인식수준은 낮은 것으로 나타났다. 또한 이러한 결과는 이용자의 집단(학부생, 대학원생)에 따라 큰 차이를 보였다. 따라서 대학도서관 서비스는 직원, 자원, 시설 차원에 대한 개선방안이 필요하며, 개별 이용자 그룹에 특화된 서비스 개선이 필요한 것으로 나타났다.
Abstract
Users tend to perceive differently the service quality of library depending on the advance of digital information technologies. It is necessary to analyze the cumulative results of LibQUAL+ in order to identify the suggestions for improvement of library services. This study aims to comparatively analyze the results of LibQUAL+ and demonstrate the trends and changes for the services of university library. To achieve the purpose of this study, two university libraries were selected for analysis. The library of McGill University in Canada was selected with the six years’ results of LibQUAL+. Another library located in Seoul was selected with the 2012 result of LibQUAL+ and a new LibQUAL+ in 20015 was conducted for this study. The results were analyzed with three dimensions and 22 items in terms of circular chart, bar chart, and graph. Findings of this study indicated that there were substantial differences in terms of years of LibQUAL+ survey and user groups with undergraduate/graduate students in three dimensions. In particular, the results of A library showed that users were likely to expect more from the university library, but they perceived low service quality. In addition, there was found considerable differences among users groups in terms of undergraduate and graduate students. The improvements for library services need to focus on three dimensions such as staff, resources, and facilities as well as customized services for individual user groups.
초록
1990년대에 들어서면서 보편화되기 시작한 정보화의 물결은 도서관의 서비스 형태에도 많은 변화를 가져왔다. 그러나 도서관 이용자의 입장에서는 어떤 형태의 서비스가 제공되더라도 기본적으로 이용자가 제공받는 서비스일 뿐, 도서관 이용에 대한 느낌이나 감정 등을 포함하는 서비스의 만족도는 제공받은 서비스의 품질에 의해서 좌우될 수밖에 없다는 특성을 갖는다. 본 연구는 도서관의 서비스 제공이 갖는 이러한 기본적인 특성에 착안하여 이용자들의 관점에서 서비스의 품질 수준을 평가하고, 이에 영향을 미치는 주된 요인들을 파악하여, 향후 더욱 높은 수준의 서비스를 제공할 수 있는 기틀을 마련하고자 하였다. 연구의 모형으로는 서비스 품질을 측정할 때 이용되는 서브퀄(SERVQUAL) 모형을 채택하여, 전문도서관에서 이용자들이 느끼는 서비스 품질에 대한 기대와 지각을 측정하였다.
Abstract
The rapid change in almost every area of science at the turn of the 21st century have also affected libraries and information centers. Whatever the change, from the library users' perspective, the functions provided by the library, is perceived as “service” and the satisfaction of the users can only be measured by the quality of the service. The study adopted the SERVQUAL model and five factors of SERVQUAL, Tangibles, Reliability, Responsiveness, Assurance, and Empathy are used as parameter values. In measuring the parameter variable, both the users' expectations and their perceived service level were measured. The difference between the expectations and the perceived level was used as users' assessment of service quality. According to the results, all but re-investment dependence level among the five SERVQUAL levels, were linked in one way or another.
초록
이 연구의 목적은 우리나라 어린이도서관 웹사이트를 이용하는 이용자의 만족도를 분석하고 나아가 이용자 만족도, 충성도, 불평도에 영향을 미치는 요인을 분석하는 것이다. 이 연구에서 사용된 만족도 분석 방법은 김희섭과 박용재의 모형을 수정하여 사용하였으며, 이용자 만족도는 크게 콘텐츠품질, 서비스품질, 그리고 시스템품질의 세 가지 차원으로 나누었다. 자료 수집은 D 어린이도서관 이용자를 대상으로 설문지를 통하여 이루어졌으며, 수집된 자료 중 유효자료 130부를 SPSS 18로 분석하였다. 분석결과 어린이도서관 이용자의 만족도가 높을수록 충성도는 높았지만 이와는 반대로 불평도는 낮게 나타났다. 이용자 만족도와 유의한 상관관계를 보인 요인들로는 (1) 콘텐츠 차원에서는 유용성, 정확성, 이해용이성, 신뢰성, 최신성, (2) 서비스 차원에서는 유형성, 신뢰성, 응답성, 공감성, 그리고 (3) 시스템 차원에서는 응답시간, 상호작용, 접근용이성, 사용용이성 등으로 나타났다.
Abstract
The purpose of this study is to analyze the user satisfaction, royalty and compliant of a children’s library Website. To achieve the aim of this study a modified Kim and Park’s model of the user satisfaction index which consists of information quality, service quality, and system quality dimension is adopted. A total of 130 valid responses to the questionnaire were analysed using SPSS 18. It is found that the higher the user satisfaction gives the higher the royalty and the lower the compliant. For the contents quality dimension, the items of Usability, Accuracy, Easy of understand, Reliability and Up-to-date; for the service quality dimension, the items of Interface design, Reliability, Responsiveness, and Empathy; for the system quality dimension, the items of Response time, Interactive, Easy to access, and Easy to use show a significant relationships to the users’ satisfaction.