초록

1990년대에 들어서면서 보편화되기 시작한 정보화의 물결은 도서관의 서비스 형태에도 많은 변화를 가져왔다. 그러나 도서관 이용자의 입장에서는 어떤 형태의 서비스가 제공되더라도 기본적으로 이용자가 제공받는 서비스일 뿐, 도서관 이용에 대한 느낌이나 감정 등을 포함하는 서비스의 만족도는 제공받은 서비스의 품질에 의해서 좌우될 수밖에 없다는 특성을 갖는다. 본 연구는 도서관의 서비스 제공이 갖는 이러한 기본적인 특성에 착안하여 이용자들의 관점에서 서비스의 품질 수준을 평가하고, 이에 영향을 미치는 주된 요인들을 파악하여, 향후 더욱 높은 수준의 서비스를 제공할 수 있는 기틀을 마련하고자 하였다. 연구의 모형으로는 서비스 품질을 측정할 때 이용되는 서브퀄(SERVQUAL) 모형을 채택하여, 전문도서관에서 이용자들이 느끼는 서비스 품질에 대한 기대와 지각을 측정하였다.

Abstract

The rapid change in almost every area of science at the turn of the 21st century have also affected libraries and information centers. Whatever the change, from the library users' perspective, the functions provided by the library, is perceived as “service” and the satisfaction of the users can only be measured by the quality of the service. The study adopted the SERVQUAL model and five factors of SERVQUAL, Tangibles, Reliability, Responsiveness, Assurance, and Empathy are used as parameter values. In measuring the parameter variable, both the users' expectations and their perceived service level were measured. The difference between the expectations and the perceived level was used as users' assessment of service quality. According to the results, all but re-investment dependence level among the five SERVQUAL levels, were linked in one way or another.

초록

본 연구는 최근 열린 정부 데이터에 대한 다차원 척도, 모델 개발 연구가 시작되고 있으나, 도서관에서는 관련 연구가 부족하다는 점을 고려하여 도서관에 적용할 수 있는 오픈 데이터 품질측정 모델개발을 목적으로 하였다. 본 연구는 모델개발과 모델평가 두 단계로 수행하였다. 모델개발은 델파이 기법을 적용하였으며, 모델평가는 도서관 오픈 데이터 이용자를 대상으로 설문조사를 실시하여 모델의 타당도와 신뢰도를 측정하였다. 모델개발은 델파이 기법을 적용하여 총 4차례 수행하여 3개 차원, 18개 요인, 133개 측정요소로 구성된 모델을 도출하였다. 모델평가는 델파이 기법으로 완성한 모델을 도서관 오픈 데이터 이용자인 국내․외 사서, 개발자, 오픈 데이터 활동가를 대상으로 적합성 설문조사를 실시하여 모델의 타당도와 신뢰도를 검증하였다. 그 결과 당초 18개 요인, 133개 측정요소는 15개 요인, 54개 측정요소가 타당성을 확보한 것으로 나타났다. 신뢰도는 차원별, 측정요인별로 모두 기준치인 0.6 이상의 결과를 보여주고 있어 높은 신뢰도를 확보한 것으로 나타났다. 모델평가를 통한 이용자 타당도, 신뢰도 분석으로 전문가가 구성한 평가모델은 현장에서 즉시 활용될 수 있을 정도로 정제되었다.

Abstract

This study draws on the current momentum to diversify open government data research through multidimensional scaling and model development. It formulates a quality assessment model applicable to library open data, taking into consideration the paucity of such research in the field. The model was developed using the Delphi method and verified for validity and reliability on the basis of a survey administered to library open data users. The results of the fourth round exhibited an average of 4.00 for all measured elements and a minimum validity of .75, rendering the model appropriate for use in quality assessments of library open data. The convergence and stability results provided by the expert panel fell below .50, confirming that there was no need to conduct further surveys in order to establish the validity of the Delphi method. The model's reliability likewise garnered results of .60 and above in all three dimensions. This Model completed with the input of the Delphi panel was put through a verification process in which library open data users such as domestic and international librarians, developers, and open data activists reviewed the model for validity and reliability. The model scored low on validity on account of its failure to load all measure factors and elements pertaining to the three dimensions. Reliability results, on the other hand, were at 0.6 and above for all dimensions and measured elements.

초록

이 연구는 국내 전문도서관을 대상으로 서비스 품질 차원 변수들의 이용자 만족도에 대한 상관성, 상대적 영향력, 차별적 영향력을 분석하여 이용자 만족도의 결정요인을 찾아내고, 이를 근거로 전문도서관의 이용자 만족도를 증대시키기 위한 경영개선의 실질적 방안을 찾고자 하였다. 괴리이론을 이용한 설문조사 결과 전문도서관 이용자들의 도서관 서비스에 대한 인식은 최소치에도 미치지 못하는 것으로 나타났다. 이에 서비스 품질 차원의 변수들과 만족도 영역간의 영향력의 상관관계를 분석하여 그 결과를 근거로 이용자 만족도를 효율적으로 증대시키기 위한 경영개선의 우선순위를 제안하고자 하였다.

Abstract

By exploring plausible relations between factors of service quality and user satisfaction, this study has derived significant determinants of user satisfaction. Based on the analytical findings, this study suggested practical measures to enhance user satisfaction of special libraries. If we determine the priority order of three dimensions of service quality depending on specialized areas of special libraries, and revise the items of higher correlations with user satisfaction, then we could effectively and efficiently level up user satisfaction of special libraries.

초록

본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.

Abstract

Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.

초록

Abstract

Despite the widespread use, critics claim that citation analysis has serious limitations in evaluating the research performance of scholars. First, conventional citation analysis methods yield one-dimensional and sometimes misleading evaluation as a result of not taking into account differences in citation quality, not filtering out citation noise such as self-citations, and not considering non-numeric aspects of citations such as language, culture, and time. Second, the citation database coverage of today is disjoint and incomplete, which can result in conflicting quality assessment outcomes across different data sources. This paper discuss the findings from a citation analysis study that measured the impact of scholarly publications based on the data mined from Web of Science, Scopus, and Google Scholar, and briefly describes a work-in-progress prototype system called CiteSearch, which is designed to overcome the weaknesses of existing citation analysis methods with a robust citation-based quality assessment approach.

초록

본 연구는 네이버 전문정보, 구글 스칼라, 그리고 MS Academic Search에서 제공하는 학술정보서비스에 대한 특성을 살펴보고 135명의 대학생을 대상으로 그 이용 및 품질에 대해 콘텐츠, 서비스 및 효과성을 중심으로 비교․평가 하였다. 분석결과 콘텐츠 부분에서는 구글 스칼라에 대한 이용자 평가가 높게 나타났고, 검색성의 경우 구글 스칼라가, 디자인 부분에서는 네이버 전문정보가 상대적으로 높게 평가되었다. 접근성에 있어서는 네이버 전문정보와 구글 스칼라가 MS Academic Search보다 높게 평가되었고, 정보의 유용성과 이용자 만족도에서는 구글 스칼라가 다른 포털 학술정보서비스보다 높게 평가되었다.

Abstract

This study was to evaluate the quality of academic information services provided by Naver Academic Information Service, Google Scholar, and MS Academic Search. This academic information services were evaluated in terms of the contents, service, and effectiveness. 135 four year college students were recruited for the survey. The results showed that the Google Scholar in contents section had higher score than Naver and MS Academic Search. In regard to service, Google Scholar had higher score in retrieval section while Naver had higher score in design section respectively. Finally, both Google Scholar and Naver in the access section had higher score than MS Academic Search.

초록

본 연구에서는 이용자를 고객의 개념으로 이해하고 고객가치와 고객만족간의 관련성에 기초한 고객중심의 인터넷 컨텐츠 서비스에 관해 조사하였다. 그 결과 효율적인 인터넷 컨텐츠 서비스를 위한 고객가치 창출 핵심요인인 품질, 서비스, 비용은 컨텐츠 사이트 재방문 및 구매의도에 중요한 영향을 미치는 것으로 나타났다. 특히, 컨텐츠 서비스면에서 불만대응시간 및 고객지원체제에 대한 만족도 조사결과 다른 품질이나 비용에 비해 만족도가 낮은 것으로 나타나 이에 대한 개선이 필요한 것으로 나타났다. 따라서 학술정보기관에서도 이용자 서비스 연구를 고객가치수준에서 연구해야 할 것으로 보인다.

Abstract

This study explores a user as a customer and analyzed a customer centered contents service based on the customer value and custoner satisfaction. This study showed that revisit of the site and content purchase are strongly affected by contents quality, service and cost. Especially, the ratio of satisfaction of the the complaint-response time and customer support system in cpnparison to the quality and cost factors was low. Therefore, library and infprmation center meed to improve the contents service in terms of customer relations.

초록

1970년대 후반 북유럽을 중심으로 제조업 부문에서 시작된 서비스 품질 연구는 기업이 그들이 제공하는 서비스에 대하여 보다 많은 관심을 기울이게 되면서 활발해지게 되었다. 이러한 상황은 도서관도 예외는 아니어서 도서관의 경쟁력을 높이고 이용자들에게 보다 높은 수준의 서비스를 제공하기 위한 방면의 모색이 어느 때보다 절실하게 요구되고 있는 현실이다. 본 연구는 서비스 마케팅 분야의 대표적인 서비스 품질 평가 방법인 SERVQUAL과 SERVPERF를 적용하여 도서관의 서비스 품질을 평가하고 SERVQUAL과 SERVPERF중 어떠한 방법이 도서관 서비스 평가에 적합한 지를 평가하였다. 또한 서비스 품질과 이용자 민족간의 관계를 고찰하였다.

Abstract

Research papaers on the service quality, which began with the manufacturing industry in many Northern Europe at the end of 1970, have been found since the companies became much concerned about the level of services they offered. Libraries can not be an exception to this situation. It is absolutely necessary to find a way to develop a competitive strategy to offer a high level of services to those who use libraries. The purpose of study to evaluate the quality of library services by applying "SERVQUAL" and "SERVPERF" of evaluating service quality and to determine which of these 2 methods is better in terms of measuring library services. The study also investigated the relationship between the service quality and user satisfaction.

초록

공공데이터의 개방과 제공의 활성화와 함께, 공공도서관이 업무 중에 생산한 서지 데이터와 대출 이력과 같은 데이터가 도서관 공공데이터로 제공되고 있다. 본 논문은 도서관 공공데이터의 품질을 진단하고, 그 결과를 바탕으로 도서관 공공데이터의 품질을 높일 개선방안을 제안하고자 한다. 먼저, 문헌정보학 영역에서 공공데이터에 관해 이루어진 연구를 개괄한다. 그다음으로, 도서관 공공데이터 개방 플랫폼인 도서관 정보나루의 오픈 API를 통해 확보한 도서관 공공데이터의 완전성과 정확성을 진단한다. 마지막으로, 데이터 품질 진단 결과에 바탕을 개선방안을 도출한다. 완전성을 진단한 결과, 도서의 식별과 검색을 위 필수적인 서지 요소에서 다수의 공백이 확인되었다. 정확성을 진단한 결과, 값의 유형, 값의 범위, 제한조건을 따르지 않는 부정확한 서지 요소가 확인되었다. 본 연구는 데이터 품질 진단 분석 결과를 바탕으로, 도서관 정보나루의 데이터 수집 절차 개선, 데이터별 스키마 구축, 데이터 수집과 데이터 처리에 관한 안내 제공, 원자료 공개를 제언하였다.

Abstract

With the popularization of open government data, Library-related open government data is also open and utilized to the public. The purpose of this paper is to diagnose the quality of library-related open government data and propose improvement measures to enhance the quality based on the diagnosis result. As a result of diagnosing the completeness of the data, a number of blanks are identified in the bibliographic elements essential for identifying and searching a book. As a result of diagnosing the accuracy of the data, the bibliographic elements that are not compliant with the data schema have been identified. Based on the result of data quality diagnosis, this study suggested improving the data collection procedure, establishing data set schema, providing details on data collection and data processing, and publishing raw data.