초록

본 연구는 도서관 내외적인 정보환경과 운영환경의 변화요인을 수용하여 디지털 환경에서 대학도서관 평가지표를 개발하는데 있다. 이러한 연구를 수행하기 위하여 문헌연구와 델파이 조사, 본 조사를 실시하였으며, 본 연구를 통하여 규명된 연구의 주요 결과는 다음과 같다. 첫째, 문헌연구를 통하여 설정한 평가 항목 및 지표의 내용타당도를 검증하기 위한 델파이 조사 결과, 각 평가영역별 평정 값이 3.00이상이고 전체 평균이 4.02이며, 표준편차는 .40～.62 사이에 분포되어 있으므로 델파이 조사결과 평가지표는 타당한 것으로 조사되었다. 둘째, 본 평가지표의 구인타당도를 검증하기 위하여 요인분석을 실시하였다. 그 결과 11개 요인으로 구성된 평가항목의 요인별 누적 변량은 72.733%로서 타당성이 높은 것으로 검증되었다. 셋째, 사서의 특성별로 인지하는 정도의 차이를 검증하기 위하여 유의확률 0.05 수준에서 t-검증과 일원 변량분석을 실시하였다. 이상과 같이 델파이 조사와 본 조사의 결과를 토대로 하여 전체 7개 평가부분 35개 평가항목 92개의 평가지표로 구성된 새로운 평가지표를 개발하였다.

Abstract

This study is to consider varying factors of internal/external informational and operational environments in libraries, and develop a new evaluation indicators for university libraries in digital environments. The main research results are as follows. First, the results through the Delphi method that was to adopted to verify evaluation items and indicators determined by the literature review show that the repressed values for each evaluation category is greater than 3.00, overall average is 4.02. and standard deviation is ranged from 0.40 to 0.62 for each category. This means that the evaluation indicators are valid. Second, the factor analysis was performed to verify the construct validity of evaluation indicators. As a result, the cumulative variance of evaluation indicators consisting of 11 dimensions per factor is 72.733%. In turn, this result shows that the validity of these indicators is very reliable. Third, t-test and one-way ANOVA are performed within significance probability 0.05 in order to verify differences in each librarians point of views for the degree of importance in evaluation indicators. Based on the Delphi study and our own analysis, we developed a new evaluation indicators that consists of 7 evaluation categories, 35 evaluation items, and 92 evaluation indicators.

초록

본 연구의 목적은 국내 대학도서관에서 수행하고 있는 연구성과 서비스의 도입, 성장, 현재 운영 내용 및 향후 계획을 구체적으로 살펴봄으로써 향후 서비스 도입을 고려하는 도서관이 참고할 수 있도록 하기 위한 것이다. 이를 위해 연구성과 서비스를 선도적으로 제공하고 있는 4개의 대학도서관을 대상으로 서비스 담당자와의 심층면담을 수행하였다. 심층면담의 내용은 성장, 운영, 서비스를 포함하는 5개의 범주로 구성되었다. 연구 결과, 연구성과 서비스는 대학 연구경쟁력 강화를 지원하려는 목적으로 학내 구성원의 요구 또는 서비스 확대를 위한 도서관 내부의 기획으로 2010년 전후로 시작되었고, 시스템의 개선과 서비스 내용의 확대를 통하여 지속적으로 서비스가 강화되어온 것으로 나타났다. 또한 연구성과 서비스의 개발과 운영을 위해 참조할 수 있는 연구성과 서비스의 종합적인 모형을 제시하였다.

Abstract

This study describes the introduction, growth, current practices and future plans of research evaluation services performed in domestic academic libraries, with a view to informing other libraries considering similar endeavours. To that end, in-depth interviews were conducted with four librarians from academic libraries leading in research evaluation services. The contents of the interviews were grouped into five categories including growth, management, and services. The study found that their research evaluation services were launched around 2010 by demands of members of a university or as a library’s initiative to expand the existing services for the purpose of enhancing the university’s research competitiveness. The research evaluation services have been strengthened by extending the service scope and improving related systems. Also, the study suggests a comprehensive model that can guide the development and operation of research evaluation services.

초록

이 연구의 목적은 ChatGPT가 도서의 표지, 표제지, 판권기 데이터를 활용하여 생성한 더블린코어의 품질 평가를 통하여 ChatGPT의 메타데이터의 생성 능력과 그 가능성을 확인하는 데 있다. 이를 위하여 90건의 도서의 표지, 표제지와 판권기 데이터를 수집하여 ChatGPT에 입력하고 더블린 코어를 생성하게 하였으며, 산출물에 대해 완전성과 정확성 척도로 성능을 파악하였다. 그 결과, 전체 데이터에 있어 완전성은 0.87, 정확성은 0.71로 준수한 수준이었다. 요소별로 성능을 보면 Title, Creator, Publisher, Date, Identifier, Right, Language 요소가 다른 요소에 비해 상대적으로 높은 성능을 보였다. Subject와 Description 요소는 완전성과 정확성에 대해 다소 낮은 성능을 보였으나, 이들 요소에서 ChatGPT의 장점으로 알려진 생성 능력을 확인할 수 있었다. 한편, DDC 주류인 사회과학과 기술과학 분야에서 Contributor 요소의 정확성이 다소 낮았는데, 이는 ChatGPT의 책임표시사항 추출 오류 및 데이터 자체에서 메타데이터 요소용 서지 기술 내용의 누락, ChatGPT가 지닌 영어 위주의 학습데이터 구성 등에 따른 것으로 판단하였다.

Abstract

The purpose of this study is to evaluate the Dublin Core metadata generated by ChatGPT using book covers, title pages, and colophons from a collection of books. To achieve this, we collected book covers, title pages, and colophons from 90 books and inputted them into ChatGPT to generate Dublin Core metadata. The performance was evaluated in terms of completeness and accuracy. The overall results showed a satisfactory level of completeness at 0.87 and accuracy at 0.71. Among the individual elements, Title, Creator, Publisher, Date, Identifier, Rights, and Language exhibited higher performance. Subject and Description elements showed relatively lower performance in terms of completeness and accuracy, but it confirmed the generation capability known as the inherent strength of ChatGPT. On the other hand, books in the sections of social sciences and technology of DDC showed slightly lower accuracy in the Contributor element. This was attributed to ChatGPT’s attribution extraction errors, omissions in the original bibliographic description contents for metadata, and the language composition of the training data used by ChatGPT.

초록

Abstract

With the purpose of enriching existing catalogues with FRBR, which is the Functional Requirements for Bibliographic Records, in mind, this paper aims to evaluate the impact of bibliographic ontology on the overall system’s performance in the field of literature. In doing this, OCLC’s FictionFinder (http://fictionfinder.oclc.org) was selected and qualitatively evaluated. In this study 40 university seniors evaluated the following three aspects using the ‘transferring thoughts onto paper method’: 1) In which ways is this FRBR-aware bibliographical ontology helpful? 2) Are the things which are initially attempted to be helped being helped? 3) Would users seeking one work in particular also see all other related works? In conclusion, this study revealed that, as Cutter claimed in his 2nd rule of the library, collocations give added-value to the users and overall ontology provides better interface and usefulness. It also revealed that a system’s evaluation with qualitative methodology helped to build full pictures of the system and to grip the information needs of the users when the system is developed. Qualitative evaluations, therefore, could be used as indicators for the evaluation of any information retrieval systems.

초록

Abstract

This study constructed an ontology targeting journal articles and evaluated its performance. Also, the performance of a triple structure ontology was compared with the knowledge base of an inverted index file designed for a simple keyword search engine. The coverage was three years of articles published in the Journal of the Korean Society for Information Management from 2007 to 2009. Protégé was used to construct an ontology, whilst utilizing an inverted index file to compare performance. The concept ontology was manually established, and the bibliography ontology was automatically constructed to produce an OWL concept ontology and an OWL bibliography ontology, respectively. This study compared the performance of the knowledge base of the ontology, using the Jena search engine with the performance of an inverted index file using the Lucene search engine. As a result, The Lucene showed higher precision rate, but Jena showed higher recall rate.

초록

본 연구는 대학도서관 이용자를 대상으로 도서관 챗봇을 설계하고 구현하여 언택트 시대의 새로운 비대면 디지털 참고정보서비스를 모색하고자 했다. 데이터 분석을 통해 이용자 요구 및 도서관 서비스를 분석하고, 적합한 챗봇 개발 방법을 선정하여 시나리오를 설계했다. 이용자 친화적인 상호작용을 위해 챗봇의 퍼스널리티를 설계하고 이용자 인터페이스를 디자인하여 사용성을 평가했다. 또한 챗봇의 응답정확도 평가 및 성능평가를 통해 정확도를 검증하고, 이용자 만족도 조사를 통해 챗봇의 효용성을 평가했다. 챗봇 운영관리 및 서비스 품질 유지를 위해 이용자-챗봇 간의 대화를 주기적으로 모니터링하고, 이용자 피드백을 반영하여 서비스를 개선했다. 챗봇 개발 과정 및 결과를 다각도로 분석하여 도서관 챗봇 설계 및 구현을 위한 구체적인 방안을 제시하고자 했다.

Abstract

This study explores the potential of using a library chatbot to improve the non-face-to-face digital reference services for academic library users by designing and implementing a library chatbot. Through data analysis, user needs and library services were analyzed, and a scenario was designed by selecting an appropriate development method. For user-friendly interaction, the personality of the chatbot and user interface was designed to evaluate its usability. In addition, the accuracy was verified through the response accuracy evaluation and performance evaluation of the chatbot, and the effectiveness of the chatbot was evaluated through a user satisfaction survey. In order to manage the operation and maintain service quality, the chatbot is improved by monitoring user-chatbot conversations and reflecting user feedback. Based on these findings, recommendations for designing and implementing a library chatbot were made to help improve library reference services.

초록

이 연구에서는 TREC이 제시한 토픽 검색의 정의에 따라 질의에 적합한 웹 사이트를 검색하는 효과적인 토픽 검색 알고리즘을 제안하고 실험을 통해 그 성능을 평가하였다. 이 연구의 토픽 검색 알고리즘은 먼저 질의에 대한 웹 페이지 검색 결과로부터 적합한 웹 사이트를 선정한 다음, 선정된 사이트의 구조를 이용하여 질의에 대한 적합성 점수를 산출한다. TREC의 .GOV 실험 문헌 집단과 TREC-2004 실험의 질의 및 적합문헌 리스트를 이용한 검색 실험 결과 이 토픽 검색 알고리즘은 상위 10위 안에 최소 2개 이상의 적합 사이트를 검색하여 비교적 높은 수준의 성능을 보였다. 또한 TREC-2004의 적합문헌 리스트 분석을 통해 적합문헌 선정에 토픽 검색의 정의가 엄격하게 적용되지 않은 경우가 있음을 확인하고, 수정된 적합문헌 리스트를 이용하여 토픽 검색 성능을 재평가한 결과 이 연구에서 제안한 토픽 검색 알고리즘의 성능이 월등히 향상되었다.

Abstract

This study proposes a topic distillation algorithm that ranks the relevant sites selected from retrieved web pages, and evaluates the performance of the algorithm. The algorithm calculates the topic score of a site using its hierarchical structure. The TREC .GOV test collection and a set of TREC-2004 queries for topic distillation task are used for the experiment. The experimental results showed the algorithm returned at least 2 relevant sites in top ten retrieval results. We performed an in-depth analysis of the relevant sites list provided by TREC-2004 to find out that the definition of topic distillation was not strictly applied in selecting relevant sites. When we re-evaluated the retrieved sites/sub-sites using the revised list of relevant sites, the performance of the proposed algorithm was improved significantly.

초록

본 연구는 대학도서관이 교수연구지원을 위해 기여하는 서비스 현황을 파악함으로써 대학도서관이 대학의 교수연구지원을 위해 그들의 정보요구에 부합되는 시스템을 운영하고 있는 가를 알아보며, 대학도서관 웹사이트를 이용한 학술연구정보 시스템 개발의 필요성과 로드맵을 제시하는데 그 목적이 있다. 이를 위해 현재 국내 대학도서관 평가기준에 따라 변화되어 온 대학도서관 발전의 문제점과 이로 인한 대학도서관의 교수연구지원서비스의 한계점에 대하여 조사하였다. 또한 국내외의 12개 대학 도서관의 교수연구지원서비스 활동을 개관하고 분석함으로써 국내 대학도서관의 보다 진취적인 교수연구지원 서비스를 위한 벤치마킹을 모색하고자 하였으며, 서비스 전략의 방향을 제시하고자 하였다. 특히 본 연구에서는 교수 연구지원을 위한 고객관계관리(Customer Relationship Management: CRM) 서비스 전략이라고 할 수 있는 일대일, “mass-personalized services”를 제시함으로써 대학도서관의 “one-stop service execution wheel”을 토대로 한 교수연구지원 서비스의 가능성을 탐색하였다.

Abstract

This research aims to explore faculty research support systems in university libraries, assess their service performance for faculty research, and suggest the need and roadmap for new service development. We perform in-depth analyses of not only the current university library evaluation criteria as part of the overall university evaluation criteria, but also ten university libraries in the United States and two university libraries in Korea. Thorough benchmarking studies reveal the problems of the current university library evaluation criteria in its advances and limitations of current faculty support service systems. Especially this research suggests to develop a one-stop service execution wheel for the roadmap for the faculty research support system which is based on customer relationship management(CRM) for one-to-one, mass- personalized services to the faculty.

초록

교육훈련 평가는 교육프로그램과 관련한 내용을 측정, 관찰하여 품질을 평가하고 이를 통해 교육훈련 변경에 대한 근거를 제공하는 행위이다. 국립중앙도서관은 사서교육 훈련프로그램 교육과정의 성과와 질을 제고할 수 있는 평가방법의 도입이 필요한 시점이다. 이에 본 연구는 국립중앙도서관의 사서교육훈련 직무교육의 효과성을 객관적이고 복합적으로 측정할 수 있는 평가모형을 개발하는 것을 목적으로 하였다. 이를 위해 Kirkpatrick의 4단계 평가모형을 적용하였으며, 선행연구, 국립중앙도서관 사서교육훈련 교육과정 현황조사, 이해관계자 요구분석을 실시하였다. 이를 바탕으로 사서교육훈련 평가체계 방향성을 설정하기 위한 평가체계 및 평가도구를 제시하였다. 본 연구 결과는 실제 국립중앙도서관 사서교육훈련과정의 현실적인 평가체계로 활용될 수 있을 것으로 기대된다.

Abstract

Evaluation of education and training is the act of measuring and observing contents related to an educational program and evaluating its quality; and thereby providing the basis for the changes in the curriculum. The National Library of Korea (NLK) has urgently needed to introduce an evaluation method that can enhance the performance and quality of its continuing education program. Therefore, this study is aimed at developing an evaluation model that can objectively and comprehensively measure the effectiveness of NLK’s job training program for its librarians. To this end, the study applied Kirkpatrick’s 4-Level Training Evaluation Model and conducted review of preceding researches, investigation of NLK’s librarian continuing education program, along with analysis on the stakeholders’ needs. Based on the results, the study suggested evaluation system to establish the directions of the evaluation system. The findings of this study are expected to be used as a practical evaluation system for NLK’s librarian education program.

초록

본 연구는 2007년 고안된 병영도서관 평가지표의 개발과정을 고찰하고, 이를 2008년 84개 병영도서관에 적용한 결과 분석을 통해 보다 합리적으로 활용 가능한 평가지표로 수정하는 방안을 모색하였다. 이에 따라 병영도서관 서면평가결과와 10개 기관의 실사결과를 종합하여 나타난 문제점 분석을 통해 계획, 재정, 서비스, 장서관리 등 8개 영역 28개 지표와 지표별 평가 척도 일부를 수정․보완하였다. 또한, 정확하고 객관적인 평가를 위해 군별 특성이 다른 해군과 공군의 병영도서관을 육군 병영도서관과 분리하여 그룹핑할 것과, 보다 완전한 평가를 위하여 병영도서관 실태 조사 표준안을 만들어 군별로 전수조사가 이루어져야 한다는 것을 제안하였다.

Abstract

This study considered the developing course on evaluation indicators of military library which published in 2007, and applied them to 84 military libraries in 2008. By analyzing the results from applying, this study also tried to find more effective evaluation indicators which are available properly. Through the output analysis of documental evaluation and actual inspection, which performed by ten organizations, on military library, revised and completed 28 indexes of 8 classes ­ plan, finance, service, collection management etc. and some of their evaluation scales. For accurate, objective evaluation, it is suggested that the navy and the air force libraries which have different military traits have needs for grouping separately from the army libraries, and also proposed to make standard of research on the actual condition for military libraries that can be used in each military line.