- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
우리나라 대학도서관에서는 디지털 패러다임에 적합한 디지털 정보자원을 구축하여 서비스를 제공하고 있으며 이를 위하여 디지털 보존에 힘써왔지만, 아직까지 본격적으로 연구되고 논의되지 않고 있다. 디지털 보존은 인쇄매체 보존 방법과 상이하게 다르므로 디지털 정보자원의 안정성과 기능성을 최대한 확보, 유지할 수 있도록 보존전략을 강구해야 할 필요가 있다. 본 연구는 대표적인 디지털 정보자원의 보존기술인 매체재생, 매체변환, 포맷변환, 정보전환, 에뮬레이션 기술의 대학도서관에서의 사용정도와 대학도서관의 디지털 정보관리 담당자들이 생각하는 각각의 보존 기술에 대한 위험가능성과 위험영향력을 조사하여 위험관리 분석을 하였다. 그 결과, 가장 빈번히 사용하되 있는 기법은 포맷변환이고 전혀 사용하지 않고 있는 기법은 에뮬레이션임을 알 수 있었다. 또한 위험이 발생할 확률과 데이터 손실 영향력이 가장 낮은 방법은 매체재생인 것으로 판명되었고 가장 높은 것은 에뮬레이션 기법과 정보전환으로 나타났고 사서들은 디지털 보존활동을 전문적으로 수행할 전담 담당자가 없는 경우 위험발생 확률이 제일 높을 것으로 보았다.
Abstract
University libraries have developed digital information resources for digital services and have tried to preserve valuable digital information. Because digital preservation raises challenges of a fundamentally different nature which we added to the problems to preserving traditional format materials, it is necessary that preserving digital resources must be discussed and researched actively. This study conducts risk management for exploring preserving technologies and assessing tools. It is found that most university libraries have used format conversion frequently and do not use the emulation technology. It is also found that medium refreshing has the lowest risk probability and isk impact, but information migration and emulation technology have the highest in the risk probability and in the risk impact individually and the absence of full-time professional staff causes high risk.
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.