- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
자료를 기술하기 위해 일반적으로 활용하는 AACR 계열의 목록규칙과 서지구조는 한국의 고문헌만이 지니고 있는 서지적 특성을 구체적으로 반영하는 것에 한계를 보이고 있다. 이에 본 연구에서는 고문헌의 서지적 측면을 분석하고 FRBR LRM 개념적 모형을 기반으로 기술항목 사이의 관계를 형성하여 고문헌의 고유한 특성에 최적화된 서지구조를 제안하였다. 이때 관계의 설정은 관련된 고문헌을 서지적으로 연결시켜 줄 수 있는 방향으로 이루어져야 하며, 이를 위해서는 고문헌, 특히 우리나라의 고문헌이 지닌 서지적 특성과 형태적, 내용적 변형을 충분하게 반영할 수 있는 관계의 형성이 설정되어야 한다. 단위저록 형태의 단편적인 서지레코드만을 생성하는 기존의 서지 환경에서 벗어나 LRM 구조를 적용함으로써 서지데이터 단위로 기술항목을 분리 및 통합하는 것이 가능해진다. 이를 통해 새로운 서지적 환경을 마련함으로써 고문헌의 조직, 관리, 활용을 보다 효율적으로 할 수 있게 되며, 향후 BIBFRAME 형식의 서지데이터 생성 기반을 마련할 수 있다.
Abstract
The cataloging rules of AACR families and bibliographic structure, which are broadly used in describing resources, show limitations in reflecting the unique bibliographic characteristics of Korean old materials. Thus this research proposed a bibliographic structure optimized to the unique bibliographic characteristics of Korean old materials by establishing bibliographic relationships between bibliographic entities based on the FRBR LRM conceptual model. The bibliographic relationships should be established in the way of connecting related materials in the bibliographic structure. These relationships should sufficiently reflect the bibliographic characteristics of the materials, physical variations, and content variations. Through this structure, the bibliographic description can be separated and integrated into the bibliograhpic unit by applying LRM conceptual model. By using the proposed structure, the organization, management, and utilization of Korean old materials can be more efficient. Also, it can provide a new bibliographic environment that can be the foundation of creating BIBFRAME records for Korean old materials.