- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
본 연구는 국내 문헌정보학 분야의 4대 학술지를 대상으로 구조적토픽모델과 문헌 네트워크 분석을 사용하여 연구영역을 분석하고, 각 학술지의 공통 및 특화된 연구영역을 식별하여 문헌정보학 분야의 학술 지형을 파악하는 것을 목적으로 한다. 연구결과, 문헌정보학 분야의 학술지들이 각기 다른 연구영역에 중점을 두고 있는 것으로 나타났는데, 한국문헌정보학회지는 문헌정보학 분야의 전반적인 연구영역을 가장 포괄적으로 다루고 있으며, 한국비블리아학회지 또한 유사한 연구경향을 보였으나 도서관경영 및 도서관프로그램과 관련된 주제 선호도가 높았다. 한국도서관․정보학회지는 문헌정보학 전반의 연구주제 및 타 학술지에 비해 학교도서관이나 독서교육과 관련된 분야에 특화된 주제들을 많이 다루고 있으며, 정보관리학회지는 정보기술 및 정보학 전반에 대한 주제적 비중이 높아 다른 세 학술지와 비교했을 때 주제적 차별성이 있었다. 본 연구는 학술지별 주요 연구영역을 파악함으로써 연구자들의 논문투고와 학술지의 주제 특성화 및 다양화를 위한 기초자료로 활용될 수 있을 것이다.
Abstract
This study aims to identify the academic landscape of the field of Library and Information Science by analyzing the research areas of the four major domestic journals using structural topic modeling and network analysis. The results show that each journal focuses on different research areas. The Journal of the Korean Society for Library and Information Science covers the most comprehensive range of research areas in the field, while the Journal of the Korean Biblia Society for Library and Information Science shows a similar research trend but with a higher preference for research areas related to library management and library programs. The Journal of Korean Library and Information Science Society deals more with topics related to school libraries and reading education and the Journal of the Korean Society for Information Management focuses more on information technology and information science. This study is able to provide valuable foundational data for researchers in submitting their papers and for the topical specialization and diversification of the journals in the field of Library and Information Science.