- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
급속히 발전하고 있는 정보통신기술은 기업과 조직의 운영시스템에도 영향을 미치고 있으며, 다수의 산업 분야에서 혁신적인 정보 및 지식관리 전략을 수립하기 위해 많은 연구가 진행되고 있다. 외교부는 지난 20년간 지식정보관리 관련 시스템의 많은 부분에 디지털 기술을 적용하고 있으나, 그에 맞는 전략을 분석하기 위한 기존 연구는 미흡한 실정이다. 본 연구는 인터뷰 및 외교부 내부 혁신 보고서 분석을 통해 현재 한국 외교부의 지식정보관리의 개념과 제약 사항을 진단하고, 외교부가 조직의 양면성 역량과 수용능력을 강화하여, 조직 혁신을 촉진하는 지식정보 관리체계를 제공하는 방법을 평가하는 목적으로 수행되었다. 외교부의 지식정보관리는 디지털 기술 변화에 적응할 수 있는 동적인 역량을 갖추고 있으나, 본질적인 내부의 한계(기밀 문서 처리구조, 지식정보관리 관련 협업체계 부재)와 외부의 한계(국내 정치 상황, 정부 조직의 위계질서)에 직면하고 있다. 이러한 내부적 한계와 외부적 요인으로 인한 영향을 최소화하는 방안을 마련하는 조직의 양면성 역량과 수용능력 증진을 통해 외교부가 조직 혁신을 위한 지식정보관리 체계를 개발해야 하는 것으로 관찰된다. 이를 위해 실질적으로 활용 가능한 IKM 시스템 개발을 위한 이후의 세부 연구에는 변화하는 환경에 대비한 직군 간 대화와 직원 역량 강화 방안이 포함되어야 할 것이다.
Abstract
With rapidly changing technological implementation of operating systems of businesses, the Ministry of foreign affairs (MOFA) of the Republic of Korea (ROK) has been undergoing digital transformation to its overall operations with the intent to innovate information and knowledge management (IKM) strategies since the mid-2000s. However, assessment as to the effectiveness of implemented IKM has been inadequately analyzed. This study aims to assess the concepts and limitations of the MOFA’s current IKM strategies and the methods it employs to deliver its IKM framework, in light of strengthening the organizational ambidexterity and absorptive capacity, and also fostering organizational innovation through a qualitative study that involves interviews and analysis of reports from MOFA. The MOFA’s IKM possesses dynamic capabilities to adapt to changing digital technologies. However, the institution’s IKM is constrained by limitations associated with the utilization of the IKM system such as a structure that handles confidential documents and a lack of a collaborative system for IKM, and external limitations such as changes in the domestic political situation governing MOFA’s priorities and the hierarchy of government organizations. Consequently, developing the organizational ambidexterity and absorptive capacity was not possible. To develop an IKM framework for organizational innovation, the MOFA must devise a way to minimize the impact of external changes by overcoming internal limitations. To that end, a detailed study on the development of a practically usable IKM system should include establishing a dialogue between job groups and enhancing employee competency in preparation for a changing environment.