- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
급속히 발전하고 있는 정보통신기술은 기업과 조직의 운영시스템에도 영향을 미치고 있으며, 다수의 산업 분야에서 혁신적인 정보 및 지식관리 전략을 수립하기 위해 많은 연구가 진행되고 있다. 외교부는 지난 20년간 지식정보관리 관련 시스템의 많은 부분에 디지털 기술을 적용하고 있으나, 그에 맞는 전략을 분석하기 위한 기존 연구는 미흡한 실정이다. 본 연구는 인터뷰 및 외교부 내부 혁신 보고서 분석을 통해 현재 한국 외교부의 지식정보관리의 개념과 제약 사항을 진단하고, 외교부가 조직의 양면성 역량과 수용능력을 강화하여, 조직 혁신을 촉진하는 지식정보 관리체계를 제공하는 방법을 평가하는 목적으로 수행되었다. 외교부의 지식정보관리는 디지털 기술 변화에 적응할 수 있는 동적인 역량을 갖추고 있으나, 본질적인 내부의 한계(기밀 문서 처리구조, 지식정보관리 관련 협업체계 부재)와 외부의 한계(국내 정치 상황, 정부 조직의 위계질서)에 직면하고 있다. 이러한 내부적 한계와 외부적 요인으로 인한 영향을 최소화하는 방안을 마련하는 조직의 양면성 역량과 수용능력 증진을 통해 외교부가 조직 혁신을 위한 지식정보관리 체계를 개발해야 하는 것으로 관찰된다. 이를 위해 실질적으로 활용 가능한 IKM 시스템 개발을 위한 이후의 세부 연구에는 변화하는 환경에 대비한 직군 간 대화와 직원 역량 강화 방안이 포함되어야 할 것이다.
Abstract
With rapidly changing technological implementation of operating systems of businesses, the Ministry of foreign affairs (MOFA) of the Republic of Korea (ROK) has been undergoing digital transformation to its overall operations with the intent to innovate information and knowledge management (IKM) strategies since the mid-2000s. However, assessment as to the effectiveness of implemented IKM has been inadequately analyzed. This study aims to assess the concepts and limitations of the MOFA’s current IKM strategies and the methods it employs to deliver its IKM framework, in light of strengthening the organizational ambidexterity and absorptive capacity, and also fostering organizational innovation through a qualitative study that involves interviews and analysis of reports from MOFA. The MOFA’s IKM possesses dynamic capabilities to adapt to changing digital technologies. However, the institution’s IKM is constrained by limitations associated with the utilization of the IKM system such as a structure that handles confidential documents and a lack of a collaborative system for IKM, and external limitations such as changes in the domestic political situation governing MOFA’s priorities and the hierarchy of government organizations. Consequently, developing the organizational ambidexterity and absorptive capacity was not possible. To develop an IKM framework for organizational innovation, the MOFA must devise a way to minimize the impact of external changes by overcoming internal limitations. To that end, a detailed study on the development of a practically usable IKM system should include establishing a dialogue between job groups and enhancing employee competency in preparation for a changing environment.
초록
본 연구에서는 공공부문에서 운영되고 있는 KMS의 성과평가의 일환으로 KMS 사용자 만족도의 선행요인 및 사용자 만족도와 성과 간의 구조적 관계를 분석하고 효과적인 KMS 운영을 위한 함의를 제시하였다. 본 연구에서 실시한 지식품질과 KMS 품질, 사용자 만족도 및 성과 간의 영향관계에 관한 구조방정식 분석결과, 연구모형에서 설정한 3개의 가설 모두가 채택되었다. 이러한 분석결과를 토대로 본 연구에서는 KMS 사용자 만족도 및 성과 향상을 위한 효과적인 KMS 운영방안을 제시하였다.
Abstract
The purposes of this study are to examine the factors influencing the user satisfaction of knowledge management system(KMS) and the influence of the user satisfaction on the performance, and to search the strategies for effective KMS operating. The results of covariance structural analyses indicate that the factors-knowledge quality and KMS quality significantly influence the user satisfaction. User satisfaction also significantly affects the performance. Based on the results, this study discusses the potential implications for the strategies of KMS implementing to improve the user satisfaction and performance.
초록
연구․이용․수정․재배포를 허용하는 오프소스 소프트웨어(OSS)는 경쟁이 아닌 협력과 공유를 통해 발전해 나가는 도서관 정신과 유사하다. OSS는 사서들의 창의적 아이디어와 표준 업무프로세스를 기반으로 저비용 기술혁신을 실현할 수 있는 대안으로 평가되고 있으나, 지속적 발전을 위해서는 경험과 지식을 공유하는 성숙한 커뮤니티 정신이 요구된다. 본 연구에서는 커뮤니티 중심의 OSS ILS 사례인 KOHA와 Next_L을 심층 분석하고 이를 기반으로 국내 OSS ILS의 실현 방안을 제안하였다. 우리나라의 경우 관종별 도서관 컨소시엄을 중심으로 중소규모 도서관을 위한 OSS ILS 개발을 추진해 나가는 것이 바람직해 보인다. 그러나 아직 생소한 OSS ILS 필요성에 대한 현장의 공감대 형성, 커뮤니티 활성화를 위한 기운의 성숙이 전제되어야 할 것이다.
Abstract
The idea behind Open Source Software(OSS) that permits users to study, change, and improve, is similar to the spirit of the library that has been developed through cooperations and resource sharing rather than competition. OSS is regarded as an alternative, low-cost technical innovation based on librarian’s creative idea and standardized business process. Enthusiasm of the community is fundamental to successful installations and sustainable development. This study analyzed two community-based OSS ILS, namely KOHA and Next_L and suggested a future direction for domestic libraries. In the case of Korea, it is desirable for a library consortium to develop an OSS ILS for small- and medium-sized libraries. Most importantly, strong consensus about OSS ILS among the practiting librarians should be developed first.
초록
지식정보 사회가 점차 발전되어 감에 따라 온라인으로 제공되고 있는 정보에 대한 가치와 그 중요성이 날로 증가되고 있다. 하지만 정당화된 방법론이나 모델의 부재로 인하여 정보의 가치에 관련된 연구는 다소 미진한 실정이다. 이에 본 연구에서는 온라인 정보의 경제적 가치 평가 모델을 제안하고, 제안된 모델을 이용하여 실제로 정보통신부의 지원사업으로 개발 운영중인 정보통신 통합정보시스템(즉, ITFIND)에서 온라인으로 제공되고 있는 정보의 경제적 가치를 산출하였다. 경제적인 가치를 측정하기 위해 첫째, 정보의 카테고리별 이용가치와 교환가치를 측정하였고, 둘째, 이용자의 연간 수요량을 통해 정보 카테고리별 연간 일인당 CSUV와 CSEV를 산출하였으며, 마지막으로 ITFIND 전체 이용자의 연간 일인당 모평균 CSUV와 CSEV 추정을 통해 ITFIND에서 제공하고 있는 정보의 연간 경제적 가치인 CSUV와 CSEV를 산출하였다.
Abstract
Value and importance of online information are increased day by day as the knowledge and information society is emerging. However there is little study on information assessments due to the lack of the valid methodologies and models in this field. In this study we proposed a model of the economic value assessments for online information and utilized it to the contents of ITFIND which is an integrated IT information system supported by the MIC(Ministry of Information and Communication). We measured information value of ITFIND as follows: (1)both ‘use value' and ‘exchange value,' (2) annual CSUVand CSEV per person by the category of each information, and (3) annual economic value of CSUV and CSEV of ITFIND information based on it's users' annual CSUV and CSEV per person.
초록
기계가 정보의 의미를 이해하고 처리할 수 있도록 기존의 웹을 확장하는 것을 목적으로 하는 시멘틱 웹은 온톨로지를 이용하여 지식을 공유하게 된다. 본 논문에서는 정교한 질의의 처리를 위하여 온톨로지 내에 존재하는 의미 관계들을 질의의 확장을 위한 연관피드백 정보로 이용하는 방안을 제안한다. 실험은 도메인 온톨로지인 Medicine 온톨로지를 대상으로 하였으며, 출현 용어들의 빈도정보만을 이용한 키워드기반 문서검색과 제안한 온톨로지기반 문서검색의 성능을 비교하였다. 이 때, 두 시스템의 정확률과 재현율을 성능 평가의 기준으로 삼았다. 그 결과, 검색 엔진은 온톨로지에 정의된 개념들과 규칙들을 활용하면서 검색의 정확률을 향상시키는데 도움이 되었고 검색 성능을 향상시키기 위한 추론의 기반으로도 사용될 수 있었다.
Abstract
For the purpose of extending the Web that is able to understand and process information by machine, Semantic Web shared knowledge in the ontology form. For exquisite query processing, this paper proposes a method to use semantic relations in the ontology as relevance feedback information to query expansion. We made experiment on pharmacy domain. And in order to verify the effectiveness of the semantic relation in the ontology, we compared a keyword based document retrieval system that gives weights by using the frequency information compared with an ontology based document retrieval system that uses relevant information existed in the ontology to a relevant feedback. From the evaluation of the retrieval performance, we knew that search engine used the concepts and relations in ontology for improving precision effectively. Also it used them for the basis of the inference for improvement the retrieval performance.
초록
대학도서관 사서들의 전문성 강화를 위한 계속교육 프로그램의 개발 방향을 제시하기 위하여, 대학도서관 사서들을 대상으로 한 국내외 계속교육 프로그램과 관련 선행연구를 고찰하고, 우리나라 대학도서관 사서의 계속교육 현황과 요구를 조사하였다. 전국 대학도서관 사서의 33.3%를 체계적으로 표집하여 설문조사를 수행하였으며, 계속교육 참여경험과 만족도, 계속교육 주제, 계속교육 운영방법, 계속교육 프로그램 평가방법, 계속교육 활성화 방안, 참여요인 등에 대한 현황을 파악하고자 하였다. 수요분석 결과 첫째, 대학도서관 사서의 전문성 강화를 위해 참석했던 계속교육 유형 및 교육의 만족도는 그다지 높지 않은 것으로 나타났다. 둘째, 교육요구 주제조사에서 도서관 홍보, 정보자원 및 지식콘텐츠 관리, 도서관환경변화와 적응에 대해 높은 요구도를 보였다. 셋째, 선호하는 계속교육 유형은 전문주제별 교육과 업무기능별 교육이었고, 가장 선호하는 교육기간은 일주일로 나타났다. 넷째, 계속교육의 활성화를 위해서는 교육내용의 전문성 증대, 지원체계확립, 교육수준의 다양화 등으로 나타났다.
Abstract
This study aims to propose a set of guidelines for the development of university librarians’ continuing education program. It examines previous academic literature regarding such programs both in Korea and overseas, as well as the present condition and demands of Korean university librarians. A survey was conducted by systematically sampling 33.3% of all university librarians nationwide and asking about their experiences with the existing continuing education program(e.g., general satisfaction level, program topics, program administration, evaluation methods, outreach methods, reasons for participation). The survey results show that the participants: (1) had a relatively low satisfaction level; (2) strongly demand programs focusing on library promotion, management of information resources and knowledge content, and skills to adjust to the rapidly changing library environment; (3) prefer a week-long course focused on specialized subjects and skill development; and (4) cite more specialized education content, the establishment of a support system, and diversified education levels as factors that would further their interest in the continuing education program.
초록
본 연구에서는 대학 도서관들이 이용자들에게 제공하는 여러 가지 기능들을 조사하고 그 가치를 측정하였다. 이용자들의 판단을 중시하는 연구의 수행을 위해 구체적인 대학 도서관의 이용요인이나 기능이 될 수 있는 상황이나 조건들은 이용자들이 직접 설정하고 그 중요도 평가를 설문조사방법으로 수집하였다. 수집된 자료의 분석은 크게 세 단계로 나누어 시행하였다. 첫째, 측정변수들의 관련성 및 독특성, 그리고 통계적 중요도에 따른 요인을 영역별로 나누기 위해 요인분석을 실시하였다. 둘째, 연구모형을 도출하기 위해 이분 로지스틱 회귀분석(binary logistic regression)을 실시하여 판별력 향상을 검정하였다. 세 번째 분석에서는 연구모형의 독립변수들에 대해 집단간 평균차이 분석을 실시하여 집단별 변수값 등 부가적인 설명을 하였다. 분석결과, 이용자들이 대학 도서관을 활용하는 목적 뿐만 아니라 이용자들에게 끼치는 지식이나 정보 그리고 도서관 시설들을 설명하는 데에는 도서요인, 경쟁 및 효율요인, 그리고 지불(무료)요인 등이 있음이 밝혀졌다. 또한 본 연구에서는 전자도서관 기능과 지불요인과의 상관성도 통계적으로 유의하게 나타났다.
Abstract
This paper examines the values of various library functions according to users' points of view. To execute this study, the several 'circumstance', related variables and 'condition' variables that lead to factors or functions of academic libraries were measured.Analysis was carried out in three stages. In the first, factor analysis was used on the three multi variable dimensions to ensure that the groups of variables loaded significantly and uniquely on the respective dimensions. The second phase of analysis involved the use of binary logistic regression analysis to complete research models. In the third phase, t-test was used to identify significant differences in the independent variables for additional explanation of the models. Books, competition & effectiveness and fee verses free (fee-free hereafter) are the three main factors that distinguish not only the purpose of using an academic library but also the degree of influence on knowledge, information and library facilities for the users. In addition, the fee-free factor related to digital library facilities was also uncovered.
초록
대학생의 전자책 이용에 대한 이해를 돕고 현황을 파악하기 위하여 A대학교 학생들을 표집하여 설문조사와 면접을 수행하였다. 466명의 응답에 기초하여 분석한 결과를 보면, 대학생들의 전자책과 서비스에 대한 인지도는 낮은편이며, 약 30%가 이용경험을 가지고 있고, 접근경로는 대학도서관사이트가 지배적이다. 이용자의 73%가 3권 이하의 전자책을 읽었으며, 이용 분야는 다양하나 문학과 장르문학에 치우쳐 있고, 목적은 학술적 독서와 개인적 독서로 양분되어 있다. 부가기능에 대한 인지도와 활용 수준은 미약하다. 이용자들의 만족도 또한 낮고, 50% 이상이 중립적 견해를 보이고 있다. 이용 경험이 없는 학생들의 비이용 요인은 주로 불편함과 관련지식 부족으로 나타났다. 그러나 비이용자의 약 88%가 향후 이용의지를 표명하고 있다. 면접조사 결과를 보면, 적극적 이용자들은 전자책의 유용성을 인식하고, 화면독서에 친숙하며, 실용도서를 이용하는 것을 알 수 있다. 그러나 이들의 부가기능 인지도 및 활용수준 그리고 만족도 또한 낮다. 분석 결과에 따라, 이용 활성화를 위한 홍보, 생산의 다양화, 교육, 서비스 평가의 필요성이 제언되었다.
Abstract
To understand the use of the ebooks among undergraduate students, a questionnaire was devised and collected data from 466 respondents. The level of ebook and its service awareness appears to be low, and only about 30% of the students have used ebooks in the past. Students access ebooks primarily through the library homepage. 73% of the users read 3 ebooks and below. The subject and area of reading is fairly spread, however literary works and genre fiction were most popular. And the purpose is split into academic and private reading. Most of the users lack of knowledge about additional functions. Overall satisfaction level is low. Discomfort and ebooks illiteracy constitute the major reasons of nonuse, however about 88% of the nonusers show willingness to use in the future. According to the interview, active users are familiar with the screen reading as well as perceived advantages of ebooks. Nontheless, their satisfaction level is still low. Based on the results, recommendations for creating awareness, education, production development and service evaluation are suggested to promote the ebooks use.
초록
디지털보존은 디지털콘텐츠를 관리하고 있는 대학도서관에서는 또 하나의 중요한 업무로 인지되고 있다. 본 연구는 대학도서관에서 이루어지고 있는 디지털보존에 대한 실태를 파악하기 위하여 전국 4년제 대학의 대학도서관 중 디지털콘텐츠를 구축하고 있는 102개 도서관을 대상으로 디지털보존 요건에 대한 담당자의 인식과 디지털보존 실무 현황 및 그 수준을 분석하였다. 연구결과, 대다수의 디지털보존 담당자들은 진본성 보장을 가장 중요하게 여겼고, 정책 및 업무절차가 적합하게 수립되어야 하며 담당자는 우선적으로 디지털보존에 대한 전문지식을 갖추어야 한다고 하였다. 또 기관의지의 부재와 예산확보의 어려움이 디지털보존의 가장 큰 장애 요인이었으며 디지털보존 계획 및 정책수립에 대한 교육이 가장 필요하다고 하였다. 또한 디지털보존에 대한 인식 및 실태가 대학규모와 콘텐츠구축 규모에 따라 차이가 있을 것이라 보고 규모별로 서로 비교한 결과, 규모와 상관없이 인식과 실무는 거의 유사한 것으로 나타났다. 대학의 규모와 콘텐츠 구축의 규모가 크면 클수록 디지털보존 수준에 대한 평가는 높았지만, 전체적으로 현재의 국내 대학도서관의 디지털보존 수준은 미흡하다고 보았다. 따라서 앞으로의 대학도서관은 디지털보존을 위한 정책 및 업무절차를 미래지향적으로 수립하고 디지털보존을 위한 기술적 역량을 확장시켜야 할 것이다.
Abstract
Digital preservation becomes, nowadays, one of the important business process in the academic libraries. This study is to investigate the librarians’ perception on digital preservation requirements and to analyze the business practices of the digital preservation and digital preservation level in the 102 academic libraries. In results, it is found that the digital preservation specialists in academic libraries have almost same perception on basic policies and direction. Also, the study finds that the important function of digital preservation is to secure authenticity and integrity; policy and expertise are the most important key components for digital preservation; the most frequently reported barriers to preservation are the lack of willingness and funding problems; most librarians want to learn and train how to establish preservation planning and policy. In general, most librarian think that the level of digital preservation in the academic libraries is insufficiency. Therefore the academic libraries should establish the relevant digital preservation policy and business workflows and to develop capacity of digital preservation.