- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
정보관리기관은 기관의 디지털 성숙도를 효과적으로 평가하고 개선 방향을 명확히 하여 급속도로 발전하는 정보기술환경에 대응할 필요가 있다. 본 연구는 급변하는 정보환경 속에서 정보관리기관의 효과적인 평가 및 방향설정이 용이하도록 디지털 전환의 관점에서 KISTI가 개발한 디지털 큐레이션 성숙도 모델의 가중치를 도출하였다. AHP기법을 통해 모델의 대분류와 중분류에서 상대적 중요도를 가중치로서 도출하였다. 그 결과를 정리해 보면, 전체 모형의 대분류를 100점 기준으로 측정할 때 기술은 27점, 데이터는 24점, 전략은 19점, 조직(인력)은 16점, (사회적)영향력은 14점으로 계산 가능하였다. 그리고 각 대분류 내 중분류에 대해서도 세부항목 별 가중치를 각각 100점 만점을 기준으로 제시하였다. 본 연구에서 도출한 영역별 가중치를 디지털전환 성숙도 평가 모델에 적용함으로써 보다 객관적이고 합리적인 평가가 가능할 것으로 기대된다.
Abstract
In the rapidly developing information technology environment, information management organizations need to effectively evaluate their digital maturity and clarify the direction of improvement to effectively respond to rapidly changing environments. This study derived weights for the digital curation maturity model developed by KISTI from the perspective of digital transformation to facilitate effective evaluation and direction setting of information management organizations. Relative importance was derived as a weight in the major and middle categories of the model through the AHP technique. Summarizing the results, when the major categories of the entire model are measured on the basis of 100 points, technology is 27 points, data is 24 points, strategy is 19 points, organization (manpower) is 16 points, and (social) influence is calculated as 14 points. In addition, weights for each subcategory were presented for each major classification based on a perfect score of 100 points. It is expected that a more objective and reasonable evaluation will be possible by applying the weights for each area derived from this study to the digital transformation maturity evaluation model.
초록
본 연구는 고양시 제2차 독서문화진흥 종합계획 수립을 위해 그동안 고양시에서 시행해 왔던 주요 독서문화 진흥사업들의 추진 성과를 평가․분석함으로써, 고양시 특성을 반영한 독서문화 진흥정책의 주요 방향을 제안하기 위한 목적으로 수행되었다. 이러한 연구 목적을 달성하기 위해, 본 연구는 각종 문헌 및 통계자료를 토대로 고양시의 독서문화환경을 분석하고, 2017년에 수립된 ‘제1차 독서문화진흥 종합계획’ 및 해당 계획에 따라 수행된 주요 사업들의 추진 여부 및 주요 성과를 파악한 후, 추진 성과 평가를 위한 설문을 구성하여 고양시 사서들을 대상으로 설문 조사를 실시하였다. 마지막으로 앞서 수행된 고양시 독서문화 환경 분석 결과 및 사서 대상 설문 조사에서 도출된 독서문화진흥 사업 성과를 평가한 결과, 그리고 이전의 관련 선행연구에서 고양시민들을 대상으로 수행되었던 독서실태조사 내용 중 독서진흥사업과 관련한 의견수렴 항목의 결과 등을 종합하여 향후 제2차 고양시독서문화진흥 종합계획 수립을 위해 고양시 도서관에서 고려해야 할 여섯 가지 주요 정책 방향을 제안하였다.
Abstract
The purpose of this study is to evaluate and analyze the performance of major reading culture promotion projects implemented in Goyang City, in preparation for the establishment of the 2nd Comprehensive Reading Culture Promotion Plan in Goyang City. To achieve this research objective, this study analyzed various literature and statistical data, identified the reading culture environment in Goyang City, and determined whether major projects implemented according to the 1st Comprehensive Reading Culture Promotion Plan established in 2017 were promoted. In addition, a survey was conducted among librarians in Goyang City by constructing a questionnaire to evaluate the promotion performance of actual relevant projects. Then, by aggregating the data on the reading culture environment in Goyang City, the evaluation results of the reading culture promotion projects obtained from the survey among librarians, and the results of the opinions on the reading promotion projects of the reading surveys of Goyang citizens in the previous relevant study, six major policy directions were proposed to be considered in the establishment of the 2nd Comprehensive Reading Culture Promotion Plan in Goyang City.
초록
본 연구는 여성의 건강과 밀접한 관련이 있는 모바일 월경주기 측정 애플리케이션을 대상으로 토픽모델링 기법과 함께 다양한 텍스트 마이닝 기법을 도입하여 사용자 경험 평가를 실시하였으며 그 결과를 허니콤(Honeycomb)모델과 결합하여 분석하였다. 월경주기측정 애플리케이션 리뷰에서 드러난 사용자 경험을 평가하기 위해 월경주기측정 애플리케이션의 한국어 리뷰 47,117개를 수집하였다. 리뷰에서 드러난 사용자 경험에 관한 전체적인 담론 확인을 위해 토픽모델링 분석을 실시하였고, 각 토픽 별 구체적인 경험을 확인하고자 동시출현 네트워크 관계로 구축한 텍스트 네트워크 분석을 실시하였다. 또한 사용자의 정서적 경험을 파악하기 위해 감정분석(Sentiment Analysis)을 실시하였다. 이를 기반으로 월경주기측정 애플리케이션의 개발 전략을 정확도, 디자인, 모니터링, 데이터관리 및 사용자관리 측면에서 제시하였다. 연구 결과, 애플리케이션의 월경주기측정 정확도 및 모니터링 기능을 개선해야 함이 확인되었으며 다양한 디자인적 시도가 필요함이 관찰되었다. 또한 개인정보와 사용자의 생체 데이터 관리방법에 대한 보완의 필요성도 확인되었다. 본 연구는 월경주기측정 애플리케이션의 사용자 경험(UX)을 심층적으로 탐색하여 이용자들이 경험한 다양한 요인을 밝히고 더 나은 경험을 제공하기 위한 실질적인 개선점을 제시하였다. 또한 사용자 경험을 평가하는 과정에서 방대한 양의 리뷰 데이터를 연구자가 면밀하게 파악할 수 있도록 토픽모델링과 텍스트 네트워크 분석 기법을 결합하여 방법론을 제시하였다는 점에서 의의가 있다.
Abstract
This study conducted user experience evaluation by introducing various text mining techniques along with topic modeling techniques for mobile menstrual cycle measurement applications that are closely related to women’s health and analyzed the results by combining them with a honeycomb model. To evaluate the user experience revealed in the menstrual cycle measurement application review, 47,117 Korean reviews of the menstrual cycle measurement application were collected. Topic modeling analysis was conducted to confirm the overall discourse on the user experience revealed in the review, and text network analysis was conducted to confirm the specific experience of each topic. In addition, sentimental analysis was conducted to understand the emotional experience of users. Based on this, the development strategy of the menstrual cycle measurement application was presented in terms of accuracy, design, monitoring, data management, and user management. As a result of the study, it was confirmed that the accuracy and monitoring function of the menstrual cycle measurement of the application should be improved, and it was observed that various design attempts were required. In addition, the necessity of supplementing personal information and the user’s biometric data management method was also confirmed. By exploring the user experience (UX) of the menstrual cycle measurement application in-depth, this study revealed various factors experienced by users and suggested practical improvements to provide a better experience. It is also significant in that it presents a methodology by combines topic modeling and text network analysis techniques so that researchers can closely grasp vast amounts of review data in the process of evaluating user experiences.
초록
이 연구는 국내 대학도서관에서 운영하는 유튜브 콘텐츠에 대한 내용분석과 이용자의 댓글에 대한 감성 반응 분석을 통해 국내 대학도서관들의 유튜브를 활용한 도서관 서비스에 대해 종합적인 분석과 평가를 하였다. 연구 분석대상은 61개 대학도서관의 2,169개 유튜브 콘텐츠와 이용자의 댓글 6,487개였다. 연구결과로 국내 대학도서관의 유튜브 콘텐츠는 대분류 중 ‘자료’ 콘텐츠의 수량이 가장 많고 ‘소통’ 콘텐츠와 ‘교육’ 콘텐츠가 뒤를 이었으며, ‘홍보’ 콘텐츠가 가장 적었다. 소분류 중 ‘정보서비스’ 콘텐츠의 수량이 가장 많았으며 연구지원 서비스를 주된 내용으로 수록하였다. 국내 대학도서관의 유튜브 콘텐츠를 열람한 이용자의 감성 반응에 대한 분석에서 이용자 감성 반응이 가장 높게 나타난 대분류는 ‘자료’ 콘텐츠와 ‘소통’ 콘텐츠였다. 이용자 감성 반응은 모든 범주의 콘텐츠에서 긍정 반응이 대부분이었고 부정 반응은 긍정 반응에 비하여 적었으며, 빈번히 나타난 이용자 감성 표현은 ‘좋다’였다. 또한, 이용자 감성 반응에 사용된 어휘는 유튜브 콘텐츠의 내용에 대한 표현보다 영상에 등장하는 인물에 대한 표현이 많았다. 이용자의 평가는 콘텐츠의 기술적 품질에 관한 것 평가보다 콘텐츠의 내용에 관한 것이 많았다.
Abstract
This study conducted a comprehensive analysis and evaluation of library services using YouTube through content analysis of YouTube content and emotional response analysis of user comments. This study analyzed 2,169 YouTube contents and 6,487 comments of users from 61 university libraries. The results showed that the number of ‘data’ content was the largest among 4 categories, followed by ‘communication’ and ‘education’ content, and ‘promotion’ content. Among the sub-classifications, the number of ‘information services’ contents was the largest. In the analysis of users’ emotional responses to YouTube content, the major categories of users’ emotional responses were ‘data’ content and ‘communication’ content. Most of the user’s emotional responses were positive in all categories of content, and the most frequent user emotional expression was ‘good’. In addition, the vocabulary used in the user’s emotional response was more about the person appearing in the video than the expression of the content of YouTube contents.
초록
본 연구는 전자책 이용률이 높은 디지털 네이티브 세대인 20대를 대상으로 전자책 구독서비스에 대한 인식을 파악하고자 하였다. 설문조사와 사용성 평가(usability testing)를 병행한 혼합연구 방법을 통해 전자책 이용률이 높은 20대 대학생의 전자책 구독 서비스이용 실태 및 서비스에 대한 인식을 조사하였다. 설문조사를 통해 국내 대학생 202명의 의견을 수집하였고, 전자책 비이용자와 이용자를 구분하여 분석하였다. 설문 결과, 비이용자와 이용자 간의 전자책에 인식의 차이가 나타났으며, 휴대성 및 편의성은 두 연구 참여자 그룹에게 공통적으로 나타나는 전자책의 장점으로 조사되었다. 사용성 평가에서 사용된 ‘밀리의 서재’ 애플리케이션은 가장 대중적인 전자책 플랫폼으로 해당 서비스를 활용하여 전자책 이용 경험이 없는 20대 대학생 10명을 대상으로 평가가 진행되었다. 실험 결과, 연구 참여자들은 전자책의 편의성, 디자인, 다양한 부가 기능, 가성비 등에 대해 긍정적인 반응을 보인 반면, 흥미 부족, 기능 실용성, 터치 오류 및 오작동, 장서 부족, 시스템 문제에 대해서는 부정적인 의견을 나타냈다.
Abstract
The purpose of this study was to assess the perception of e-book subscription services among the digitally native generation in their twenties, who have a high e-book usage rate. This study employed a mixed-methods approach, combining survey responses and usability testing. It aimed to assess the awareness and usage of e-book subscription services among university students in their twenties, a demographic known for their high utilization of electronic devices and e-books. The survey was conducted among 202 university students, and the responses were categorized and examined based on whether they were users or non-users. As a result of the survey, I found there is different awareness of e-book between users and non-users, on the other hand, convenience and portability are the strong point of e-books for users and non-users commonly also. Usability testing was performed on a group of 10 university students in their twenties who had not previously used the ‘Millies Library’ application, which is renowned as the most widely-used e-book platform. Following the experiment, participants expressed positive feedback regarding various optional features, convenience, design, and cost-effectiveness. However, they also had negative reactions concerning touch errors, malfunctions, functional practicality, a lack of interest, system issues, and the absence of a library.
초록
본 연구에서는 전문도서관 사서를 대상으로 설문조사를 진행하였으며, 대내․외 환경변화와 정책적 지원방안에 따라 업무영역에 미치는 영향력을 분석하고, 설문조사 결과에서 분석된 현장사서들의 인식조사 결과를 토대로 전문도서관 발전에 영향을 미치는 요인과 이에 따른 정책적 제안을 도출하고자 하였다. 연구결과, 첫째, 개별 기관 내 도서관 위상 역할에 대한 인식에서는 도서관 발전계획 중요도에서 부정적인 의견이 58.3%, 도서관으로서 본연의 역할 수행여부에 대해서는 긍정적인 인식을 하는 것을 확인할 수가 있었다. 둘째, 전문도서관의 위상을 높이기 위해서는 주요 기능과 역할의 중요성을 인식하여 학술연구활동에 대한 인식이 필요함을 알 수 있었다. 셋째, 도서관발전종합계획 중 전문도서관 및 운영평가 인식에서는 국가 공공 정보의 대국민 서비스 확대에 대해 가장 높게 인식하고 있었다. 또한 5년간 발전전략 중 우선 시행되어야 할 정책으로는 전문도서관 현황 갱신 및 조사를 위한 시스템 구축을 선호하는 것을 확인할 수가 있었다. 넷째, 도서관 운영평가 참여율 제고를 위한 효과적인 대안 및 개선지표에 대해 분석한 결과, 공기업 평가 항목에서 “기관 도서관 운영 평가” 항목의 가중치 부여가 평균 4.01로 가장 높게 나타났다. 따라서, 전문도서관 발전을 위해서는 현재 전문도서관의 현황을 종합적으로 파악할 수 있는 체계를 구축하고 적극적인 학술 연구를 지원하는 것이 가장 시급할 것으로 파악되었다
Abstract
In this study, a survey was conducted targeting specialized librarians, and the impact on the work area according to changes in the internal and external environment and policy support measures was analyzed. In this study, we tried to derive factors that affect library development and policy suggestions accordingly. As a result of the study, first, it was confirmed that 58.3% of the negative opinions in terms of the importance of library development plans were positive in recognition of the role of library status within individual institutions. Second, in order to increase the status of specialized libraries, it was found that awareness of academic research activities was necessary by recognizing the importance of major functions and roles. Third, among the comprehensive library development plans, the recognition of specialized libraries and operational evaluation was the highest in recognition of the expansion of national public information services to the public. In addition, it was confirmed that among the five-year development strategies, the policy that should be implemented first is the preference for updating the status of specialized libraries and establishing a system for investigation. Fourth, as a result of analyzing effective alternatives and improvement indicators to increase the participation rate in library operation evaluation, the weighting of the “institutional library operation evaluation” item in the evaluation item of public enterprises was the highest at 4.01 on average. Therefore, for the development of specialized libraries, it was recognized as the most urgent task to establish a system that can comprehensively grasp the current status of specialized libraries as well as active academic research and support them.
초록
본 연구는 ‘우수한 성능의 메타데이터 속성 유사도 기반의 학술 문헌추천시스템’을 제안하는 데에 목적을 두고 있다. 본 연구에서는 정보조직에서 다루는 메타데이터의 활용과 계량정보학에서 다루고 있는 동시인용, 저자-서지결합법, 동시출현 빈도, 코사인 유사도의 개념을 활용한 문헌정보학 기반의 학술 문헌 추천기법을 제안하고자 하였다. 실험을 위해 수집한 ‘불평등’, ‘격차’ 관련 총 9,643개의 논문 메타데이터를 정제하여 코사인 유사도를 활용한 저자, 키워드, 제목 속성 간의 상대적 좌표 수치를 도출하였고, 성능 좋은 가중치 조건 및 차원의 수를 선정하기 위해 실험을 수행하였다. 실험 결과를 제시하여 이용자의 평가를 거쳤으며, 이를 이용해 기준노드와 추천조합 특성 분석 및 컨조인트 분석, 결과 비교 분석을 수행하여 연구질문 중심의 논의를 수행하였다. 그 결과 전반적으로는 저자 관련 속성을 제한 조합 혹은 제목 관련 속성만 사용하는 경우 성능이 뛰어난 것으로 나타났다. 본 연구에서 제시한 기법을 활용하고 광범위한 표본의 확보를 이룬다면, 향후 정보서비스의 문헌 추천 분야뿐 아니라 사회의 다양한 분야에 대한 추천기법 성능 향상에 도움을 줄 수 있을 것이다.
Abstract
The purpose of this study is to propose a scholarly paper recommendation system based on metadata attribute similarity with excellent performance. This study suggests a scholarly paper recommendation method that combines techniques from two sub-fields of Library and Information Science, namely metadata use in Information Organization and co-citation analysis, author bibliographic coupling, co-occurrence frequency, and cosine similarity in Bibliometrics. To conduct experiments, a total of 9,643 paper metadata related to “inequality” and “divide” were collected and refined to derive relative coordinate values between author, keyword, and title attributes using cosine similarity. The study then conducted experiments to select weight conditions and dimension numbers that resulted in a good performance. The results were presented and evaluated by users, and based on this, the study conducted discussions centered on the research questions through reference node and recommendation combination characteristic analysis, conjoint analysis, and results from comparative analysis. Overall, the study showed that the performance was excellent when author-related attributes were used alone or in combination with title-related attributes. If the technique proposed in this study is utilized and a wide range of samples are secured, it could help improve the performance of recommendation techniques not only in the field of literature recommendation in information services but also in various other fields in society.
초록
급속히 발전하고 있는 정보통신기술은 기업과 조직의 운영시스템에도 영향을 미치고 있으며, 다수의 산업 분야에서 혁신적인 정보 및 지식관리 전략을 수립하기 위해 많은 연구가 진행되고 있다. 외교부는 지난 20년간 지식정보관리 관련 시스템의 많은 부분에 디지털 기술을 적용하고 있으나, 그에 맞는 전략을 분석하기 위한 기존 연구는 미흡한 실정이다. 본 연구는 인터뷰 및 외교부 내부 혁신 보고서 분석을 통해 현재 한국 외교부의 지식정보관리의 개념과 제약 사항을 진단하고, 외교부가 조직의 양면성 역량과 수용능력을 강화하여, 조직 혁신을 촉진하는 지식정보 관리체계를 제공하는 방법을 평가하는 목적으로 수행되었다. 외교부의 지식정보관리는 디지털 기술 변화에 적응할 수 있는 동적인 역량을 갖추고 있으나, 본질적인 내부의 한계(기밀 문서 처리구조, 지식정보관리 관련 협업체계 부재)와 외부의 한계(국내 정치 상황, 정부 조직의 위계질서)에 직면하고 있다. 이러한 내부적 한계와 외부적 요인으로 인한 영향을 최소화하는 방안을 마련하는 조직의 양면성 역량과 수용능력 증진을 통해 외교부가 조직 혁신을 위한 지식정보관리 체계를 개발해야 하는 것으로 관찰된다. 이를 위해 실질적으로 활용 가능한 IKM 시스템 개발을 위한 이후의 세부 연구에는 변화하는 환경에 대비한 직군 간 대화와 직원 역량 강화 방안이 포함되어야 할 것이다.
Abstract
With rapidly changing technological implementation of operating systems of businesses, the Ministry of foreign affairs (MOFA) of the Republic of Korea (ROK) has been undergoing digital transformation to its overall operations with the intent to innovate information and knowledge management (IKM) strategies since the mid-2000s. However, assessment as to the effectiveness of implemented IKM has been inadequately analyzed. This study aims to assess the concepts and limitations of the MOFA’s current IKM strategies and the methods it employs to deliver its IKM framework, in light of strengthening the organizational ambidexterity and absorptive capacity, and also fostering organizational innovation through a qualitative study that involves interviews and analysis of reports from MOFA. The MOFA’s IKM possesses dynamic capabilities to adapt to changing digital technologies. However, the institution’s IKM is constrained by limitations associated with the utilization of the IKM system such as a structure that handles confidential documents and a lack of a collaborative system for IKM, and external limitations such as changes in the domestic political situation governing MOFA’s priorities and the hierarchy of government organizations. Consequently, developing the organizational ambidexterity and absorptive capacity was not possible. To develop an IKM framework for organizational innovation, the MOFA must devise a way to minimize the impact of external changes by overcoming internal limitations. To that end, a detailed study on the development of a practically usable IKM system should include establishing a dialogue between job groups and enhancing employee competency in preparation for a changing environment.
초록
본 연구는 대학도서관의 주제가이드 개발 및 개선을 위한 고려사항을 도출하기 위해 대학도서관의 주 이용자인 대학생을 중심으로 학술정보 탐색행태를 분석하였다. 분석 결과, 대학생들은 자신의 주관적 정보탐색능력 수준을 높게 평가하고 있었으나, 구체적인 검색어의 설정을 어려워하는 것으로 나타났다. 학술정보 이용 목적은 구체적이며, 하나의 데이터베이스에서 모든 정보탐색행위를 수행하고자 하는 경향을 보이고 있다. 또한 정보자원 선택 시 신뢰성, 적합성, 최신성을 주로 고려하고 있으며, 대학도서관 및 주제가이드에 대한 인식은 전반적으로 낮게 나타났으나 이에 대한 신뢰성은 높은 것으로 분석되었다. 이를 기반으로 향후 대학도서관에서 주제가이드를 개발하거나 개선할 때는 구체적인 정보탐색 목적에 따른 정보원 분류, 정보자원의 유형별 구성, 정보자원 선택 기준 관련 설명 요소 기술, 종합 데이터베이스에 대한 안내, 주제 키워드 추천, 도서관 마케팅 및 내부 기관과의 긴밀한 협업 관계를 고려하는 것이 필요하다.
Abstract
This study analyzed academic information seeking behavior, focusing on university students, the main users of the university library, to derive considerations for the development and improvement of the subject guide of the university library. As a result of the analysis, university students highly evaluated their subjective information seeking ability, but it was found that it was difficult to set specific search terms. The purpose of using academic information is specific, and it has been shown that there is a tendency to perform all information search activities in one database. In addition, when selecting information resources, reliability, suitability, and recency are primarily taken into consideration. Awareness of university libraries and subject guides was generally low, but their reliability was found to be high. Based on this, it is necessary to consider the classification of information sources according to specific information seeking purposes, the composition of information resources, explanatory element technology related to information resource selection criteria, comprehensive database, topic keyword recommendation, library marketing, and close cooperation with internal institutions.