- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구는 공공데이터 품질관리 모델, 빅데이터 품질관리 모델, 그리고 연구데이터 관리를 위한 데이터 생애주기 모델을 분석하여 각 품질관리 모델에서 공통적으로 나타나는 구성 요인을 분석하였다. 품질관리 모델은 품질관리를 수행하는 객체인 대상 데이터의 특성에 따라 생애주기에 맞추어 혹은 PDCA 모델을 바탕으로 구축되고 제안되는데 공통적으로 계획, 수집 및 구축, 운영 및 활용, 보존 및 폐기의 구성요소가 포함된다. 이를 바탕으로 본 연구는 연구데이터를 대상으로 한 품질관리 프로세스 모델을 제안하였는데, 특히 연구데이터를 대상 데이터로 하여 서비스를 제공하는 연구데이터 서비스 플랫폼에서 데이터를 수집하여 서비스하는 일련의 과정에서 수행해야하는 품질관리에 대해 계획, 구축 및 운영, 활용단계로 나누어 논의하였다. 본 연구는 연구데이터 품질관리 수행 방안을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
This study analyzed the government data quality management model, big data quality management model, and data lifecycle model for research data management, and analyzed the components common to each data quality management model. Those data quality management models are designed and proposed according to the lifecycle or based on the PDCA model according to the characteristics of target data, which is the object that performs quality management. And commonly, the components of planning, collection and construction, operation and utilization, and preservation and disposal are included. Based on this, the study proposed a process model for research data quality management, in particular, the research data quality management to be performed in a series of processes from collecting to servicing on a research data platform that provides services using research data as target data was discussed in the stages of planning, construction and operation, and utilization. This study has significance in providing knowledge based for research data quality management implementation methods.
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
국내 행정정보 데이터세트 기록관리에서는 행정정보 데이터세트를 이관할 때 이관규격으로 SIARD를 활용할 것을 권고하고 있다. 그러나 행정정보 데이터세트의 기록관리 단위, SIARD를 지원하는 도구의 기술적 한계, 공공기관의 현실적인 상황 등으로 인해 SIARD 적용이 적합하지 않은 경우가 다수 발생하고 있다. 본 연구에서는 SIARD 이외에 행정정보 데이터세트의 이관규격을 다양화하는 방안을 제안하고자 한다. 행정정보 데이터세트의 기록관리에서는 데이터세트와 연계된 사용자 인터페이스의 재현에 대한 필요성에 대한 논의는 지속되고 있지만 구체적으로 제시되고 있지 않다. 본 연구에서는 필수보존속성(Significant Properties) 관점에서 사용자 인터페이스도 함께 보존되어야 할 속성임을 확인하고, 사용자 인터페이스를 효과적으로 재현하는 방안을 제시하고, 실제 검증한 사례를 제공하고자 한다.
Abstract
For the record management of administrative information datasets in Korea, it is recommended to utilize SIARD as a transfer specification when transferring administrative information datasets. However, there are many cases where the application of SIARD is not suitable due to the record management unit of administrative information datasets, technical limitations of tools that support SIARD, and the realistic situation of public institutions. In this study, we propose a plan to diversify the transfer specifications of administrative information datasets other than SIARD. In the record management of administrative information datasets, the need to reproduce the user interface associated with the dataset has been discussed but not specifically presented. This study confirms that the user interface is a property to be preserved from the perspective of Significant Properties, proposes a method to effectively reproduce the user interface, and provides an example of actual verification.
초록
본 연구는 여성의 건강과 밀접한 관련이 있는 모바일 월경주기 측정 애플리케이션을 대상으로 토픽모델링 기법과 함께 다양한 텍스트 마이닝 기법을 도입하여 사용자 경험 평가를 실시하였으며 그 결과를 허니콤(Honeycomb)모델과 결합하여 분석하였다. 월경주기측정 애플리케이션 리뷰에서 드러난 사용자 경험을 평가하기 위해 월경주기측정 애플리케이션의 한국어 리뷰 47,117개를 수집하였다. 리뷰에서 드러난 사용자 경험에 관한 전체적인 담론 확인을 위해 토픽모델링 분석을 실시하였고, 각 토픽 별 구체적인 경험을 확인하고자 동시출현 네트워크 관계로 구축한 텍스트 네트워크 분석을 실시하였다. 또한 사용자의 정서적 경험을 파악하기 위해 감정분석(Sentiment Analysis)을 실시하였다. 이를 기반으로 월경주기측정 애플리케이션의 개발 전략을 정확도, 디자인, 모니터링, 데이터관리 및 사용자관리 측면에서 제시하였다. 연구 결과, 애플리케이션의 월경주기측정 정확도 및 모니터링 기능을 개선해야 함이 확인되었으며 다양한 디자인적 시도가 필요함이 관찰되었다. 또한 개인정보와 사용자의 생체 데이터 관리방법에 대한 보완의 필요성도 확인되었다. 본 연구는 월경주기측정 애플리케이션의 사용자 경험(UX)을 심층적으로 탐색하여 이용자들이 경험한 다양한 요인을 밝히고 더 나은 경험을 제공하기 위한 실질적인 개선점을 제시하였다. 또한 사용자 경험을 평가하는 과정에서 방대한 양의 리뷰 데이터를 연구자가 면밀하게 파악할 수 있도록 토픽모델링과 텍스트 네트워크 분석 기법을 결합하여 방법론을 제시하였다는 점에서 의의가 있다.
Abstract
This study conducted user experience evaluation by introducing various text mining techniques along with topic modeling techniques for mobile menstrual cycle measurement applications that are closely related to women’s health and analyzed the results by combining them with a honeycomb model. To evaluate the user experience revealed in the menstrual cycle measurement application review, 47,117 Korean reviews of the menstrual cycle measurement application were collected. Topic modeling analysis was conducted to confirm the overall discourse on the user experience revealed in the review, and text network analysis was conducted to confirm the specific experience of each topic. In addition, sentimental analysis was conducted to understand the emotional experience of users. Based on this, the development strategy of the menstrual cycle measurement application was presented in terms of accuracy, design, monitoring, data management, and user management. As a result of the study, it was confirmed that the accuracy and monitoring function of the menstrual cycle measurement of the application should be improved, and it was observed that various design attempts were required. In addition, the necessity of supplementing personal information and the user’s biometric data management method was also confirmed. By exploring the user experience (UX) of the menstrual cycle measurement application in-depth, this study revealed various factors experienced by users and suggested practical improvements to provide a better experience. It is also significant in that it presents a methodology by combines topic modeling and text network analysis techniques so that researchers can closely grasp vast amounts of review data in the process of evaluating user experiences.
초록
본 연구는 국내외 사서 채용 동향을 분석하기 위해 수행되었다. 연구 대상으로 국내데이터는 인터넷 포털 사이트인 “사서e마을”에 게시된 사서 채용 공고를 총 489개를 수집하였고, 해외데이터는 “ALAJobList”에서 6,600개의 자료를 수집하였다. 기간은 2020년 1월부터 2022년 8월까지이며 수집된 데이터를 대상으로 지역 분포도 분석, 빈도 분석, 토픽모델링을 수행하였다. 연구 결과, 채용 공고의 지역분포도는 국내데이터에서 서울이 280건으로 가장 많았으며, 해외데이터는 캘리포니아(California)가 662건으로 상위로 도출되었다. 빈도분석 결과, 국내데이터의 담당업무에서는 ‘관리’ 23.42% 키워드가 높게 나왔고, 자격요건은 ‘자격증’ 16.61%이 가장 많은 비율을 차지했다. 해외데이터의 담당업무에서는 ‘LibraryService’ 8.72% 비율이 높게 나왔으며, 자격요건은 ‘CommunicationSkills’ 10.13% 키워드가 가장 높은 순위에 위치함을 확인했다. 토픽모델링에서는 국내외 담당업무, 자격요건으로 나눠 총 4가지의 영역을 살펴보았다. 분석 결과, 국내외 채용 공고에서 도출된 사서의 담당업무 및 자격요건이 미국도서관협회(ALA) 및 한국도서관협회 등 주요 도서관 관련 협회에서 제시한 핵심 역량과 연관이 있음을 확인하였다.
Abstract
This study was conducted to analyze the trends of librarian job recruitment in Korea and overseas. A total of 489 librarian job postings posted on the internet portal site “Saseo e-Ma-eul” were collected for the Korean data, and 6,600 data were collected from “ALAJobList” for the international data. The research period spans from January 2020 to August 2022. The data were subjected to regional distribution analysis, frequency analysis, and topic modeling. As a result of the study, the number of Korean librarian job postings was the highest in Seoul with 280, while California was the state with the highest number of job postings overseas with 662. According to the frequency analysis, the main task of Korean data is ‘management’ 23.42%, and the core competency is ‘certificate’ 16.61%. For overseas data, ‘Library Service’ is the main task of 8.72%, and ‘Communication Skills’ is the most important core competency of 10.13%. In topic modeling, five topics were identified for each area 4 in total, including Korean and international job description and requirements. The analysis results confirm that the duties and qualifications derived from Korean and international job postings for librarians are related to the core competencies proposed by major library associations such as the American Library Association (ALA) and the Korean Library Association.
초록
기존의 연구자 유형 구분 모델은 대부분 연구성과 지표를 활용해왔다. 이 연구에서는 인용 영향력이 공동연구와 관련이 있다는 점을 감안하여 인용 데이터를 활용하지 않고 공동연구 지표만으로 연구자 유형을 분석하는 새로운 방법을 모색해보았다. 공동연구 패턴과 공동연구 범위를 기준으로 연구자를 Sparse & Wide (SW) 유형, Dense & Wide (DW) 유형, Dense & Narrow (DN) 유형, Sparse & Narrow (SN) 유형의 4가지로 구분하는 모델을 제안하였다. 제안된 모델을 양자계측 분야에 적용해본 결과, 구분된 연구자 유형별로 인용지표와 공저 네트워크 지표에 차이가 있음이 통계적으로 검증되었다. 이 연구에서 제시한 공동연구 특성에 따른 연구자 유형 구분 모델은 인용정보를 필요로 하지 않으므로 연구관리 정책과 연구지원서비스 측면에서 폭넓게 활용할 수 있을 것으로 기대된다.
Abstract
Traditional models for categorizing researcher types have mostly utilized research output metrics. This study proposes a new model that classifies researchers based on the characteristics of research collaboration. The model uses only research collaboration indicators and does not rely on citation data, taking into account that citation impact is related to collaborative research. The model categorizes researchers into four types based on their collaborative research pattern and scope: Sparse & Wide (SW) type, Dense & Wide (DW) type, Dense & Narrow (DN) type, Sparse & Narrow (SN) type. When applied to the quantum metrology field, the proposed model was statistically verified to show differences in citation indicators and co-author network indicators according to the classified researcher types. The proposed researcher type classification model does not require citation information. Therefore, it is expected to be widely used in research management policies and research support services.
초록
자료를 기술하기 위해 일반적으로 활용하는 AACR 계열의 목록규칙과 서지구조는 한국의 고문헌만이 지니고 있는 서지적 특성을 구체적으로 반영하는 것에 한계를 보이고 있다. 이에 본 연구에서는 고문헌의 서지적 측면을 분석하고 FRBR LRM 개념적 모형을 기반으로 기술항목 사이의 관계를 형성하여 고문헌의 고유한 특성에 최적화된 서지구조를 제안하였다. 이때 관계의 설정은 관련된 고문헌을 서지적으로 연결시켜 줄 수 있는 방향으로 이루어져야 하며, 이를 위해서는 고문헌, 특히 우리나라의 고문헌이 지닌 서지적 특성과 형태적, 내용적 변형을 충분하게 반영할 수 있는 관계의 형성이 설정되어야 한다. 단위저록 형태의 단편적인 서지레코드만을 생성하는 기존의 서지 환경에서 벗어나 LRM 구조를 적용함으로써 서지데이터 단위로 기술항목을 분리 및 통합하는 것이 가능해진다. 이를 통해 새로운 서지적 환경을 마련함으로써 고문헌의 조직, 관리, 활용을 보다 효율적으로 할 수 있게 되며, 향후 BIBFRAME 형식의 서지데이터 생성 기반을 마련할 수 있다.
Abstract
The cataloging rules of AACR families and bibliographic structure, which are broadly used in describing resources, show limitations in reflecting the unique bibliographic characteristics of Korean old materials. Thus this research proposed a bibliographic structure optimized to the unique bibliographic characteristics of Korean old materials by establishing bibliographic relationships between bibliographic entities based on the FRBR LRM conceptual model. The bibliographic relationships should be established in the way of connecting related materials in the bibliographic structure. These relationships should sufficiently reflect the bibliographic characteristics of the materials, physical variations, and content variations. Through this structure, the bibliographic description can be separated and integrated into the bibliograhpic unit by applying LRM conceptual model. By using the proposed structure, the organization, management, and utilization of Korean old materials can be more efficient. Also, it can provide a new bibliographic environment that can be the foundation of creating BIBFRAME records for Korean old materials.
초록
정보관리기관은 기관의 디지털 성숙도를 효과적으로 평가하고 개선 방향을 명확히 하여 급속도로 발전하는 정보기술환경에 대응할 필요가 있다. 본 연구는 급변하는 정보환경 속에서 정보관리기관의 효과적인 평가 및 방향설정이 용이하도록 디지털 전환의 관점에서 KISTI가 개발한 디지털 큐레이션 성숙도 모델의 가중치를 도출하였다. AHP기법을 통해 모델의 대분류와 중분류에서 상대적 중요도를 가중치로서 도출하였다. 그 결과를 정리해 보면, 전체 모형의 대분류를 100점 기준으로 측정할 때 기술은 27점, 데이터는 24점, 전략은 19점, 조직(인력)은 16점, (사회적)영향력은 14점으로 계산 가능하였다. 그리고 각 대분류 내 중분류에 대해서도 세부항목 별 가중치를 각각 100점 만점을 기준으로 제시하였다. 본 연구에서 도출한 영역별 가중치를 디지털전환 성숙도 평가 모델에 적용함으로써 보다 객관적이고 합리적인 평가가 가능할 것으로 기대된다.
Abstract
In the rapidly developing information technology environment, information management organizations need to effectively evaluate their digital maturity and clarify the direction of improvement to effectively respond to rapidly changing environments. This study derived weights for the digital curation maturity model developed by KISTI from the perspective of digital transformation to facilitate effective evaluation and direction setting of information management organizations. Relative importance was derived as a weight in the major and middle categories of the model through the AHP technique. Summarizing the results, when the major categories of the entire model are measured on the basis of 100 points, technology is 27 points, data is 24 points, strategy is 19 points, organization (manpower) is 16 points, and (social) influence is calculated as 14 points. In addition, weights for each subcategory were presented for each major classification based on a perfect score of 100 points. It is expected that a more objective and reasonable evaluation will be possible by applying the weights for each area derived from this study to the digital transformation maturity evaluation model.