- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구는 단행본, 학술지, 보고서 등 다양한 종류의 발간물로 구성된 연구보고서의 참고문헌 데이터베이스를 효율적으로 구축하기 위한 것으로 딥러닝 언어 모델을 이용하여 참고문헌의 자동추출 성능을 비교 분석하고자 한다. 연구보고서는 학술지와는 다르게 기관마다 양식이 상이하여 참고문헌 자동추출에 어려움이 있다. 본 연구에서는 참고문헌 자동추출에 널리 사용되는 연구인 메타데이터 추출과 더불어 참고문헌과 참고문헌이 아닌 문구가 섞여 있는 환경에서 참고문헌만을 분리해내는 원문 분리 연구를 통해 이 문제를 해결하였다. 자동 추출 모델을 구축하기 위해 특정 연구기관의 연구보고서 내 참고문헌셋, 학술지 유형의 참고문헌셋, 학술지 참고문헌과 비참고문헌 문구를 병합한 데이터셋을 구성했고, 딥러닝 언어 모델인 RoBERTa+CRF와 ChatGPT를 학습시켜 메타데이터 추출과 자료유형 구분 및 원문 분리 성능을 측정하였다. 그 결과 F1-score 기준 메타데이터 추출 최대 95.41%, 자료유형 구분 및 원문 분리 최대 98.91% 성능을 달성하는 등 유의미한 결과를 얻었다. 이를 통해 비참고문헌 문구가 포함된 연구보고서의 참고문헌 추출에 대한 딥러닝 언어 모델과 데이터셋 유형별 참고문헌 구축 방향을 제안하였다.
Abstract
The purpose of this study is to assess the effectiveness of using deep learning language models to extract references automatically and create a reference database for research reports in an efficient manner. Unlike academic journals, research reports present difficulties in automatically extracting references due to variations in formatting across institutions. In this study, we addressed this issue by introducing the task of separating references from non-reference phrases, in addition to the commonly used metadata extraction task for reference extraction. The study employed datasets that included various types of references, such as those from research reports of a particular institution, academic journals, and a combination of academic journal references and non-reference texts. Two deep learning language models, namely RoBERTa+CRF and ChatGPT, were compared to evaluate their performance in automatic extraction. They were used to extract metadata, categorize data types, and separate original text. The research findings showed that the deep learning language models were highly effective, achieving maximum F1-scores of 95.41% for metadata extraction and 98.91% for categorization of data types and separation of the original text. These results provide valuable insights into the use of deep learning language models and different types of datasets for constructing reference databases for research reports including both reference and non-reference texts.
초록
이 연구에서는 우리나라 국공립 대학의 전자기록관리시스템이 보다 적합한 전자기록물을 검색할 수 있는 기반 환경을 조성하기 위하여 온톨로지 기반의 검색시스템을 설계 및 구현하였고 그 성능을 기존의 키워드 기반 검색시스템과 비교해 보았다. 온톨로지 기반 검색시스템은 OntoStudio 1.4를 사용하여 자체 설계 및 구현하였으며, 실험에 사용된 실험 컬렉션의 구성은 다음과 같다: (1) 문서는 한국해양대학교의 2005년도 전자문서관리시스템에서 생성한 인사발령통보’ 5,099건의 전자기록물, (2) 질의집단은 장문10개와 단문10개 총20개, 그리고 (3) 적합성평가는 전문가 집단에 의하여 이루어졌다. 한편 키워드 기반 검색시스템의 성능평가 실험은 기존의 전자기록관리시스템을 이용하여 10명의 피실험자에 의하여 온톨로지 기반 검색시스템과 동일한 실험 컬렉션을 사용하여 이루어졌다. 재현율과 정확률에 의한 성능을 비교해본 결과 온톨로지 기반의 검색시스템이 키워드 기반의 검색시스템 보다 뛰어난 성능을 보였다. 또한 온톨로지 기반 검색시스템은 단문보다는 장문의 질의에서 다소 뛰어난 성능을 보였다.
Abstract
The purpose of this study is to design and implement an ontology-based retrieval system for the electronic records of universities and to compare its performance with the existing keyword-based retrieval system. We used OntoStudio 1.4 for implementing an ontology-based retrieval system, and the test collection consisted of the following: (1) 5,099 electronic records of the 'personnel management notification' created by Korea Maritime University, (2) 20 topics (10 short-topics and 10 long-topics), and (3) the relevant assessments were conducted by the group of human experts. 10 university staff participated in the experiment of keyword-based searching and used the same test collection as used in the experiment of ontology-based searching. The ontology-based retrieval system outperformed to the keyword-based retrieval system in terms of Recall and Precision, and it showed better results with long-topic than with short-topic types.
초록
전자의무기록시스템(EMR)이 도입되고 의무기록 이해당사자들의 요구가 변화함에 따라 우리나라 병원의 의무기록 생산 및 관리 환경이 급변하고 있다. 그동안 정보관리의 차원에서만 다루던 의무기록을 기록관리의 관점에서 살펴봄으로써 병원 의무기록관리에 의미있는 시사점을 도출할 수 있을 것이다. 이 연구에서는 기록관리의 기본 원칙을 다루고 있는 KS X ISO 15489 표준을 병원의 의무기록관리에 적용하여 현황을 분석하고 개선과제를 도출하고자 하였다. 이를 위해 첫째, 표준에서 제시하고 있는 기록관리과정 별로 의무기록관리에 적용할 기준원칙을 작성하였는데, 획득, 등록, 분류, 저장, 접근, 추적, 처분 등 기록관리 7단계에서 총 22개의 기준원칙을 선정하였다. 둘째, 서울 소재 의과대학 부속병원인 Y병원을 대상으로 의무기록관리 현황을 평가하였다. Y병원 의무기록관리팀 부서장을 면담하여 각 기준원칙별로 준수, 부분 준수, 미흡, 미준수의 4가지 수준으로 현황을 평가하였다. 셋째, 기준원칙을 충실히 준수하지 못하고 있는 접근, 추전, 처분 단계부분을 중심으로 의무기록관리의 개선방안을 제시하였다. 이 연구를 시작으로 하여 향후 기록관리 메타데이터표준, 기록경영시스템표준, 기록관리시스템표준 등도 병원의 의무기록관리에 적용함으로서 유용한 시사점을 얻을 수 있을 것으로 기대한다.
Abstract
As the electronic medical records systems (EMRs) are introduced into the hospitals in Korea and the needs of chief stakehoders of medical records are changed, the environments related to creating and managing medical records has been changed dynamically. At this moment it might be meaningful to examine medical records based on records management principles rather than information management principles. The purpose of this paper is to apply the KS X ISO 1549 standards, which covers the principles of records management, to hospital medical records management and assess the current quality of medical records management, and define a few tasks of improvement for hospitals. To achieve this goal, this study has performed following activities: Firstly, principles that could be applied to medical records management were prepared for each record management steps described in the standards, such as capture, registration, classification, storage, access, trace and disposition, and 22 principles were selected from those 7 steps of the record management. Secondly, the Y hospital, which is affiliated with a medical school in Seoul, was chosen to evaluate the current situation regarding medical records management. The department head of the medical records management team in Y hospital was interviewed and the present status was evaluated according to each principle. Thirdly, tasks for improvement were suggested, in such stages as access, trace and disposition. With this study as a cornerstone, useful implications are expected to be gathered from future studies that apply standards for metadata of records, management systems for records, and record management systems to medical record management in hospitals.