바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: Performance Evaluation, 검색결과: 65
51
김순(이화여자대학교) ; 이보람(한국전자통신연구원) ; 김환민(한국과학기술정보연구원) ; 김혜선(한국과학기술정보연구원) 2017, Vol.34, No.3, pp.229-249 https://doi.org/10.3743/KOSIM.2017.34.3.229
초록보기
초록

공공연구 성과물(출판물 및 데이터)을 디지털 포맷으로 공개하여 이들 자료에 대한 접근성을 높이고자 하는 오픈 사이언스 프로젝트가 국외에서 활발히 진행되고 있다. 해외에서는 오픈 사이언스의 주요 특징인 공개 연구, 오픈 액세스, 연구데이터 공유, 공개적인 동료 평가, 투명한 연구 성과 평가에 맞추어 연구자 중심의 다양한 연구지원 서비스가 이루어지고 있다. 본 연구는 오픈 사이언스 시대를 대비하여 해외의 과학기술정보 서비스에 대해 심층 분석하고 국내 활용현황을 조사하였다. 국외의 적극적인 오픈 사이언스 대응현황에 비해 국내에서는 오픈 액세스나 기관 리포지터리 정도만 준비가 되어 있고, 연구데이터 관리나 협력 연구에 대해서는 아직까지 준비가 미비한 상태로 분석되었다. 따라서 국내 정보서비스 기관에서도 오픈 사이언스 시대를 대비하여 해외 우수 사례들을 충분히 고찰하여 이를 효과적으로 실행할 수 있는 연구지원 서비스 정책과 가이드라인 마련이 시급한 것으로 나타났다.

Abstract

Open science projects are being actively carried out globally. Publishing the results of public research (publications and data) in digital format and enhancing access to these materials are getting more important. Various research support tools are being used to support open research, open access, open data, open peer review and open research performance evaluation. We analyzed research support services to prepare open science movement in Korea. Korea is not ready for research data management and research collaboration except open access and institutional repositories. It can be seen as an urgent matter to analyze these international open science research support services carefully and reflect them in research support policy and service guideline.

52
장원홍(LG상남도서관) ; 오삼균(성균관대학교) 2015, Vol.32, No.2, pp.221-236 https://doi.org/10.3743/KOSIM.2015.32.2.221
초록보기
초록

본 연구의 목적은 LG상남도서관 ‘책 읽어주는 도서관’ 서비스의 안드로이드 플랫폼 기반 서비스 구축과정과 모델에 대한 기술과 그 서비스의 유용성을 평가하는 것이다. 연구방법은 서베이를 통한 이용자 요구조사, 이용현황통계분석 및 이용자 인터뷰를 실시하였고, 도출된 중요한 연구결과는 다음과 같다: 1) 시각장애인이 스마트기기 사용에 높은 관심을 보였고, 스마트기기를 사용해 본 적이 없는 시각장애인도 비용과 접근성만 해결된다면 사용할 의사가 있음을 표명하였으며, 2) 스트리밍보다는 다운로드 방식을 선호하는 것으로 나타났다. 3) 육성과 TTS 음성 차이를 중요하게 생각치 않는 것으로 밝혀졌으며, 4) 희망도서의 종류는 연령별로 각기 다른 선호도를 보였다. 5) 2014년 거의 14만 건의 다운로드가 이루어졌고 - 피처폰에 비해 36.3% 증가, 6) 가장 중요한 기능은 책갈피와 페이지/목차 이동 기능인 것으로 판명되었다.

Abstract

This paper describes the process and methodology followed in developing the Android-based LG Sangnam Audiobook service and an evaluation of its usefulness to the public. The methods included a survey of user needs, analysis of usage statistics, and user interviews. The study found that visually impaired users: 1) were greatly interested and willing to use smartphones if there were no barrier in cost and access; 2) preferred downloads to streaming services; 3) did not mind performance differences between real and TTS (text-to-speech) voices; 4) showed marked differences in book preferences according to age, 5) made about 14,000 downloads in 2014; and 6) indicated bookmarking and moving between pages and tables of content as the most important functions in using audiobooks.

초록보기
초록

빅 데이터 시대에 접어들면서 저장 기술과 처리 기술이 급속도로 발전함에 따라, 과거에는 간과되었던 롱테일(long tail) 데이터가 많은 기업과 연구자들에게 관심의 대상이 되고 있다. 본 연구는 롱테일 법칙의 영역에 존재하는 데이터의 활용률을 높이기 위해 텍스트 마이닝 기반의 기술 용어 네트워크 생성 및 통제 기법을 제안한다. 특히 텍스트 마이닝의 편집 거리(edit distance) 기법을 이용해 학문 분야에서 사용되는 기술 용어의 상호 네트워크를 자동으로 생성하는 효과적인 방안을 제시하였다. 데이터의 활용률 향상 실험을 위한 데이터 수집을 위해 LOD(linked open data) 환경을 이용하였으며, 이 과정에서 효과적으로 LOD 시스템의 데이터를 활용하는 기법과 용어의 패턴 처리 알고리즘을 제안하였다. 마지막으로, 생성된 기술 용어 네트워크의 성능 측정을 통해 제안한 기법이 롱테일 데이터의 활용률 제고에 효과적이었음을 확인하였다.

Abstract

As data management and processing techniques have been developed rapidly in the era of big data, nowadays a lot of business companies and researchers have been interested in long tail data which were ignored in the past. This study proposes methods for generating and controlling a network of technical terms based on text mining technique to enhance data utilization in the distribution of long tail theory. Especially, an edit distance technique of text mining has given us efficient methods to automatically create an interlinking network of technical terms in the scholarly field. We have also used linked open data system to gather experimental data to improve data utilization and proposed effective methods to use data of LOD systems and algorithm to recognize patterns of terms. Finally, the performance evaluation test of the network of technical terms has shown that the proposed methods were useful to enhance the rate of data utilization.

54
현미환(한국과학기술정보연구원) ; 김완종(한국과학기술정보연구원) ; 이혜진(한국과학기술정보연구원) ; 김혜선(한국과학기술정보연구원) 2013, Vol.30, No.4, pp.133-154 https://doi.org/10.3743/KOSIM.2013.30.4.133
초록보기
초록

본 연구의 목적은 과학기술정보 서비스 기관인 한국과학기술정보연구원(KISTI)에서 정보의 공동활용을 목적으로 제공하고 있는 오픈서비스에 대한 이용자의 만족도를 분석하여, 오픈서비스 이용자의 요구를 파악하고 수요자 기반의 서비스 개선사항을 도출하는데 있다. 이를 위해 KISTI에서 제공하는 있는 오픈서비스인 NOS (NDSL Open Service)의 이용자를 대상으로 만족도 조사를 실시하였다. 서비스별 품질을 나타내는 이용자의 만족도 지표는 해당 서비스에 대해 이용자들이 지각하는 품질을 측정할 수 있도록 설계하였으며, 품질지수, 만족지수, 성과지수로 구성되었다. 분석결과 이용자들은 오픈서비스의 사회적 기여도 및 공익성 측면에서 긍정적인 평가를 하고 있음을 확인할 수 있었다. 반면, 환경품질과 서비스 과정품질 항목은 상대적으로 낮은 만족도를 보여주어 오픈서비스를 조금 더 쉽게 활용할 수 있도록 하는 편의성의 제고와 함께 VOC를 중심으로 서비스 이용과정 및 환경 만족도 제고 방안을 모색해야 함을 알 수 있었다.

Abstract

The purpose of this study is to analyze service quality factors that affect user satisfaction of NDSL Open Service (NOS) and to improve standards of open service for sharing information through the user satisfaction survey. User satisfaction indexes were developed to measure the all aspects of the NOS services. The quality index, satisfaction index, and performance index were identified in this survey. According to the survey findings, the levels of social quality and social satisfaction are relatively high, this shows the positive evaluation and expectation of researchers for open services. However, relatively low level is identified in area of service process quality. Therefore, NOS requires method to help easily take advantage of OpenAPI and strategy to increase service process satisfaction and service environment satisfaction.

55
박재용(신라대학교) ; 조윤희(중앙대학교) 2002, Vol.19, No.1, pp.115-134 https://doi.org/10.3743/KOSIM.2002.19.1.115
초록보기
초록

비영리 조직인 도서관에서 정보화가 차지하는 비중이 점차 증대됨에 따라 시스템에 대한 감리와 통제만으로 지식정보자원관리를 조직의 경영목표에 적합하도록 유지하는 것이 어렵게 되었다. 그러므로 조직의 종합적인 경영체제 내에서 전체 경영활동과 통합되고 융화될 수 있도록 정보화 경영시스템의 적용이 필요하다. 도서관에서도 조직의 전략적 측면이나 사회 ·경제적인 요구들을 포함하는 포괄적인 문제를 고려하여 지식정보화 촉진과 경영혁신을 추구해야 한다. 본 연구는 모든 도서관에 적용할 수 있는 표준화된 규격으로 정보화경영시스템의 적용을 검토하였다. 이를 위해 지금가지 다양하게 개발된 도서관 성과지표와 정보화경영시스템의 수준평가표를 비교, 분석 하였으며, 도서관은 정보화경영시스템 도입을 통하여 조직의 효율성과 이용자 만족을 제고하고 나아가 국가경쟁력을 향상시킬 수 있게 될 것이다.

Abstract

According to increase share ratio of information on library be unable bring to maintain knowledge and information resource management for information audit and control on management vision in non-profit organization. Application of information management system was necessary to the systems integration and total management activity in total management system of organization. Library must be to investigate knowledge and information promotion and management innovation needs to consider to gather into a bundle problems to include social and economic requirements. This research be able to adaption all library standardization rule review adapt ability of information management system through the analysis compared to various developed performance indicator for library and level evaluation indicator for information management system. Library will be expanse efficiency of organization, satisfaction of users and level up the National competition through the adaptation of information management system.

56
한유경(정보통신정책연구원) ; 최원석(정보통신정책연구원) ; 이민철(카카오엔터프라이즈) 2023, Vol.40, No.2, pp.115-135 https://doi.org/10.3743/KOSIM.2023.40.2.115
초록보기
초록

본 연구는 단행본, 학술지, 보고서 등 다양한 종류의 발간물로 구성된 연구보고서의 참고문헌 데이터베이스를 효율적으로 구축하기 위한 것으로 딥러닝 언어 모델을 이용하여 참고문헌의 자동추출 성능을 비교 분석하고자 한다. 연구보고서는 학술지와는 다르게 기관마다 양식이 상이하여 참고문헌 자동추출에 어려움이 있다. 본 연구에서는 참고문헌 자동추출에 널리 사용되는 연구인 메타데이터 추출과 더불어 참고문헌과 참고문헌이 아닌 문구가 섞여 있는 환경에서 참고문헌만을 분리해내는 원문 분리 연구를 통해 이 문제를 해결하였다. 자동 추출 모델을 구축하기 위해 특정 연구기관의 연구보고서 내 참고문헌셋, 학술지 유형의 참고문헌셋, 학술지 참고문헌과 비참고문헌 문구를 병합한 데이터셋을 구성했고, 딥러닝 언어 모델인 RoBERTa+CRF와 ChatGPT를 학습시켜 메타데이터 추출과 자료유형 구분 및 원문 분리 성능을 측정하였다. 그 결과 F1-score 기준 메타데이터 추출 최대 95.41%, 자료유형 구분 및 원문 분리 최대 98.91% 성능을 달성하는 등 유의미한 결과를 얻었다. 이를 통해 비참고문헌 문구가 포함된 연구보고서의 참고문헌 추출에 대한 딥러닝 언어 모델과 데이터셋 유형별 참고문헌 구축 방향을 제안하였다.

Abstract

The purpose of this study is to assess the effectiveness of using deep learning language models to extract references automatically and create a reference database for research reports in an efficient manner. Unlike academic journals, research reports present difficulties in automatically extracting references due to variations in formatting across institutions. In this study, we addressed this issue by introducing the task of separating references from non-reference phrases, in addition to the commonly used metadata extraction task for reference extraction. The study employed datasets that included various types of references, such as those from research reports of a particular institution, academic journals, and a combination of academic journal references and non-reference texts. Two deep learning language models, namely RoBERTa+CRF and ChatGPT, were compared to evaluate their performance in automatic extraction. They were used to extract metadata, categorize data types, and separate original text. The research findings showed that the deep learning language models were highly effective, achieving maximum F1-scores of 95.41% for metadata extraction and 98.91% for categorization of data types and separation of the original text. These results provide valuable insights into the use of deep learning language models and different types of datasets for constructing reference databases for research reports including both reference and non-reference texts.

57
고영수(연세대학교 문헌정보학과 석사과정) ; 이수빈(연세대학교 문헌정보학과 박사과정) ; 차민정(연세대학교 소셜오믹스 연구센터) ; 김성덕(연세대학교 문헌정보학과 석사과정) ; 이주희(연세대학교 문헌정보학과 석사과정) ; 한지영(연세대학교 문헌정보학과 석사과정) ; 송민(연세대학교 문헌정보학과) 2022, Vol.39, No.2, pp.111-129 https://doi.org/10.3743/KOSIM.2022.39.2.111
초록보기
초록

불면증은 최근 5년 새 환자가 20% 이상 증가하고 있는 현대 사회의 만성적인 질병이다. 수면이 부족할 경우 나타나는 개인 및 사회적 문제가 심각하고 불면증의 유발 요인이 복합적으로 작용하고 있어서 진단 및 치료가 중요한 질환이다. 본 연구는 자유롭게 의견을 표출하는 소셜 미디어 ‘Reddit’의 불면증 커뮤니티인 ‘insomnia’를 대상으로 5,699개의 데이터를 수집하였고 이를 국제수면장애분류 ICSD-3 기준과 정신의학과 전문의의 자문을 받은 가이드라인을 바탕으로 불면증 경향 문헌과 비경향 문헌으로 태깅하여 불면증 말뭉치를 구축하였다. 구축된 불면증 말뭉치를 학습데이터로 하여 5개의 딥러닝 언어모델(BERT, RoBERTa, ALBERT, ELECTRA, XLNet)을 훈련시켰고 성능 평가 결과 RoBERTa가 정확도, 정밀도, 재현율, F1점수에서 가장 높은 성능을 보였다. 불면증 소셜 데이터를 심층적으로 분석하기 위해 기존에 많이 사용되었던 LDA의 약점을 보완하며 새롭게 등장한 BERTopic 방법을 사용하여 토픽 모델링을 진행하였다. 계층적 클러스터링 분석 결과 8개의 주제군(‘부정적 감정’, ‘조언 및 도움과 감사’, ‘불면증 관련 질병’, ‘수면제’, ‘운동 및 식습관’, ‘신체적 특징’, ‘활동적 특징’, ‘환경적 특징’)을 확인할 수 있었다. 이용자들은 불면증 커뮤니티에서 부정 감정을 표현하고 도움과 조언을 구하는 모습을 보였다. 또한, 불면증과 관련된 질병들을 언급하고 수면제 사용에 대한 담론을 나누며 운동 및 식습관에 관한 관심을 표현하고 있었다. 발견된 불면증 관련 특징으로는 호흡, 임신, 심장 등의 신체적 특징과 좀비, 수면 경련, 그로기상태 등의 활동적 특징, 햇빛, 담요, 온도, 낮잠 등의 환경적 특징이 확인되었다.

Abstract

Insomnia is a chronic disease in modern society, with the number of new patients increasing by more than 20% in the last 5 years. Insomnia is a serious disease that requires diagnosis and treatment because the individual and social problems that occur when there is a lack of sleep are serious and the triggers of insomnia are complex. This study collected 5,699 data from ‘insomnia’, a community on ‘Reddit’, a social media that freely expresses opinions. Based on the International Classification of Sleep Disorders ICSD-3 standard and the guidelines with the help of experts, the insomnia corpus was constructed by tagging them as insomnia tendency documents and non-insomnia tendency documents. Five deep learning language models (BERT, RoBERTa, ALBERT, ELECTRA, XLNet) were trained using the constructed insomnia corpus as training data. As a result of performance evaluation, RoBERTa showed the highest performance with an accuracy of 81.33%. In order to in-depth analysis of insomnia social data, topic modeling was performed using the newly emerged BERTopic method by supplementing the weaknesses of LDA, which is widely used in the past. As a result of the analysis, 8 subject groups (‘Negative emotions’, ‘Advice and help and gratitude’, ‘Insomnia-related diseases’, ‘Sleeping pills’, ‘Exercise and eating habits’, ‘Physical characteristics’, ‘Activity characteristics’, ‘Environmental characteristics’) could be confirmed. Users expressed negative emotions and sought help and advice from the Reddit insomnia community. In addition, they mentioned diseases related to insomnia, shared discourse on the use of sleeping pills, and expressed interest in exercise and eating habits. As insomnia-related characteristics, we found physical characteristics such as breathing, pregnancy, and heart, active characteristics such as zombies, hypnic jerk, and groggy, and environmental characteristics such as sunlight, blankets, temperature, and naps.

58
이수상(부산대학교) ; 노지현(부산대학교) 2012, Vol.29, No.4, pp.209-227 https://doi.org/10.3743/KOSIM.2012.29.4.209
초록보기
초록

본 연구의 목적은 스마트 사회/스마트 세대를 위한 스마트 도서관을 지향하기 위해 필요한 우리나라 도서관의 정책적 과제들을 발굴하는 데 있다. 이러한 목적을 위해 본 연구에서는 도서관 R&D 정책과제 탐색을 위한 방법론을 정립하고, 계량정보 분석 방법과 주제분석 방법, 브레인스토밍 기법을 활용하여 도서관 분야의 유망과제를 발굴하는 작업을 수행하였다. 이렇게 하여 도출한 도서관 R&D 유망과제 예비 리스트는 연구팀의 브레인스토밍과 전문가 평가를 통해 최종 과제화 되었다. 또한, 본 연구에서 도출한 최종 과제의 중요도를 산출하기 위해 전문가에 의한 AHP 분석 작업을 수행하였다. 이 연구의 결과는 우리나라 도서관 정보서비스의 질적 향상뿐만 아니라 미래의 변화를 스스로 주도할 수 있는 지적 기반의 마련을 위한 R&D 과제 개발 및 이행을 위한 기초자료로 활용할 수 있을 것이다.

Abstract

This study intends to develop R&D policy agendas that are required to prepare a smart library/smart society in Korea libraries. To the end, methodology was established to explore policy issues and agenda for library R&D, and the preliminary agendas were drawn from informetrics, subject analysis, and brainstorming techniques. Then, the preliminary agendas were revised through supplementary works, such as the comprehensive investigation into research papers and the recent research projects. Based on the results, evaluation for the R&D agendas was performed. The Analytic Hierarchy Process (AHP) method was used as a structured technique for analyzing the importance and the priority of the agendas. This study can be used for improving and/or expanding quality of information services in Korean libraries and for exploring the requirements to play a crucial role in the future society.

59
이은미(이화여자대학교) ; 김명(이화여자대학교) ; 임진희(명지대학교) 2012, Vol.29, No.3, pp.257-285 https://doi.org/10.3743/KOSIM.2012.29.3.257
초록보기
초록

전자의무기록시스템(EMR)이 도입되고 의무기록 이해당사자들의 요구가 변화함에 따라 우리나라 병원의 의무기록 생산 및 관리 환경이 급변하고 있다. 그동안 정보관리의 차원에서만 다루던 의무기록을 기록관리의 관점에서 살펴봄으로써 병원 의무기록관리에 의미있는 시사점을 도출할 수 있을 것이다. 이 연구에서는 기록관리의 기본 원칙을 다루고 있는 KS X ISO 15489 표준을 병원의 의무기록관리에 적용하여 현황을 분석하고 개선과제를 도출하고자 하였다. 이를 위해 첫째, 표준에서 제시하고 있는 기록관리과정 별로 의무기록관리에 적용할 기준원칙을 작성하였는데, 획득, 등록, 분류, 저장, 접근, 추적, 처분 등 기록관리 7단계에서 총 22개의 기준원칙을 선정하였다. 둘째, 서울 소재 의과대학 부속병원인 Y병원을 대상으로 의무기록관리 현황을 평가하였다. Y병원 의무기록관리팀 부서장을 면담하여 각 기준원칙별로 준수, 부분 준수, 미흡, 미준수의 4가지 수준으로 현황을 평가하였다. 셋째, 기준원칙을 충실히 준수하지 못하고 있는 접근, 추전, 처분 단계부분을 중심으로 의무기록관리의 개선방안을 제시하였다. 이 연구를 시작으로 하여 향후 기록관리 메타데이터표준, 기록경영시스템표준, 기록관리시스템표준 등도 병원의 의무기록관리에 적용함으로서 유용한 시사점을 얻을 수 있을 것으로 기대한다.

Abstract

As the electronic medical records systems (EMRs) are introduced into the hospitals in Korea and the needs of chief stakehoders of medical records are changed, the environments related to creating and managing medical records has been changed dynamically. At this moment it might be meaningful to examine medical records based on records management principles rather than information management principles. The purpose of this paper is to apply the KS X ISO 1549 standards, which covers the principles of records management, to hospital medical records management and assess the current quality of medical records management, and define a few tasks of improvement for hospitals. To achieve this goal, this study has performed following activities: Firstly, principles that could be applied to medical records management were prepared for each record management steps described in the standards, such as capture, registration, classification, storage, access, trace and disposition, and 22 principles were selected from those 7 steps of the record management. Secondly, the Y hospital, which is affiliated with a medical school in Seoul, was chosen to evaluate the current situation regarding medical records management. The department head of the medical records management team in Y hospital was interviewed and the present status was evaluated according to each principle. Thirdly, tasks for improvement were suggested, in such stages as access, trace and disposition. With this study as a cornerstone, useful implications are expected to be gathered from future studies that apply standards for metadata of records, management systems for records, and record management systems to medical record management in hospitals.

60
고영만(성균관대학교) ; 이승준(성균관대학교 정보관리연구소) ; 송민선(성균관대학교 정보관리연구소) 2015, Vol.32, No.2, pp.131-152 https://doi.org/10.3743/KOSIM.2015.32.2.131
초록보기
초록

본 연구에서는 R2RML 방식과 Non-R2RML 방식을 각각 적용하여 RDB를 RDF 온톨로지로 변환한 결과를 비교하였다. RDB 기반의 구조적학술용어사전 데이터베이스인 STNet의 데이터를 대상으로, 변환이 완료된 데이터의 규모, 튜플당 변환에 걸리는 시간, 그리고 질의 응답 속도를 측정하였다. 변환 규모의 평가 결과 Non-R2RML 방식이 더 많은 수의 변환을 하였으며, 표현의 풍부성과 추론 가능성 정도를 높이는 변환을 수행한 것으로 나타났다. 튜플당 변환 시간의 경우 Non-R2RML 방식이 미세하지만 더 빠른 것으로 나타났으며, 질의 응답 속도는 두 방식 모두 300회 이상의 질의 횟수부터는 안정적인 성능을 보이면서 유사한 형태의 속도를 보였다. 측정에 대한 종합적 검토 결과 데이터의 변형이 빈번하고 새로운 데이터의 추가나 데이터들 간의 연결관계가 지속적으로 변화하는 STNet과 같은 동적인 RDB에는 Non-R2RML 방식이 적절한 것으로 평가되었다.

Abstract

This study described the results of converting RDB to RDF ontology by each of R2RML method and Non-R2RML method. This study measured the size of the converted data, the conversion time per each tuple, and the response speed to queries. The STNet, a structured terminology dictionary based on RDB, was served as a test bed for converting to RDF ontology. As a result of the converted data size, Non-R2RML method appeared to be superior to R2RML method on the number of converted triples, including its expressive diversity. For the conversion time per each tuple, Non-R2RML was a little bit more faster than R2RML, but, for the response speed to queries, both methods showed similar response speed and stable performance since more than 300 numbers of queries. On comprehensive examination it is evaluated that Non-R2RML is the more appropriate to convert the dynamic RDB system, such as the STNet in which new data are steadily accumulated, data transformation very often occurred, and relationships between data continuously changed.

정보관리학회지