바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: performance assessment, 검색결과: 2
1
신혜원((전)숙명여자대학교 문헌정보학과 석사과정) ; 신동희(숙명여자대학교 문헌정보학과 조교수) 2023, Vol.40, No.3, pp.245-271 https://doi.org/10.3743/KOSIM.2023.40.3.245
초록보기
초록

본 연구는 전자책 이용률이 높은 디지털 네이티브 세대인 20대를 대상으로 전자책 구독서비스에 대한 인식을 파악하고자 하였다. 설문조사와 사용성 평가(usability testing)를 병행한 혼합연구 방법을 통해 전자책 이용률이 높은 20대 대학생의 전자책 구독 서비스이용 실태 및 서비스에 대한 인식을 조사하였다. 설문조사를 통해 국내 대학생 202명의 의견을 수집하였고, 전자책 비이용자와 이용자를 구분하여 분석하였다. 설문 결과, 비이용자와 이용자 간의 전자책에 인식의 차이가 나타났으며, 휴대성 및 편의성은 두 연구 참여자 그룹에게 공통적으로 나타나는 전자책의 장점으로 조사되었다. 사용성 평가에서 사용된 ‘밀리의 서재’ 애플리케이션은 가장 대중적인 전자책 플랫폼으로 해당 서비스를 활용하여 전자책 이용 경험이 없는 20대 대학생 10명을 대상으로 평가가 진행되었다. 실험 결과, 연구 참여자들은 전자책의 편의성, 디자인, 다양한 부가 기능, 가성비 등에 대해 긍정적인 반응을 보인 반면, 흥미 부족, 기능 실용성, 터치 오류 및 오작동, 장서 부족, 시스템 문제에 대해서는 부정적인 의견을 나타냈다.

Abstract

The purpose of this study was to assess the perception of e-book subscription services among the digitally native generation in their twenties, who have a high e-book usage rate. This study employed a mixed-methods approach, combining survey responses and usability testing. It aimed to assess the awareness and usage of e-book subscription services among university students in their twenties, a demographic known for their high utilization of electronic devices and e-books. The survey was conducted among 202 university students, and the responses were categorized and examined based on whether they were users or non-users. As a result of the survey, I found there is different awareness of e-book between users and non-users, on the other hand, convenience and portability are the strong point of e-books for users and non-users commonly also. Usability testing was performed on a group of 10 university students in their twenties who had not previously used the ‘Millies Library’ application, which is renowned as the most widely-used e-book platform. Following the experiment, participants expressed positive feedback regarding various optional features, convenience, design, and cost-effectiveness. However, they also had negative reactions concerning touch errors, malfunctions, functional practicality, a lack of interest, system issues, and the absence of a library.

2
한유경(정보통신정책연구원) ; 최원석(정보통신정책연구원) ; 이민철(카카오엔터프라이즈) 2023, Vol.40, No.2, pp.115-135 https://doi.org/10.3743/KOSIM.2023.40.2.115
초록보기
초록

본 연구는 단행본, 학술지, 보고서 등 다양한 종류의 발간물로 구성된 연구보고서의 참고문헌 데이터베이스를 효율적으로 구축하기 위한 것으로 딥러닝 언어 모델을 이용하여 참고문헌의 자동추출 성능을 비교 분석하고자 한다. 연구보고서는 학술지와는 다르게 기관마다 양식이 상이하여 참고문헌 자동추출에 어려움이 있다. 본 연구에서는 참고문헌 자동추출에 널리 사용되는 연구인 메타데이터 추출과 더불어 참고문헌과 참고문헌이 아닌 문구가 섞여 있는 환경에서 참고문헌만을 분리해내는 원문 분리 연구를 통해 이 문제를 해결하였다. 자동 추출 모델을 구축하기 위해 특정 연구기관의 연구보고서 내 참고문헌셋, 학술지 유형의 참고문헌셋, 학술지 참고문헌과 비참고문헌 문구를 병합한 데이터셋을 구성했고, 딥러닝 언어 모델인 RoBERTa+CRF와 ChatGPT를 학습시켜 메타데이터 추출과 자료유형 구분 및 원문 분리 성능을 측정하였다. 그 결과 F1-score 기준 메타데이터 추출 최대 95.41%, 자료유형 구분 및 원문 분리 최대 98.91% 성능을 달성하는 등 유의미한 결과를 얻었다. 이를 통해 비참고문헌 문구가 포함된 연구보고서의 참고문헌 추출에 대한 딥러닝 언어 모델과 데이터셋 유형별 참고문헌 구축 방향을 제안하였다.

Abstract

The purpose of this study is to assess the effectiveness of using deep learning language models to extract references automatically and create a reference database for research reports in an efficient manner. Unlike academic journals, research reports present difficulties in automatically extracting references due to variations in formatting across institutions. In this study, we addressed this issue by introducing the task of separating references from non-reference phrases, in addition to the commonly used metadata extraction task for reference extraction. The study employed datasets that included various types of references, such as those from research reports of a particular institution, academic journals, and a combination of academic journal references and non-reference texts. Two deep learning language models, namely RoBERTa+CRF and ChatGPT, were compared to evaluate their performance in automatic extraction. They were used to extract metadata, categorize data types, and separate original text. The research findings showed that the deep learning language models were highly effective, achieving maximum F1-scores of 95.41% for metadata extraction and 98.91% for categorization of data types and separation of the original text. These results provide valuable insights into the use of deep learning language models and different types of datasets for constructing reference databases for research reports including both reference and non-reference texts.

정보관리학회지