- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구에서는 한국어 데이터로 학습된 BERT 모델을 기반으로 문헌정보학 분야의 문서를 자동으로 분류하여 성능을 분석하였다. 이를 위해 문헌정보학 분야의 7개 학술지의 5,357개 논문의 초록 데이터를 학습된 데이터의 크기에 따라서 자동분류의 성능에 어떠한 차이가 있는지를 분석, 평가하였다. 성능 평가척도는 정확률(Precision), 재현율(Recall), F 척도를 사용하였다. 평가결과 데이터의 양이 많고 품질이 높은 주제 분야들은 F 척도가 90% 이상으로 높은 수준의 성능을 보였다. 반면에 데이터 품질이 낮고 내용적으로 다른 주제 분야들과 유사도가 높고 주제적으로 확실히 구별되는 자질이 적을 경우 유의미한 높은 수준의 성능 평가가 도출되지 못하였다. 이러한 연구는 미래 학술 문헌에서 지속적으로 활용할 수 있는 사전학습모델의 활용 가능성을 제시하기 위한 기초자료로 활용될 수 있을 것으로 기대한다.
Abstract
In this study, we analyzed the performance of the BERT-based document classification model by automatically classifying documents in the field of library and information science based on the KoBERT. For this purpose, abstract data of 5,357 papers in 7 journals in the field of library and information science were analyzed and evaluated for any difference in the performance of automatic classification according to the size of the learned data. As performance evaluation scales, precision, recall, and F scale were used. As a result of the evaluation, subject areas with large amounts of data and high quality showed a high level of performance with an F scale of 90% or more. On the other hand, if the data quality was low, the similarity with other subject areas was high, and there were few features that were clearly distinguished thematically, a meaningful high-level performance evaluation could not be derived. This study is expected to be used as basic data to suggest the possibility of using a pre-trained learning model to automatically classify the academic documents.
초록
본 연구는 네이버 전문정보, 구글 스칼라, 그리고 MS Academic Search에서 제공하는 학술정보서비스에 대한 특성을 살펴보고 135명의 대학생을 대상으로 그 이용 및 품질에 대해 콘텐츠, 서비스 및 효과성을 중심으로 비교․평가 하였다. 분석결과 콘텐츠 부분에서는 구글 스칼라에 대한 이용자 평가가 높게 나타났고, 검색성의 경우 구글 스칼라가, 디자인 부분에서는 네이버 전문정보가 상대적으로 높게 평가되었다. 접근성에 있어서는 네이버 전문정보와 구글 스칼라가 MS Academic Search보다 높게 평가되었고, 정보의 유용성과 이용자 만족도에서는 구글 스칼라가 다른 포털 학술정보서비스보다 높게 평가되었다.
Abstract
This study was to evaluate the quality of academic information services provided by Naver Academic Information Service, Google Scholar, and MS Academic Search. This academic information services were evaluated in terms of the contents, service, and effectiveness. 135 four year college students were recruited for the survey. The results showed that the Google Scholar in contents section had higher score than Naver and MS Academic Search. In regard to service, Google Scholar had higher score in retrieval section while Naver had higher score in design section respectively. Finally, both Google Scholar and Naver in the access section had higher score than MS Academic Search.