바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: Performance Evaluation, 검색결과: 5
1
송민선(대림대학교) ; 김수경(창원문성대학교) ; 황금숙(대림대학교) ; 장인호(대진대학교) 2023, Vol.40, No.2, pp.1-31 https://doi.org/10.3743/KOSIM.2023.40.2.001
초록보기
초록

본 연구는 고양시 제2차 독서문화진흥 종합계획 수립을 위해 그동안 고양시에서 시행해 왔던 주요 독서문화 진흥사업들의 추진 성과를 평가․분석함으로써, 고양시 특성을 반영한 독서문화 진흥정책의 주요 방향을 제안하기 위한 목적으로 수행되었다. 이러한 연구 목적을 달성하기 위해, 본 연구는 각종 문헌 및 통계자료를 토대로 고양시의 독서문화환경을 분석하고, 2017년에 수립된 ‘제1차 독서문화진흥 종합계획’ 및 해당 계획에 따라 수행된 주요 사업들의 추진 여부 및 주요 성과를 파악한 후, 추진 성과 평가를 위한 설문을 구성하여 고양시 사서들을 대상으로 설문 조사를 실시하였다. 마지막으로 앞서 수행된 고양시 독서문화 환경 분석 결과 및 사서 대상 설문 조사에서 도출된 독서문화진흥 사업 성과를 평가한 결과, 그리고 이전의 관련 선행연구에서 고양시민들을 대상으로 수행되었던 독서실태조사 내용 중 독서진흥사업과 관련한 의견수렴 항목의 결과 등을 종합하여 향후 제2차 고양시독서문화진흥 종합계획 수립을 위해 고양시 도서관에서 고려해야 할 여섯 가지 주요 정책 방향을 제안하였다.

Abstract

The purpose of this study is to evaluate and analyze the performance of major reading culture promotion projects implemented in Goyang City, in preparation for the establishment of the 2nd Comprehensive Reading Culture Promotion Plan in Goyang City. To achieve this research objective, this study analyzed various literature and statistical data, identified the reading culture environment in Goyang City, and determined whether major projects implemented according to the 1st Comprehensive Reading Culture Promotion Plan established in 2017 were promoted. In addition, a survey was conducted among librarians in Goyang City by constructing a questionnaire to evaluate the promotion performance of actual relevant projects. Then, by aggregating the data on the reading culture environment in Goyang City, the evaluation results of the reading culture promotion projects obtained from the survey among librarians, and the results of the opinions on the reading promotion projects of the reading surveys of Goyang citizens in the previous relevant study, six major policy directions were proposed to be considered in the establishment of the 2nd Comprehensive Reading Culture Promotion Plan in Goyang City.

2
김선욱(경북대학교 사회과학대학 문헌정보학과) ; 이혜경(경북대학교 문헌정보학과) ; 이용구(경북대학교) 2023, Vol.40, No.2, pp.183-209 https://doi.org/10.3743/KOSIM.2023.40.2.183
초록보기
초록

이 연구의 목적은 ChatGPT가 도서의 표지, 표제지, 판권기 데이터를 활용하여 생성한 더블린코어의 품질 평가를 통하여 ChatGPT의 메타데이터의 생성 능력과 그 가능성을 확인하는 데 있다. 이를 위하여 90건의 도서의 표지, 표제지와 판권기 데이터를 수집하여 ChatGPT에 입력하고 더블린 코어를 생성하게 하였으며, 산출물에 대해 완전성과 정확성 척도로 성능을 파악하였다. 그 결과, 전체 데이터에 있어 완전성은 0.87, 정확성은 0.71로 준수한 수준이었다. 요소별로 성능을 보면 Title, Creator, Publisher, Date, Identifier, Right, Language 요소가 다른 요소에 비해 상대적으로 높은 성능을 보였다. Subject와 Description 요소는 완전성과 정확성에 대해 다소 낮은 성능을 보였으나, 이들 요소에서 ChatGPT의 장점으로 알려진 생성 능력을 확인할 수 있었다. 한편, DDC 주류인 사회과학과 기술과학 분야에서 Contributor 요소의 정확성이 다소 낮았는데, 이는 ChatGPT의 책임표시사항 추출 오류 및 데이터 자체에서 메타데이터 요소용 서지 기술 내용의 누락, ChatGPT가 지닌 영어 위주의 학습데이터 구성 등에 따른 것으로 판단하였다.

Abstract

The purpose of this study is to evaluate the Dublin Core metadata generated by ChatGPT using book covers, title pages, and colophons from a collection of books. To achieve this, we collected book covers, title pages, and colophons from 90 books and inputted them into ChatGPT to generate Dublin Core metadata. The performance was evaluated in terms of completeness and accuracy. The overall results showed a satisfactory level of completeness at 0.87 and accuracy at 0.71. Among the individual elements, Title, Creator, Publisher, Date, Identifier, Rights, and Language exhibited higher performance. Subject and Description elements showed relatively lower performance in terms of completeness and accuracy, but it confirmed the generation capability known as the inherent strength of ChatGPT. On the other hand, books in the sections of social sciences and technology of DDC showed slightly lower accuracy in the Contributor element. This was attributed to ChatGPT’s attribution extraction errors, omissions in the original bibliographic description contents for metadata, and the language composition of the training data used by ChatGPT.

3
감미아(연세대학교 문헌정보학과) ; 이지연(연세대학교 문헌정보학과) 2023, Vol.40, No.1, pp.121-148 https://doi.org/10.3743/KOSIM.2023.40.1.121
초록보기
초록

본 연구는 ‘우수한 성능의 메타데이터 속성 유사도 기반의 학술 문헌추천시스템’을 제안하는 데에 목적을 두고 있다. 본 연구에서는 정보조직에서 다루는 메타데이터의 활용과 계량정보학에서 다루고 있는 동시인용, 저자-서지결합법, 동시출현 빈도, 코사인 유사도의 개념을 활용한 문헌정보학 기반의 학술 문헌 추천기법을 제안하고자 하였다. 실험을 위해 수집한 ‘불평등’, ‘격차’ 관련 총 9,643개의 논문 메타데이터를 정제하여 코사인 유사도를 활용한 저자, 키워드, 제목 속성 간의 상대적 좌표 수치를 도출하였고, 성능 좋은 가중치 조건 및 차원의 수를 선정하기 위해 실험을 수행하였다. 실험 결과를 제시하여 이용자의 평가를 거쳤으며, 이를 이용해 기준노드와 추천조합 특성 분석 및 컨조인트 분석, 결과 비교 분석을 수행하여 연구질문 중심의 논의를 수행하였다. 그 결과 전반적으로는 저자 관련 속성을 제한 조합 혹은 제목 관련 속성만 사용하는 경우 성능이 뛰어난 것으로 나타났다. 본 연구에서 제시한 기법을 활용하고 광범위한 표본의 확보를 이룬다면, 향후 정보서비스의 문헌 추천 분야뿐 아니라 사회의 다양한 분야에 대한 추천기법 성능 향상에 도움을 줄 수 있을 것이다.

Abstract

The purpose of this study is to propose a scholarly paper recommendation system based on metadata attribute similarity with excellent performance. This study suggests a scholarly paper recommendation method that combines techniques from two sub-fields of Library and Information Science, namely metadata use in Information Organization and co-citation analysis, author bibliographic coupling, co-occurrence frequency, and cosine similarity in Bibliometrics. To conduct experiments, a total of 9,643 paper metadata related to “inequality” and “divide” were collected and refined to derive relative coordinate values between author, keyword, and title attributes using cosine similarity. The study then conducted experiments to select weight conditions and dimension numbers that resulted in a good performance. The results were presented and evaluated by users, and based on this, the study conducted discussions centered on the research questions through reference node and recommendation combination characteristic analysis, conjoint analysis, and results from comparative analysis. Overall, the study showed that the performance was excellent when author-related attributes were used alone or in combination with title-related attributes. If the technique proposed in this study is utilized and a wide range of samples are secured, it could help improve the performance of recommendation techniques not only in the field of literature recommendation in information services but also in various other fields in society.

4
김아현(중앙대학교 일반대학원 문헌정보학과 석사과정) ; 이승민(중앙대학교 사회과학대학 문헌정보학과 교수) 2023, Vol.40, No.3, pp.55-76 https://doi.org/10.3743/KOSIM.2023.40.3.055
초록보기
초록

본 연구는 대학도서관의 주제가이드 개발 및 개선을 위한 고려사항을 도출하기 위해 대학도서관의 주 이용자인 대학생을 중심으로 학술정보 탐색행태를 분석하였다. 분석 결과, 대학생들은 자신의 주관적 정보탐색능력 수준을 높게 평가하고 있었으나, 구체적인 검색어의 설정을 어려워하는 것으로 나타났다. 학술정보 이용 목적은 구체적이며, 하나의 데이터베이스에서 모든 정보탐색행위를 수행하고자 하는 경향을 보이고 있다. 또한 정보자원 선택 시 신뢰성, 적합성, 최신성을 주로 고려하고 있으며, 대학도서관 및 주제가이드에 대한 인식은 전반적으로 낮게 나타났으나 이에 대한 신뢰성은 높은 것으로 분석되었다. 이를 기반으로 향후 대학도서관에서 주제가이드를 개발하거나 개선할 때는 구체적인 정보탐색 목적에 따른 정보원 분류, 정보자원의 유형별 구성, 정보자원 선택 기준 관련 설명 요소 기술, 종합 데이터베이스에 대한 안내, 주제 키워드 추천, 도서관 마케팅 및 내부 기관과의 긴밀한 협업 관계를 고려하는 것이 필요하다.

Abstract

This study analyzed academic information seeking behavior, focusing on university students, the main users of the university library, to derive considerations for the development and improvement of the subject guide of the university library. As a result of the analysis, university students highly evaluated their subjective information seeking ability, but it was found that it was difficult to set specific search terms. The purpose of using academic information is specific, and it has been shown that there is a tendency to perform all information search activities in one database. In addition, when selecting information resources, reliability, suitability, and recency are primarily taken into consideration. Awareness of university libraries and subject guides was generally low, but their reliability was found to be high. Based on this, it is necessary to consider the classification of information sources according to specific information seeking purposes, the composition of information resources, explanatory element technology related to information resource selection criteria, comprehensive database, topic keyword recommendation, library marketing, and close cooperation with internal institutions.

5
한유경(정보통신정책연구원) ; 최원석(정보통신정책연구원) ; 이민철(카카오엔터프라이즈) 2023, Vol.40, No.2, pp.115-135 https://doi.org/10.3743/KOSIM.2023.40.2.115
초록보기
초록

본 연구는 단행본, 학술지, 보고서 등 다양한 종류의 발간물로 구성된 연구보고서의 참고문헌 데이터베이스를 효율적으로 구축하기 위한 것으로 딥러닝 언어 모델을 이용하여 참고문헌의 자동추출 성능을 비교 분석하고자 한다. 연구보고서는 학술지와는 다르게 기관마다 양식이 상이하여 참고문헌 자동추출에 어려움이 있다. 본 연구에서는 참고문헌 자동추출에 널리 사용되는 연구인 메타데이터 추출과 더불어 참고문헌과 참고문헌이 아닌 문구가 섞여 있는 환경에서 참고문헌만을 분리해내는 원문 분리 연구를 통해 이 문제를 해결하였다. 자동 추출 모델을 구축하기 위해 특정 연구기관의 연구보고서 내 참고문헌셋, 학술지 유형의 참고문헌셋, 학술지 참고문헌과 비참고문헌 문구를 병합한 데이터셋을 구성했고, 딥러닝 언어 모델인 RoBERTa+CRF와 ChatGPT를 학습시켜 메타데이터 추출과 자료유형 구분 및 원문 분리 성능을 측정하였다. 그 결과 F1-score 기준 메타데이터 추출 최대 95.41%, 자료유형 구분 및 원문 분리 최대 98.91% 성능을 달성하는 등 유의미한 결과를 얻었다. 이를 통해 비참고문헌 문구가 포함된 연구보고서의 참고문헌 추출에 대한 딥러닝 언어 모델과 데이터셋 유형별 참고문헌 구축 방향을 제안하였다.

Abstract

The purpose of this study is to assess the effectiveness of using deep learning language models to extract references automatically and create a reference database for research reports in an efficient manner. Unlike academic journals, research reports present difficulties in automatically extracting references due to variations in formatting across institutions. In this study, we addressed this issue by introducing the task of separating references from non-reference phrases, in addition to the commonly used metadata extraction task for reference extraction. The study employed datasets that included various types of references, such as those from research reports of a particular institution, academic journals, and a combination of academic journal references and non-reference texts. Two deep learning language models, namely RoBERTa+CRF and ChatGPT, were compared to evaluate their performance in automatic extraction. They were used to extract metadata, categorize data types, and separate original text. The research findings showed that the deep learning language models were highly effective, achieving maximum F1-scores of 95.41% for metadata extraction and 98.91% for categorization of data types and separation of the original text. These results provide valuable insights into the use of deep learning language models and different types of datasets for constructing reference databases for research reports including both reference and non-reference texts.

정보관리학회지