바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: 성능평가, 검색결과: 30
21
감미아(연세대학교 문헌정보학과) ; 이지연(연세대학교 문헌정보학과) 2023, Vol.40, No.1, pp.121-148 https://doi.org/10.3743/KOSIM.2023.40.1.121
초록보기
초록

본 연구는 ‘우수한 성능의 메타데이터 속성 유사도 기반의 학술 문헌추천시스템’을 제안하는 데에 목적을 두고 있다. 본 연구에서는 정보조직에서 다루는 메타데이터의 활용과 계량정보학에서 다루고 있는 동시인용, 저자-서지결합법, 동시출현 빈도, 코사인 유사도의 개념을 활용한 문헌정보학 기반의 학술 문헌 추천기법을 제안하고자 하였다. 실험을 위해 수집한 ‘불평등’, ‘격차’ 관련 총 9,643개의 논문 메타데이터를 정제하여 코사인 유사도를 활용한 저자, 키워드, 제목 속성 간의 상대적 좌표 수치를 도출하였고, 성능 좋은 가중치 조건 및 차원의 수를 선정하기 위해 실험을 수행하였다. 실험 결과를 제시하여 이용자의 평가를 거쳤으며, 이를 이용해 기준노드와 추천조합 특성 분석 및 컨조인트 분석, 결과 비교 분석을 수행하여 연구질문 중심의 논의를 수행하였다. 그 결과 전반적으로는 저자 관련 속성을 제한 조합 혹은 제목 관련 속성만 사용하는 경우 성능이 뛰어난 것으로 나타났다. 본 연구에서 제시한 기법을 활용하고 광범위한 표본의 확보를 이룬다면, 향후 정보서비스의 문헌 추천 분야뿐 아니라 사회의 다양한 분야에 대한 추천기법 성능 향상에 도움을 줄 수 있을 것이다.

Abstract

The purpose of this study is to propose a scholarly paper recommendation system based on metadata attribute similarity with excellent performance. This study suggests a scholarly paper recommendation method that combines techniques from two sub-fields of Library and Information Science, namely metadata use in Information Organization and co-citation analysis, author bibliographic coupling, co-occurrence frequency, and cosine similarity in Bibliometrics. To conduct experiments, a total of 9,643 paper metadata related to “inequality” and “divide” were collected and refined to derive relative coordinate values between author, keyword, and title attributes using cosine similarity. The study then conducted experiments to select weight conditions and dimension numbers that resulted in a good performance. The results were presented and evaluated by users, and based on this, the study conducted discussions centered on the research questions through reference node and recommendation combination characteristic analysis, conjoint analysis, and results from comparative analysis. Overall, the study showed that the performance was excellent when author-related attributes were used alone or in combination with title-related attributes. If the technique proposed in this study is utilized and a wide range of samples are secured, it could help improve the performance of recommendation techniques not only in the field of literature recommendation in information services but also in various other fields in society.

22
이수빈(연세대학교 문헌정보학과) ; 김성덕(연세대학교 문헌정보학과) ; 이주희(연세대학교 문헌정보학과) ; 고영수(연세대학교 문헌정보학과) ; 송민(연세대학교) 2021, Vol.38, No.2, pp.153-172 https://doi.org/10.3743/KOSIM.2021.38.2.153
초록보기
초록

본 연구는 공황장애 말뭉치 구축과 분석을 통해 공황장애의 특성을 살펴보고 공황장애 경향 문헌을 분류할 수 있는 딥러닝 자동 분류 모델을 만들고자 하였다. 이를 위해 소셜미디어에서 수집한 공황장애 관련 문헌 5,884개를 정신 질환 진단 매뉴얼 기준으로 직접 주석 처리하여 공황장애 경향 문헌과 비 경향 문헌으로 분류하였다. 이 중 공황장애 경향 문헌에 나타난 어휘적 특성 및 어휘의 관계성을 분석하기 위해 TF-IDF값을 산출하고 단어 동시출현 분석을 실시하였다. 공황장애의 특성 및 증상 간의 관련성을 분석하기 위해 증상 빈도수와 주석 처리된 증상 번호 간의 동시출현 빈도수를 산출하였다. 또한, 구축한 말뭉치를 활용하여 딥러닝 자동 분류 모델 학습 및 성능 평가를 하였다. 이를 위하여 최신 딥러닝 언어 모델 BERT 중 세 가지 모델을 활용하였고 이 중 KcBERT가 가장 우수한 성능을 보였다. 본 연구는 공황장애 관련 증상을 겪는 사람들의 조기 진단 및 치료를 돕고 소셜미디어 말뭉치를 활용한 정신 질환 연구의 영역을 확장하고자 시도한 점에서 의의가 있다.

Abstract

This study is to create a deep learning based classification model to examine the characteristics of panic disorder and to classify the panic disorder tendency literature by the panic disorder corpus constructed for the present study. For this purpose, 5,884 documents of the panic disorder corpus collected from social media were directly annotated based on the mental disease diagnosis manual and were classified into panic disorder-prone and non-panic-disorder documents. Then, TF-IDF scores were calculated and word co-occurrence analysis was performed to analyze the lexical characteristics of the corpus. In addition, the co-occurrence between the symptom frequency measurement and the annotated symptom was calculated to analyze the characteristics of panic disorder symptoms and the relationship between symptoms. We also conducted the performance evaluation for a deep learning based classification model. Three pre-trained models, BERT multi-lingual, KoBERT, and KcBERT, were adopted for classification model, and KcBERT showed the best performance among them. This study demonstrated that it can help early diagnosis and treatment of people suffering from related symptoms by examining the characteristics of panic disorder and expand the field of mental illness research to social media.

초록보기
초록

이 연구의 목적은 대량의 최신정보를 제공하는 정보필터링 시스템에서 이용자 피드백에 의해 수정질의를 자동생성하여 재검색을 수행함으로써 검색 성능을 최적화할 수 있는 방안을 찾는 데 있다. 이용자가 입력한 초기질의를 사용하여 정보필터링 시스템이 검색한 문헌에 대해 이용자가 적합성 여부를 온라인으로 입력하도록 하고, 이 피드백 결과를 토대로 '중복제거법'과 '저빈도제거법' 두 가지 방법에 의해각각 17개의 수정질의를 생성하여 재검색한 결과를 초기 검색결과와 비교 분석하였다. 수정질의는 각각의 방법마다 17개 패턴의 불논리 질의형태를 미리 만든 다음 초기질의에 디스크립터와 분류기호를 결합하여 생성하였으며, 재검색 결과에 대한 적합성 평가를 통해 최적의 수정질의식을 도출하였다.

Abstract

In this study an information filtering system was implemented and a series of relevance feedback experiments were conducted using the system. For the relevance feedback, the original queries were searched against the database and the results were reviewed by the researchers. Based on users' online relevance judgements a pair of 17 refined queries were generated using two methods called "co-occurrence exclusion method" and "lower frequencies exclusion method." In order to generate them, the original queries. the descriptors and category codes appeared in either relevant or irrelevant document sets were applied as elements. Users' relevance judgments on the search results of the refined queries were compared and analyzed against those of the original queries. [ 더 많은 내용 보기 ]

초록보기
초록

인터넷 정보검색과정에서 가장 보편적으로 사용되고 있는 검색방법은 키워드 검색이다. 키워드 검색은 정확률과 재현율의 관점에서 여러가지 단점을 지니고 있다. 이러한 키워드 검색의 단점을 보완해 줄 수 있는 장치로서 다수의 웹 포털에서 디렉토리 검색서비스를 제공하고 있다. 검색포털에서 제공하고 있는 디렉토리 서비스는 포털별로 상이한 분류체계를 사용하는 이유로 이용자에게 불편을 주고 있으며, 이러한 불편의 해소를 위해 디렉토리 서비스간 통합검색을 제공하는 중개 게이트웨이의 구축필요성이 제기되고 있다. 이에 따라 이 연구에서는 네이버, 야후, 엠파스 등 국내 주요 포털의 디렉토리 서비스를 대상으로 통합검색을 제공하는 중개 게이트웨이의 모형을 구축하고 그 성능을 평가하였다.

Abstract

The most widely used information searching method in the current internet environment is the keyword-based one, which has certain limitations in terms of precision and recall. Most major internet portals provide directory-based searching as a means to complement these limitations. However, that they adopt different classification schemes brings significant inconvenience to the users, and it consequently suggests a need to develop mapping gateway to provide cross-portal, or cross-directory information searching. In this context, this study attempts to develop a prototype system of intermediary gateway for integrated search, using the directory services of three major portals, Naver, Yahoo and Empas, and test its performance.

초록보기
초록

디지털 정보환경에서 하나의 단일기능에서 복잡한 복합기능으로 새롭게 발전하고 있는 정보매체의 사용자 인터페이스 특성은 이용의도 향상을 위한 새로운 사용자 인터페이스 평가방법을 요구하고 있다. 본 연구는 정보매체의 인터페이스 특성을 하드웨어 구성요소인 물리적 컨트롤 구조특성과 정보내용의 명확성을 전달하는 콘텐츠 표현 특성으로 구분하여 정보매체의 기술수용관점에서 이용의도 향상을 위해 고려되어야 할 인터페이스 특성에 대해 논의하였다. 물리적 컨트롤 인터페이스, 콘텐츠 표현 인터페이스 특성요인으로 148명의 사용자에 대한 설문내용을 기초로 정보매체의 기술수용과 관련된 인지된 유용성, 인지된 이용 용이성, 그리고 이용의도에 대한 가설을 검증하였다. 연구결과 물리적 구조 인터페이스와 콘텐츠 표현 인터페이스 특성은 인지된 유용성에 유의한 영향을 미치는 것으로 파악되었으며, 정보매체의 이용 의도는 인지된 유용성과 인지된 이용 용이성에 의해 영향을 받는 것으로 밝혀졌다. 본 연구를 통해 사용자 인터페이스에 대한 설계는 디자인 관점에서 접근하기 보다는 성능에 대한 유용성 평가과정 그 자체로서 물리적 구조 인터페이스와 콘텐츠 표현 인터페이스 특성의 중요성을 확인하였다.

Abstract

Whereas traditional user interface are well accepted modes of information exchange, the new digital conversion type's of information media is relatively complex and provides new means of transaction with user interface. User interface can be decomposed into two component: the physical structure through which information media is controlled, and the presentation of the content. This research explores the two user interface element have different effect on the adoption of information media and, as such, can influence perceived usefulness, perceived easy of use, and intention of use. The hypotheses have been tested with the survey of 148 end-users examines two interface characteristics factors such as efficiency, error, design, entertainment, accuracy, and vividness, and so on. The research summarized in this paper decomposes the influence of interface elements of physical structure interface and content presentation interface to gain a better understanding of how interface stimulates user's perceived usefulness to adopt the information media.

26
고영만(성균관대학교) ; 이승준(성균관대학교 정보관리연구소) ; 송민선(성균관대학교 정보관리연구소) 2015, Vol.32, No.2, pp.131-152 https://doi.org/10.3743/KOSIM.2015.32.2.131
초록보기
초록

본 연구에서는 R2RML 방식과 Non-R2RML 방식을 각각 적용하여 RDB를 RDF 온톨로지로 변환한 결과를 비교하였다. RDB 기반의 구조적학술용어사전 데이터베이스인 STNet의 데이터를 대상으로, 변환이 완료된 데이터의 규모, 튜플당 변환에 걸리는 시간, 그리고 질의 응답 속도를 측정하였다. 변환 규모의 평가 결과 Non-R2RML 방식이 더 많은 수의 변환을 하였으며, 표현의 풍부성과 추론 가능성 정도를 높이는 변환을 수행한 것으로 나타났다. 튜플당 변환 시간의 경우 Non-R2RML 방식이 미세하지만 더 빠른 것으로 나타났으며, 질의 응답 속도는 두 방식 모두 300회 이상의 질의 횟수부터는 안정적인 성능을 보이면서 유사한 형태의 속도를 보였다. 측정에 대한 종합적 검토 결과 데이터의 변형이 빈번하고 새로운 데이터의 추가나 데이터들 간의 연결관계가 지속적으로 변화하는 STNet과 같은 동적인 RDB에는 Non-R2RML 방식이 적절한 것으로 평가되었다.

Abstract

This study described the results of converting RDB to RDF ontology by each of R2RML method and Non-R2RML method. This study measured the size of the converted data, the conversion time per each tuple, and the response speed to queries. The STNet, a structured terminology dictionary based on RDB, was served as a test bed for converting to RDF ontology. As a result of the converted data size, Non-R2RML method appeared to be superior to R2RML method on the number of converted triples, including its expressive diversity. For the conversion time per each tuple, Non-R2RML was a little bit more faster than R2RML, but, for the response speed to queries, both methods showed similar response speed and stable performance since more than 300 numbers of queries. On comprehensive examination it is evaluated that Non-R2RML is the more appropriate to convert the dynamic RDB system, such as the STNet in which new data are steadily accumulated, data transformation very often occurred, and relationships between data continuously changed.

27
유지윤(서울대학교 중앙도서관 주무관) 2020, Vol.37, No.4, pp.151-179 https://doi.org/10.3743/KOSIM.2020.37.4.151
초록보기
초록

본 연구는 대학도서관 이용자를 대상으로 도서관 챗봇을 설계하고 구현하여 언택트 시대의 새로운 비대면 디지털 참고정보서비스를 모색하고자 했다. 데이터 분석을 통해 이용자 요구 및 도서관 서비스를 분석하고, 적합한 챗봇 개발 방법을 선정하여 시나리오를 설계했다. 이용자 친화적인 상호작용을 위해 챗봇의 퍼스널리티를 설계하고 이용자 인터페이스를 디자인하여 사용성을 평가했다. 또한 챗봇의 응답정확도 평가 및 성능평가를 통해 정확도를 검증하고, 이용자 만족도 조사를 통해 챗봇의 효용성을 평가했다. 챗봇 운영관리 및 서비스 품질 유지를 위해 이용자-챗봇 간의 대화를 주기적으로 모니터링하고, 이용자 피드백을 반영하여 서비스를 개선했다. 챗봇 개발 과정 및 결과를 다각도로 분석하여 도서관 챗봇 설계 및 구현을 위한 구체적인 방안을 제시하고자 했다.

Abstract

This study explores the potential of using a library chatbot to improve the non-face-to-face digital reference services for academic library users by designing and implementing a library chatbot. Through data analysis, user needs and library services were analyzed, and a scenario was designed by selecting an appropriate development method. For user-friendly interaction, the personality of the chatbot and user interface was designed to evaluate its usability. In addition, the accuracy was verified through the response accuracy evaluation and performance evaluation of the chatbot, and the effectiveness of the chatbot was evaluated through a user satisfaction survey. In order to manage the operation and maintain service quality, the chatbot is improved by monitoring user-chatbot conversations and reflecting user feedback. Based on these findings, recommendations for designing and implementing a library chatbot were made to help improve library reference services.

초록보기
초록

정보기술의 발전과 더불어 국가경쟁력 및 대국민 서비스 강화를 위한 공공정보시스템의 구축이 확산되고 있다. 또한 막대한 공공재원이 투자되는 공공정보시스템은 효율성에 대한 정기적인 평가를 통한 존재가치의 입증 및 문제점 진단을 통한 성능개선의 요구도 증대되고 있다. 따라서 본 연구는 국내의 대표적인 웹 기반 공공고용정보시스템 워크넷(Work-Net)의 데이터 및 서비스 품질을 102명의 이용자를 대상으로 평가하였다. 측정도구는 학계에서 많이 사용해온 정보내용, 정확성, 적시성, 출력형태, 사용의 용이성, 지원성으로 구성하였으며 t-test와 일원변량분석(one-way ANOVA)을 실시하여 이용자의 특성 및 검색정보에 따른 차이를 살펴보았다. 또한 최근 구직자들의 고용정보시스템에 대한 요구사항들을 분석하였다. 본 연구결과는 공공 및 민간운영 고용정보시스템 운영체제 효율화에 기여할 수 있는 유용한 기초자료를 제공할 것으로 본다.

Abstract

A public information system is being expanded, along with the advance of information technology, to strengthen national competitiveness and provide people with better services. And there also is a growing need for the better performance of that system, as a tremendous amount of public finacial resources is invested in that. To address that need, it's required to make an evaluation of its efficiency on a regular basis to identify its problems and make it work better. The purpose of this study was, accordingly, to examine the quality of data and services provided by the Work-Net, a Web-based public employment information system. The subjects in this study were 102 users of it, and the system was evaluated in terms of content, accuracy, timelines, display format, ease of use and customer support. For data analysis, t-test and one-way ANOVA were implemented to find out the general characteristics of the users, and to see whether or not their view was different according to the type of information they searched for. The findings of this study are expected to lay some foundation for intensifying the efficiency of the public and private employment information systems.

초록보기
초록

이 연구는 색인가가 주제 색인하는 과정에서 참조하는 여러 문서구성요소를 문서 범주화의 정보원으로 인식하여 이들이 문서 범주화 성능에 미치는 영향을 살펴보는데 그 목적이 있다. 이는 기존의 문서 범주화 연구가 전문(full text)에 치중하는 것과는 달리 문서구성요소로서 정보원의 영향을 평가하여 문서 범주화에 효율적으로 사용될 수 있는지를 파악하고자 한다. 전형적인 과학기술 분야의 저널 및 회의록 논문을 데이터 집합으로 하였을 때 정보원은 본문정보 중심과 문서구성요소 중심으로 나뉘어 질 수 있다. 본문정보 중심은 본론 자체와 서론과 결론으로 구성되며, 문서구성요소 중심은 제목, 인용, 출처, 초록, 키워드로 파악된다. 실험 결과를 살펴보면, 인용, 출처, 제목 정보원은 본문 정보원과 비교하여 유의한 차이를 보이지 않으며, 키워드 정보원은 본문 정보원과 비교하여 유의한 차이를 보인다. 이러한 결과는 색인가가 참고하는 문서구성요소로서의 정보원이 문서 범주화에 본문을 대신하여 효율적으로 활용될 수 있음을 보여주고 있다.

Abstract

The purpose of this study is to examine whether the information resources referenced by human indexers during indexing process are effective on Text Categorization. More specifically, information resources from bibliographic information as well as full text information were explored in the context of a typical scientific journal article data set. The experiment results pointed out that information resources such as citation, source title, and title were not significantly different with full text. Whereas keyword was found to be significantly different with full text. The findings of this study identify that information resources referenced by human indexers can be considered good candidates for text categorization for automatic subject term assignment.

30
고영수(연세대학교 문헌정보학과 석사과정) ; 이수빈(연세대학교 문헌정보학과 박사과정) ; 차민정(연세대학교 소셜오믹스 연구센터) ; 김성덕(연세대학교 문헌정보학과 석사과정) ; 이주희(연세대학교 문헌정보학과 석사과정) ; 한지영(연세대학교 문헌정보학과 석사과정) ; 송민(연세대학교 문헌정보학과) 2022, Vol.39, No.2, pp.111-129 https://doi.org/10.3743/KOSIM.2022.39.2.111
초록보기
초록

불면증은 최근 5년 새 환자가 20% 이상 증가하고 있는 현대 사회의 만성적인 질병이다. 수면이 부족할 경우 나타나는 개인 및 사회적 문제가 심각하고 불면증의 유발 요인이 복합적으로 작용하고 있어서 진단 및 치료가 중요한 질환이다. 본 연구는 자유롭게 의견을 표출하는 소셜 미디어 ‘Reddit’의 불면증 커뮤니티인 ‘insomnia’를 대상으로 5,699개의 데이터를 수집하였고 이를 국제수면장애분류 ICSD-3 기준과 정신의학과 전문의의 자문을 받은 가이드라인을 바탕으로 불면증 경향 문헌과 비경향 문헌으로 태깅하여 불면증 말뭉치를 구축하였다. 구축된 불면증 말뭉치를 학습데이터로 하여 5개의 딥러닝 언어모델(BERT, RoBERTa, ALBERT, ELECTRA, XLNet)을 훈련시켰고 성능 평가 결과 RoBERTa가 정확도, 정밀도, 재현율, F1점수에서 가장 높은 성능을 보였다. 불면증 소셜 데이터를 심층적으로 분석하기 위해 기존에 많이 사용되었던 LDA의 약점을 보완하며 새롭게 등장한 BERTopic 방법을 사용하여 토픽 모델링을 진행하였다. 계층적 클러스터링 분석 결과 8개의 주제군(‘부정적 감정’, ‘조언 및 도움과 감사’, ‘불면증 관련 질병’, ‘수면제’, ‘운동 및 식습관’, ‘신체적 특징’, ‘활동적 특징’, ‘환경적 특징’)을 확인할 수 있었다. 이용자들은 불면증 커뮤니티에서 부정 감정을 표현하고 도움과 조언을 구하는 모습을 보였다. 또한, 불면증과 관련된 질병들을 언급하고 수면제 사용에 대한 담론을 나누며 운동 및 식습관에 관한 관심을 표현하고 있었다. 발견된 불면증 관련 특징으로는 호흡, 임신, 심장 등의 신체적 특징과 좀비, 수면 경련, 그로기상태 등의 활동적 특징, 햇빛, 담요, 온도, 낮잠 등의 환경적 특징이 확인되었다.

Abstract

Insomnia is a chronic disease in modern society, with the number of new patients increasing by more than 20% in the last 5 years. Insomnia is a serious disease that requires diagnosis and treatment because the individual and social problems that occur when there is a lack of sleep are serious and the triggers of insomnia are complex. This study collected 5,699 data from ‘insomnia’, a community on ‘Reddit’, a social media that freely expresses opinions. Based on the International Classification of Sleep Disorders ICSD-3 standard and the guidelines with the help of experts, the insomnia corpus was constructed by tagging them as insomnia tendency documents and non-insomnia tendency documents. Five deep learning language models (BERT, RoBERTa, ALBERT, ELECTRA, XLNet) were trained using the constructed insomnia corpus as training data. As a result of performance evaluation, RoBERTa showed the highest performance with an accuracy of 81.33%. In order to in-depth analysis of insomnia social data, topic modeling was performed using the newly emerged BERTopic method by supplementing the weaknesses of LDA, which is widely used in the past. As a result of the analysis, 8 subject groups (‘Negative emotions’, ‘Advice and help and gratitude’, ‘Insomnia-related diseases’, ‘Sleeping pills’, ‘Exercise and eating habits’, ‘Physical characteristics’, ‘Activity characteristics’, ‘Environmental characteristics’) could be confirmed. Users expressed negative emotions and sought help and advice from the Reddit insomnia community. In addition, they mentioned diseases related to insomnia, shared discourse on the use of sleeping pills, and expressed interest in exercise and eating habits. As insomnia-related characteristics, we found physical characteristics such as breathing, pregnancy, and heart, active characteristics such as zombies, hypnic jerk, and groggy, and environmental characteristics such as sunlight, blankets, temperature, and naps.

정보관리학회지