바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: 성능평가, 검색결과: 30
초록보기
초록

기계가 정보의 의미를 이해하고 처리할 수 있도록 기존의 웹을 확장하는 것을 목적으로 하는 시멘틱 웹은 온톨로지를 이용하여 지식을 공유하게 된다. 본 논문에서는 정교한 질의의 처리를 위하여 온톨로지 내에 존재하는 의미 관계들을 질의의 확장을 위한 연관피드백 정보로 이용하는 방안을 제안한다. 실험은 도메인 온톨로지인 Medicine 온톨로지를 대상으로 하였으며, 출현 용어들의 빈도정보만을 이용한 키워드기반 문서검색과 제안한 온톨로지기반 문서검색의 성능을 비교하였다. 이 때, 두 시스템의 정확률과 재현율을 성능 평가의 기준으로 삼았다. 그 결과, 검색 엔진은 온톨로지에 정의된 개념들과 규칙들을 활용하면서 검색의 정확률을 향상시키는데 도움이 되었고 검색 성능을 향상시키기 위한 추론의 기반으로도 사용될 수 있었다.

Abstract

For the purpose of extending the Web that is able to understand and process information by machine, Semantic Web shared knowledge in the ontology form. For exquisite query processing, this paper proposes a method to use semantic relations in the ontology as relevance feedback information to query expansion. We made experiment on pharmacy domain. And in order to verify the effectiveness of the semantic relation in the ontology, we compared a keyword based document retrieval system that gives weights by using the frequency information compared with an ontology based document retrieval system that uses relevant information existed in the ontology to a relevant feedback. From the evaluation of the retrieval performance, we knew that search engine used the concepts and relations in ontology for improving precision effectively. Also it used them for the basis of the inference for improvement the retrieval performance.

12
김수연(연세대학교) ; 정영미(연세대학교) 2006, Vol.23, No.3, pp.147-165 https://doi.org/10.3743/KOSIM.2006.23.3.147
초록보기
초록

이 연구에서는 전체 문헌집단으로부터 초기 질의어에 대한 연관용어 선정 시 사용할 수 있는 최적의 기법을 찾기 위해 연관규칙 마이닝과 용어 클러스터링 기법을 이용하여 연관용어 선정 실험을 수행하였다. 연관규칙 마이닝 기법에서는 Apriori 알고리즘을 사용하였으며, 용어 클러스터링 기법에서는 연관성 척도로 GSS 계수, 자카드계수, 코사인계수, 소칼 & 스니스 5, 상호정보량을 사용하였다. 성능평가 척도로는 연관용어 정확률과 연관용어 일치율을 사용하였으며, 실험결과 Apriori 알고리즘과 GSS 계수가 가장 좋은 성능을 나타냈다.

Abstract

In this study, experiments for selection of association terms were conducted in order to discover the optimum method in selecting additional terms that are related to an initial query term. Association term sets were generated by using support, confidence, and lift measures of the Apriori algorithm, and also by using the similarity measures such as GSS, Jaccard coefficient, cosine coefficient, and Sokal & Sneath 5, and mutual information. In performance evaluation of term selection methods, precision of association terms as well as the overlap ratio of association terms and relevant documents' indexing terms were used. It was found that Apriori algorithm and GSS achieved the highest level of performances.

초록보기
초록

정보시대의 도래로 정보량은 기하급수적으로 증가하게 되었고, 이러한 대량의 정보로부터 이용자 개개인에게 적합한 정보를 적시에 제공할 수 있는 방법으로 SDI 서비스가 연구개발되어 왔지만, 현실적으로 그 활용도는 매우 낮은 것으로 조사되었다. 이에 본 논문에서는 그 원인을 분석하고 SDI 시스템의 성능을 개선시킬 수 있는 적합성 피드백 기반 SDI 시스템을 개발하고자 하였다. 본 연구의 실험을 위해 개발된 실험시스템은 이용자 최소개입 피드백기반 SDI 시스템, 완전자동 피드백기반 SDI 시스템, 그리고 이용자 최대개입 피드백 기반 SDI 시스템이며, 새로 개발된 3개 시스템의 성능 개선정도를 평가하기 위해 네 번째 시스템으로서 전통적인 SDI 서비스에서 사용하고 있는 방법으로 시스템을 개발하였다. 실험결과 이용자 최대개입 피드백 기반 SDI 시스템이 가장 높은 성능을 보여 주었고, 완전자동 피드백 기반, 이용자 최소개입 피드백기반, 전통적 SDI 시스템 순으로 나타났으며, 피드백 기반 시스템들은 피드백이 진행될수록 그 성능이 향상되는 것으로 나타났다.

Abstract

As the Internet facilitates the rapid increase of information availability, the study on SDI service that provides users with relevant document in a timely manner has been developed. However, the practical use of this service has been low. This thesis aims at analyzing the reasons for this and developing relevance feedback based SDI system to improve the performance of the existing SDI system. Experimental systems that are developed for this study are SDI system based on users' minimum intervention feedback, SDI system based on perfect automation feedback, and SDI system based on users' maximum intervention feedback. The fourth system that utilizes the traditional SDI system is also studied to evaluate the level of performance improvement of the newly developed three types of SDI system. As a result of this study, SDI system based on users' maximum intervention feedback showed greatest performance improvement. The next performance improvement happened in order of SDI system based on perfect automation feedback, SDI system based on users' minimum intervention feedback, and the traditional SDI system. Feedback based systems showed greater performance improvement as they went through more feedback processes.

14
정영미(연세대학교) ; 이용구(계명대학교) 2005, Vol.22, No.2, pp.125-145 https://doi.org/10.3743/KOSIM.2005.22.2.125
초록보기
초록

이 연구에서는 문헌 및 질의의 내용을 대표하는 주제어의 중의성 해소를 위해 대표적인 지도학습 모형인 나이브 베이즈 분류기와 비지도학습 모형인 EM 알고리즘을 각각 적용하여 검색 실험을 수행한 다음, 주제어의 중의성 해소를 통해 검색 성능의 향상을 가져올 수 있는지를 평가하였다. 실험문헌 집단은 약 12만 건에 달하는 한국어 신문기사로 구성하였으며, 중의성 해소 대상 단어로는 한국어 동형이의어 9개를 선정하였다. 검색 실험에는 각 중의성 단어를 포함하는 18개의 질의를 사용하였다. 중의성 해소 실험 결과 나이브 베이즈 분류기는 최적의 조건에서 평균 92%의 정확률을 보였으며, EM 알고리즘은 최적의 조건에서 평균 67% 수준의 클러스터링 성능을 보였다. 중의성 해소 알고리즘을 통합한 의미기반 검색에서는 나이브 베이즈 분류기 통합 검색이 약 39.6%의 정확률을 보였고, EM 알고리즘 통합 검색이 약 36%의 정확률을 보였다. 중의성 해소 모형을 적용하지 않은 베이스라인 검색의 정확률 37%와 비교하면 나이브 베이즈 통합 검색은 약 7.4%의 성능 향상률을 보인 반면 EM 알고리즘 통합 검색은 약 3%의 성능 저하율을 보였다.

Abstract

This paper presents a semantic vector space retrieval model incorporating a word sense disambiguation algorithm in an attempt to improve retrieval effectiveness. Nine Korean homonyms are selected for the sense disambiguation and retrieval experiments. The total of approximately 120,000 news articles comprise the raw test collection and 18 queries including homonyms as query words are used for the retrieval experiments. A Naive Bayes classifier and EM algorithm representing supervised and unsupervised learning algorithms respectively are used for the disambiguation process. The Naive Bayes classifier achieved 92% disambiguation accuracy, while the clustering performance of the EM algorithm is 67% on the average. The retrieval effectiveness of the semantic vector space model incorporating the Naive Bayes classifier showed 39.6% precision achieving about 7.4% improvement. However, the retrieval effectiveness of the EM algorithm-based semantic retrieval is 3% lower than the baseline retrieval without disambiguation. It is worth noting that the performances of disambiguation and retrieval depend on the distribution patterns of homonyms to be disambiguated as well as the characteristics of queries.

초록보기
초록

정보기술의 발전과 더불어 국가경쟁력 및 대국민 서비스 강화를 위한 공공정보시스템의 구축이 확산되고 있다. 또한 막대한 공공재원이 투자되는 공공정보시스템은 효율성에 대한 정기적인 평가를 통한 존재가치의 입증 및 문제점 진단을 통한 성능개선의 요구도 증대되고 있다. 따라서 본 연구는 국내의 대표적인 웹 기반 공공고용정보시스템 워크넷(Work-Net)의 데이터 및 서비스 품질을 102명의 이용자를 대상으로 평가하였다. 측정도구는 학계에서 많이 사용해온 정보내용, 정확성, 적시성, 출력형태, 사용의 용이성, 지원성으로 구성하였으며 t-test와 일원변량분석(one-way ANOVA)을 실시하여 이용자의 특성 및 검색정보에 따른 차이를 살펴보았다. 또한 최근 구직자들의 고용정보시스템에 대한 요구사항들을 분석하였다. 본 연구결과는 공공 및 민간운영 고용정보시스템 운영체제 효율화에 기여할 수 있는 유용한 기초자료를 제공할 것으로 본다.

Abstract

16
김수경(한밭대학교) ; 안기홍(한밭대학교) 2007, Vol.24, No.3, pp.119-147 https://doi.org/10.3743/KOSIM.2007.24.3.119
초록보기
초록

시맨틱 웹 응용의 구현에 있어 가장 중요한 기술이 시맨틱 웹의 특징을 만족하는 웹 온톨로지의 구축임에도 불구하고, 대부분 웹 온톨로지의 구축에 적용된 기법들이 시맨틱 웹과 웹 온톨로지의 특징을 만족하지 못함에 따라 시맨틱 웹 응용의 발전과 보급이 미흡하다. 따라서 본 연구는 온톨로지와 웹 온톨로지 관련 연구들을 분석하여 시맨틱 웹을 위한 웹 온톨로지의 특징들을 파악하고, 기존 온톨로지 구축과 웹 온톨로지 구축을 위해 제안된 구축 기법들을 비교 분석하여 시맨틱 웹과 웹 온톨로지의 특징에 적합한 웹 온톨로지 구축 기법을 제안한다. 실험은 제안된 방법에 따라 서술 논리와 SWRL의 표현 방법을 이용한 공리 규칙을 기반으로 온톨로지를 모델링하여 추론 기반의 웹 온톨로지를 구축하였으며, 구축된 온톨로지의 검증을 위한 온톨로지 추론 실험을 통해 온톨로지 성능을 검증하였다. 구축된 웹 온톨로지를 기반으로 하는 시맨틱 웹 응용의 예로 지능형 이미지 검색 시스템을 실험 시스템으로 구현하였다. 실험 시스템의 성능 평가를 위해 비교 대상 시스템과의 검색 실험 결과, 실험 시스템이 재현율과 정확율에 있어 우수한 성능을 보여주었다.

Abstract

Actually a diffusion of a Semantic Web application and utilization are situations insufficient extremely. Technology most important in Semantic Web application is construction of the Ontology which contents itself with characteristics of Semantic Web. Proposed a suitable a Method of Building Web Ontology for characteristics of Semantic Web and Web Ontology as we compared the existing Ontology construction and Ontology construction techniques proposed for Web Ontology construction, and we analyzed. And modeling did Ontology to bases to Description Logic and the any axiom rule that used an expression way of SWRL, and established Inference-based Web Ontology according to proposed ways. Verified performance of Ontology established through Ontology inference experiment. Also, established an Web Ontology-based Intelligence Image Retrieval System, to experiment systems for performance evaluation of established Web Ontology, and present an example of implementation of a Semantic Web application and utilization. Demonstrated excellence of a Semantic Web application to be based on Ontology through inference experiment of an experiment system.

초록보기
초록

국내 학술연구의 동향을 구체적으로 파악하여 연구개발 활동의 체계적인 지원 및 평가는 물론 현재와 미래의 연구 방향을 설정할 수 있는 기초 데이터로서, 개별 학술지 논문에 표준화된 주제 범주(통제키워드)를 부여할 수 있는 효율적인 방안을 모색하였다. 이를 위해 한국연구재단 「학술연구분야분류표」 상의 분류 범주를 국내 학술지 논문에 자동 할당하는 과정에서, 자질선정 기법을 중심으로 자동분류의 성능에 영향을 미치는 주요 요소들에 대한 다각적인 실험을 수행하였다. 그 결과, 실제 환경의 불균형 데이터세트(imbalanced dataset)인 국내 학술지 논문의 자동분류에서는 보다 단순한 분류기와 자질선정 기법, 그리고 비교적 소규모의 학습집합을 사용하여 상당히 좋은 수준의 성능을 기대할 수 있는 것으로 나타났다.

Abstract

As basic data that can systematically support and evaluate R&D activities as well as set current and future research directions by grasping specific trends in domestic academic research, I sought efficient ways to assign standardized subject categories (control keywords) to individual journal papers. To this end, I conducted various experiments on major factors affecting the performance of automatic classification, focusing on feature selection techniques, for the purpose of automatically allocating the classification categories on the National Research Foundation of Korea’s Academic Research Classification Scheme to domestic journal papers. As a result, the automatic classification of domestic journal papers, which are imbalanced datasets of the real environment, showed that a fairly good level of performance can be expected using more simple classifiers, feature selection techniques, and relatively small training sets.

초록보기
초록

본 연구는 비디오의 오디오 정보를 추출하여 자동으로 요약하는 알고리즘을 설계하고, 제안된 알고리즘에 의해서 구성한 오디오 요약의 품질을 평가하여 효율적인 비디오 요약의 구현 방안을 제안하였다. 구체적인 연구 결과를 살펴보면 다음과 같다. 먼저, 제안 오디오 요약의 품질이 위치 기반 오디오 요약의 품질 보다 내재적 평가에서 더 우수하게 나타났다. 이용자 평가(외재적 평가)의 요약문 정확도에서는 제안 요약문이 위치 기반 요약문 보다 더 우수한 것으로 나타났지만, 항목 선택에서는 이 두 요약문간의 성능 차이는 없는 것으로 나타났다. 이외에 비디오 브라우징을 위한 오디오 요약에 대한 이용자 만족도를 조사하였다. 끝으로 이러한 조사 결과를 기초로 하여 제안된 오디오 요약 기법을 인터넷이나 디지털 도서관에 활용하는 방안들을 제시하였다.

Abstract

The study proposed the algorithm for automatically summarizing the audio information from a video and then conducted an experiment for the evaluation of the audio extraction that was constructed based on the proposed algorithm. The research results showed that first, the recall and precision rates of the proposed method for audio summarization were higher than those of the mechanical method by which audio extraction was constructed based on the sentence location. Second, the proposed method outperformed the mechanical method in summary making tasks, although in the gist recognition task(multiple choice), there is no statistically difference between the proposed and mechanical methods. In addition, the study conducted the participants' satisfaction survey regarding the use of audio extraction for video browsing and also discussed the practical implications of the proposed method in Internet and digital library environments.

19
김선욱(경북대학교 사회과학대학 문헌정보학과) ; 이혜경(경북대학교 문헌정보학과) ; 이용구(경북대학교) 2023, Vol.40, No.2, pp.183-209 https://doi.org/10.3743/KOSIM.2023.40.2.183
초록보기
초록

이 연구의 목적은 ChatGPT가 도서의 표지, 표제지, 판권기 데이터를 활용하여 생성한 더블린코어의 품질 평가를 통하여 ChatGPT의 메타데이터의 생성 능력과 그 가능성을 확인하는 데 있다. 이를 위하여 90건의 도서의 표지, 표제지와 판권기 데이터를 수집하여 ChatGPT에 입력하고 더블린 코어를 생성하게 하였으며, 산출물에 대해 완전성과 정확성 척도로 성능을 파악하였다. 그 결과, 전체 데이터에 있어 완전성은 0.87, 정확성은 0.71로 준수한 수준이었다. 요소별로 성능을 보면 Title, Creator, Publisher, Date, Identifier, Right, Language 요소가 다른 요소에 비해 상대적으로 높은 성능을 보였다. Subject와 Description 요소는 완전성과 정확성에 대해 다소 낮은 성능을 보였으나, 이들 요소에서 ChatGPT의 장점으로 알려진 생성 능력을 확인할 수 있었다. 한편, DDC 주류인 사회과학과 기술과학 분야에서 Contributor 요소의 정확성이 다소 낮았는데, 이는 ChatGPT의 책임표시사항 추출 오류 및 데이터 자체에서 메타데이터 요소용 서지 기술 내용의 누락, ChatGPT가 지닌 영어 위주의 학습데이터 구성 등에 따른 것으로 판단하였다.

Abstract

The purpose of this study is to evaluate the Dublin Core metadata generated by ChatGPT using book covers, title pages, and colophons from a collection of books. To achieve this, we collected book covers, title pages, and colophons from 90 books and inputted them into ChatGPT to generate Dublin Core metadata. The performance was evaluated in terms of completeness and accuracy. The overall results showed a satisfactory level of completeness at 0.87 and accuracy at 0.71. Among the individual elements, Title, Creator, Publisher, Date, Identifier, Rights, and Language exhibited higher performance. Subject and Description elements showed relatively lower performance in terms of completeness and accuracy, but it confirmed the generation capability known as the inherent strength of ChatGPT. On the other hand, books in the sections of social sciences and technology of DDC showed slightly lower accuracy in the Contributor element. This was attributed to ChatGPT’s attribution extraction errors, omissions in the original bibliographic description contents for metadata, and the language composition of the training data used by ChatGPT.

20
박소연(덕성여자대학교) 2012, Vol.29, No.1, pp.175-190 https://doi.org/10.3743/KOSIM.2012.29.1.175
초록보기
초록

본 연구에서는 국내 주요 검색 포털들인 구글 코리아, 네이버, 네이트, 다음, 야후 코리아의 모바일 검색 기능을 분석, 평가하고자 한다. 좀 더 구체적으로 이 연구에서는 유선 검색과 차별화되는 모바일 검색 기능인 음성 검색, 음악 검색, 코드 검색, 비주얼 검색(사물 검색) 등에 초점을 맞추고, 이러한 검색 기법의 특징을 포털별로 조사하고, 검색 성능을 인식의 정확도와 인식 속도에 근거하여 비교, 평가하고자 한다. 조사 결과, 네이버와 다음이 가장 다양한 모바일 검색 기능을 제공하고 있었으며, 구글은 음성 검색만을 제공하고 있었고, 네이트와 야후는 어떠한 특화된 기능도 제공하지 않고 있었다. 본 연구의 결과는 향후 포털의 효과적인 모바일 검색 기능의 개발에 활용될 수 있을 것으로 기대된다.

Abstract

This study aims to investigate the current status of mobile search functions of Korean search portals, namely Google Korea, Naver, Nate, Daum, and Yahoo Korea. This study focuses on unique mobile search functionalities, such as voice search, music search, code search, and visual/ object search. In particular, this study analyzed characteristics of these search functions and evaluated their performances based on the accuracy and the speed of recognition. The results of this study show that both Naver and Daum support various mobile searching functions, whereas Google only supports voice search. Nate and Yahoo do not offer any unique function. The results of this study can be applied to the portal's effective development of mobile search functionalities.

정보관리학회지