바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: Performance Evaluation, 검색결과: 3
1
정영미(연세대학교) ; 장지은(연세대학교) 2003, Vol.20, No.3, pp.111-127 https://doi.org/10.3743/KOSIM.2003.20.3.111
초록보기
초록

이 연구의 목적은 사건을 연구대상으로 하는 사건트래킹 기법이 과연 최신 사건 정보를 검색함에 있어 기존의 정보필터링 기법보다 성능이 우수한가를 살펴보는 데 있다. 따라서 이 연구에서는 특정 사건에 관한 최신 기사를 보다 효과적으로 검색하여 제공하는 기법을 찾아내기 위하여 kNN(k-Nearest Neighbors) 분류기를 응용한 사건트래킹 기법과 질의기반 정보필터링 기법을 사용하여 사건검색 실험을 수행한 후 두 기법의 검색 성능을 비교하였다. 사건트래킹 실험은 초기의 고정 학습문서 집합을 사용한 사건트래킹과 트래킹 과정에서 변화하는 동적 학습문서 집합을 사용한 사건트래킹의 두 가지 방법으로 수행되었다. 정보필터링 실험도 초기질의를 사용한 정보필터링과 필터링 과정에서 계속 수정되는 질의를 사용한 정보필터링의 두 가지 방법으로 수행되었다. 실험 결과 사건트래킹 기법에서는 고정 학습문서 집합을 사용한 경우가 동적 학습문서 집합을 사용한 경우보다 더 우수한 성능을 보였으며, 정보필터링 기법에서는 초기질의를 사용한 경우가 수정질의를 사용한 경우보다 더 좋은 성능을 보였다. 또한 고정 학습문서 집합을 사용한 사건트래킹과 초기질의를 사용한 정보필터링을 비교한 결과 정보필터링 기법이 사건트래킹 기법에 비해 더 좋은 사건검색 성능을 보이는 것으로 나타났다.

Abstract

The purpose of this study is to ascertain whether event tracking is more effective in event retrieval than information filtering. This study examined the two techniques for event retrieval to suggest the more effective one. The event-retrieval performances of the event tracking technique based on a kNN classifier and the query-based information filtering technique were compared. Two event tracking experiments, one with the static training set and the other with the dynamic training set, were carried out. Two information filtering experiments, one with initial queries and the other with refined queries, were also carried out to evaluate the event-retrieval effectiveness. We found that the event tracking technique with the static training set performed better than one with the dynamic training set. It was also found that the information filtering technique using intial queries performed better than one using the refined queries. In conclusion, the comparison of the best cases of event tracking and information filtering revealed that the information filtering technique outperformed the event tracking technique in event retrieval.

초록보기
초록

역문헌빈도 가중치 기법은 문헌 집단에서 출현빈도가 낮을수록 색인어의 중요도가 높다는 가정에 근거하고 있다. 그런데 이는 중간빈도어를 중요하게 여기는 여타 이론과는 일치하지 않는 것이다. 이 연구에서는 저빈도어보다 중간빈도어가 더 중요하다는 가정에 근거하여 역문헌빈도 가중치 공식을 수정한 피벗 역문헌빈도 가중치 기법을 제안하였다. 제안된 기법을 검증하기 위해서 세 실험집단을 대상으로 검색실험을 수행한 결과. 피벗 역문헌빈도 가중치기법이 역문헌빈도 가중치 기법에 비해서 특히 검색결과 상위에서의 성능을 향상시키는 것으로 나타났다.

Abstract

The Inverse Document Frequency (IDF) weighting method is based on the hypothesis that in the document collection the lower the frequency of a term is, the more important the term is as a subject word. This well-known hypothesis is, however, somewhat questionable because some low frequency terms turn out to be insufficient subject words. This study suggests the pivoted IDF weighting method for better retrieval effectiveness, on the assumption that medium frequency terms are more important than low frequency terms. We thoroughly evaluated this method on three test collections and it showed performance improvements especially at high ranks.

초록보기
초록

정보기술의 발전과 더불어 국가경쟁력 및 대국민 서비스 강화를 위한 공공정보시스템의 구축이 확산되고 있다. 또한 막대한 공공재원이 투자되는 공공정보시스템은 효율성에 대한 정기적인 평가를 통한 존재가치의 입증 및 문제점 진단을 통한 성능개선의 요구도 증대되고 있다. 따라서 본 연구는 국내의 대표적인 웹 기반 공공고용정보시스템 워크넷(Work-Net)의 데이터 및 서비스 품질을 102명의 이용자를 대상으로 평가하였다. 측정도구는 학계에서 많이 사용해온 정보내용, 정확성, 적시성, 출력형태, 사용의 용이성, 지원성으로 구성하였으며 t-test와 일원변량분석(one-way ANOVA)을 실시하여 이용자의 특성 및 검색정보에 따른 차이를 살펴보았다. 또한 최근 구직자들의 고용정보시스템에 대한 요구사항들을 분석하였다. 본 연구결과는 공공 및 민간운영 고용정보시스템 운영체제 효율화에 기여할 수 있는 유용한 기초자료를 제공할 것으로 본다.

Abstract

A public information system is being expanded, along with the advance of information technology, to strengthen national competitiveness and provide people with better services. And there also is a growing need for the better performance of that system, as a tremendous amount of public finacial resources is invested in that. To address that need, it's required to make an evaluation of its efficiency on a regular basis to identify its problems and make it work better. The purpose of this study was, accordingly, to examine the quality of data and services provided by the Work-Net, a Web-based public employment information system. The subjects in this study were 102 users of it, and the system was evaluated in terms of content, accuracy, timelines, display format, ease of use and customer support. For data analysis, t-test and one-way ANOVA were implemented to find out the general characteristics of the users, and to see whether or not their view was different according to the type of information they searched for. The findings of this study are expected to lay some foundation for intensifying the efficiency of the public and private employment information systems.

정보관리학회지