초록

텍스트 범주화에 있어서 일반적인 문제는 문헌을 표현하는 핵심적인 용어라도 학습문헌 집합에 나타나지 않으면 이 용어는 분류자질로 선정되지 않는다는 것과 형태가 다른 동의어들은 서로 다른 자질로 사용된다는 점이다. 이 연구에서는 위키피디아를 활용하여 문헌에 나타나는 동의어들을 하나의 분류자질로 변환하고, 학습문헌 집합에 출현하지 않은 입력문헌의 용어를 가장 유사한 학습문헌의 용어로 대체함으로써 범주화 성능을 향상시키고자 하였다. 분류자질 선정 실험에서는 (1) 비학습용어 추출 시 범주 정보의 사용여부, (2) 용어의 유사도 측정 방법(위키피디아 문서의 제목과 본문, 카테고리 정보, 링크 정보), (3) 유사도 척도(단순 공기빈도, 정규화된 공기빈도) 등 세 가지 조건을 결합하여 실험을 수행하였다. 비학습용어를 유사도 임계치 이상의 최고 유사도를 갖는 학습용어로 대체하여 kNN 분류기로 분류할 경우 모든 조건 결합에서 범주화 성능이 0.35%~1.85% 향상되었다. 실험 결과 범주화 성능이 크게 향상되지는 못하였지만 위키피디아를 활용하여 분류자질을 선정하는 방법이 효과적인 것으로 확인되었다.

Abstract

In text categorization, core terms of an input document are hardly selected as classification features if they do not occur in a training document set. Besides, synonymous terms with the same concept are usually treated as different features. This study aims to improve text categorization performance by integrating synonyms into a single feature and by replacing input terms not in the training document set with the most similar term occurring in training documents using Wikipedia. For the selection of classification features, experiments were performed in various settings composed of three different conditions: the use of category information of non-training terms, the part of Wikipedia used for measuring term-term similarity, and the type of similarity measures. The categorization performance of a kNN classifier was improved by 0.35~1.85% in F1 value in all the experimental settings when non-learning terms were replaced by the learning term with the highest similarity above the threshold value. Although the improvement ratio is not as high as expected, several semantic as well as structural devices of Wikipedia could be used for selecting more effective classification features.

초록

이 연구에서는 전체 문헌집단으로부터 초기 질의어에 대한 연관용어 선정 시 사용할 수 있는 최적의 기법을 찾기 위해 연관규칙 마이닝과 용어 클러스터링 기법을 이용하여 연관용어 선정 실험을 수행하였다. 연관규칙 마이닝 기법에서는 Apriori 알고리즘을 사용하였으며, 용어 클러스터링 기법에서는 연관성 척도로 GSS 계수, 자카드계수, 코사인계수, 소칼 & 스니스 5, 상호정보량을 사용하였다. 성능평가 척도로는 연관용어 정확률과 연관용어 일치율을 사용하였으며, 실험결과 Apriori 알고리즘과 GSS 계수가 가장 좋은 성능을 나타냈다.

Abstract

In this study, experiments for selection of association terms were conducted in order to discover the optimum method in selecting additional terms that are related to an initial query term. Association term sets were generated by using support, confidence, and lift measures of the Apriori algorithm, and also by using the similarity measures such as GSS, Jaccard coefficient, cosine coefficient, and Sokal & Sneath 5, and mutual information. In performance evaluation of term selection methods, precision of association terms as well as the overlap ratio of association terms and relevant documents' indexing terms were used. It was found that Apriori algorithm and GSS achieved the highest level of performances.

초록

The purpose of this study is to generate the local level knowledge structure of a single document, similar to end-of-the-book indexes and table of contents of printed material, through the use of term clustering and cluster representative term selection. Furthermore, it aims to analyze the functionalities of the knowledge structure, and to confirm the applicability of these methods in user-friendly information services. The results of the term clustering experiment showed that the performance of the Ward's method was superior to that of the fuzzy K-means clustering method. In the cluster representative term selection experiment, using the highest passage frequency term as the representative yielded the best performance. Finally, the result of user task-based functionality tests illustrate that the automatically generated knowledge structure in this study functions similarly to the local level knowledge structure presented in printed material.攀＊＊＊ 본 연구는 연세대학교 대학원 박사학위논문의 일부를 요약한 것임.＊＊＊ 日本 慶應義塾大學(Keio University) 圖書館情報學科 訪問硏究員(libinfo@yonsei.ac.kr)＊＊＊＊연세대학교 문헌정보학과 교수(ymchung@yonsei.ac.kr) 논문접수일자 : 2004년 8월 17일 게재확정일자 : 2004년 9월 10일攀攀

Abstract

초록

학술적 웹 공간을 대상으로 하는 연구는 페이지와 링크의 역동성 때문에 정량적인 방법과 함께 내용 분석 등의 정성적인 방법을 사용하는 것이 필요하다. 따라서 이 연구에서는 내용 분석의 한 방법으로 한국 학술적 웹 공간 내에서 외부 링크로 연결된 페이지 및 링크의 유형을 분류한 후 이를 네트워크 구조 분석에 반영하여 한국 학술적 웹 공간의 특성을 자세히 살펴보았다. 분석 결과 데이터의 수집 시점을 나타내는 기본 네트워크와 내용 분석 시점을 나타내는 활성 네트워크 사이에 구조적으로 큰 차이가 없었으나, 기관 유형별로 다른 기관들을 링크하는 목적이 다르게 나타났다. 그리고 한국 학술적 웹 공간은 여러 중앙성 지수들과 결속계수 간의 설명력이 유사하게 나타나는 형태의 네트워크임을 확인하였다.

Abstract

Since the Web is dynamic, it is necessary to analyze scholarly Web space with both quantitative and qualitative methods for better understanding of communication characteristics. In this study, we analyzed contents of pages and links to ascertain the characteristics of Korean scholarly Web space in terms of network structure and communication behavior. The result shows that the structure of the original network with all the external links remained is not much different from that of the network with activated external links only. However, the purposes of linking vary among scholarly institutions. The centrality measures correlate more strongly with the clustering coefficient than with the constraint index implying the similar explanatory power of the two types of structural indices.