- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
이 연구에서는 TREC이 제시한 토픽 검색의 정의에 따라 질의에 적합한 웹 사이트를 검색하는 효과적인 토픽 검색 알고리즘을 제안하고 실험을 통해 그 성능을 평가하였다. 이 연구의 토픽 검색 알고리즘은 먼저 질의에 대한 웹 페이지 검색 결과로부터 적합한 웹 사이트를 선정한 다음, 선정된 사이트의 구조를 이용하여 질의에 대한 적합성 점수를 산출한다. TREC의 .GOV 실험 문헌 집단과 TREC-2004 실험의 질의 및 적합문헌 리스트를 이용한 검색 실험 결과 이 토픽 검색 알고리즘은 상위 10위 안에 최소 2개 이상의 적합 사이트를 검색하여 비교적 높은 수준의 성능을 보였다. 또한 TREC-2004의 적합문헌 리스트 분석을 통해 적합문헌 선정에 토픽 검색의 정의가 엄격하게 적용되지 않은 경우가 있음을 확인하고, 수정된 적합문헌 리스트를 이용하여 토픽 검색 성능을 재평가한 결과 이 연구에서 제안한 토픽 검색 알고리즘의 성능이 월등히 향상되었다.
Abstract
This study proposes a topic distillation algorithm that ranks the relevant sites selected from retrieved web pages, and evaluates the performance of the algorithm. The algorithm calculates the topic score of a site using its hierarchical structure. The TREC .GOV test collection and a set of TREC-2004 queries for topic distillation task are used for the experiment. The experimental results showed the algorithm returned at least 2 relevant sites in top ten retrieval results. We performed an in-depth analysis of the relevant sites list provided by TREC-2004 to find out that the definition of topic distillation was not strictly applied in selecting relevant sites. When we re-evaluated the retrieved sites/sub-sites using the revised list of relevant sites, the performance of the proposed algorithm was improved significantly.
초록
이 연구에서는 웹과 학술지를 통한 학술 커뮤니케이션의 특성을 각각 분석하고, 웹상에서의 학술 커뮤니케이션 패턴이 학문 분야에 따라 어떤 차이를 보이는지 비교하였다. 경제학과 컴퓨터공학정보시스템 분야에서 키워드를 추출하여 이와 관련된 학술적 웹페이지와 학술지 논문을 수집하였고, 이를 학술적 웹페이지의 특성, 웹페이지 동시링크와 학술지 논문 동시인용 데이터의 다차원척도(MDS) 분석, 시간의 흐름에 따른 학술 활동의 변화 등 세 가지 측면에서 분석하였다. 분석 결과, 웹과 학술지를 통한 학술 커뮤니케이션에는 공통점과 차이점이 나타났으며, 이런 현상은 두 학문 분야에서 모두 확인되었다. 그리고 웹을 통한 학술 커뮤니케이션의 경우 같은 학문 분야 내의 세부 주제에 따라서 고유한 특성이 나타나는 것을 볼 수 있었다.
Abstract
In this study, the characteristics of scholarly communication through the Web and scientific journals are explored, and scholarly communication patterns in two scientific disciplines are compared to reveal the difference. Economics and Computer Science－Information Systems are selected as two disciplines to be analyzed. In the data collection process, 10 keywords are extracted from a database for each subject field, and scholarly Web pages and journal articles related to these keywords are collected and analyzed. Our investigation includes the characteristics of scholarly Web pages, Multi-Dimensional Scaling (MDS) analysis of co-linked Web pages as well as co-cited journal articles, and changes in the scholarly communication activities occurring on the Web and in scientific journals respectively over time. We found certain differences as well as common features in scholarly communication patterns between the Web and scientific journals for both fields of Economics and Computer Science. We also found that scholarly communication occurring on the Web displays unique features for each subtopic within the same field of study.
초록
이 연구에서는 분포 유사도를 문헌 클러스터링에 적용하여 전통적인 코사인 유사도 공식을 대체할 수 있는 가능성을 모색해보았다. 대표적인 분포 유사도인 KL 다이버전스 공식을 변형한 Jansen-Shannon 다이버전스, 대칭적 스큐 다이버전스, 최소 스큐 다이버전스의 세 가지 공식을 문헌 벡터에 적용하는 방안을 고안하였다. 분포 유사도를 적용한 문헌 클러스터링 성능을 검증하기 위해서 세 실험 집단을 대상으로 두 가지 실험을 준비하여 실행하였다. 첫 번째 문헌 클러스터링 실험에서는 최소 스큐 다이버전스가 코사인 유사도 뿐만 아니라 다른 다이버전스 공식의 성능도 확연히 앞서는 뛰어난 성능을 보였다. 두 번째 실험에서는 피어슨 상관계수를 이용하여 1차 유사도 행렬로부터 2차 분포 유사도를 산출하여 문헌 클러스터링을 수행하였다. 실험 결과는 2차 분포 유사도가 전반적으로 더 좋은 문헌 클러스터링 성능을 보이는 것으로 나타났다. 문헌 클러스터링에서 처리 시간과 분류 성능을 함께 고려한다면 이 연구에서 제안한 최소 스큐 다이버전스 공식을 사용하고, 분류 성능만 고려할 경우에는 2차 분포 유사도 방식을 사용하는 것이 바람직하다고 판단된다.
Abstract
In this study, measures of distributional similarity such as KL-divergence are applied to cluster documents instead of traditional cosine measure, which is the most prevalent vector similarity measure for document clustering. Three variations of KL-divergence are investigated; Jansen-Shannon divergence, symmetric skew divergence, and minimum skew divergence. In order to verify the contribution of distributional similarities to document clustering, two experiments are designed and carried out on three test collections. In the first experiment the clustering performances of the three divergence measures are compared to that of cosine measure. The result showed that minimum skew divergence outperformed the other divergence measures as well as cosine measure. In the second experiment second-order distributional similarities are calculated with Pearson correlation coefficient from the first-order similarity matrixes. From the result of the second experiment, second-order distributional similarities were found to improve the overall performance of document clustering. These results suggest that minimum skew divergence must be selected as document vector similarity measure when considering both time and accuracy, and second-order similarity is a good choice for considering clustering accuracy only.