- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
텍스트 범주화에 있어서 일반적인 문제는 문헌을 표현하는 핵심적인 용어라도 학습문헌 집합에 나타나지 않으면 이 용어는 분류자질로 선정되지 않는다는 것과 형태가 다른 동의어들은 서로 다른 자질로 사용된다는 점이다. 이 연구에서는 위키피디아를 활용하여 문헌에 나타나는 동의어들을 하나의 분류자질로 변환하고, 학습문헌 집합에 출현하지 않은 입력문헌의 용어를 가장 유사한 학습문헌의 용어로 대체함으로써 범주화 성능을 향상시키고자 하였다. 분류자질 선정 실험에서는 (1) 비학습용어 추출 시 범주 정보의 사용여부, (2) 용어의 유사도 측정 방법(위키피디아 문서의 제목과 본문, 카테고리 정보, 링크 정보), (3) 유사도 척도(단순 공기빈도, 정규화된 공기빈도) 등 세 가지 조건을 결합하여 실험을 수행하였다. 비학습용어를 유사도 임계치 이상의 최고 유사도를 갖는 학습용어로 대체하여 kNN 분류기로 분류할 경우 모든 조건 결합에서 범주화 성능이 0.35%~1.85% 향상되었다. 실험 결과 범주화 성능이 크게 향상되지는 못하였지만 위키피디아를 활용하여 분류자질을 선정하는 방법이 효과적인 것으로 확인되었다.
Abstract
In text categorization, core terms of an input document are hardly selected as classification features if they do not occur in a training document set. Besides, synonymous terms with the same concept are usually treated as different features. This study aims to improve text categorization performance by integrating synonyms into a single feature and by replacing input terms not in the training document set with the most similar term occurring in training documents using Wikipedia. For the selection of classification features, experiments were performed in various settings composed of three different conditions: the use of category information of non-training terms, the part of Wikipedia used for measuring term-term similarity, and the type of similarity measures. The categorization performance of a kNN classifier was improved by 0.35~1.85% in F1 value in all the experimental settings when non-learning terms were replaced by the learning term with the highest similarity above the threshold value. Although the improvement ratio is not as high as expected, several semantic as well as structural devices of Wikipedia could be used for selecting more effective classification features.
초록
이 연구에서는 위키피디아를 활용하여 시소러스를 갱신하고, 그 결과를 평가함으로써 시소러스 갱신에 있어 집단지성의 활용가능성에 대해 확인하고자 하였다. ASIS&T 시소러스를 대상으로 시소러스를 갱신한 결과, 용어 포괄성의 측면에서 ASIS&T 시소러스에 비해 위키 시소러스가 우수한 것으로 나타났다. 또한, 갱신된 시소러스를 평가한 결과, 위키피디아가 시소러스 갱신에 활용될 수 있음이 증명되었다. 특히, 리디렉션, 카테고리, 상호 링크로 요약되는 위키피디아의 구조적 특성은 시소러스의 의미관계를 추출하는 데 있어 적합하다는 것을 확인하였다. 이 연구의 결과를 일반화하기 위해 다국어 시소러스를 포함한 다양한 시소러스를 대상으로 적용해 볼 필요가 있다.
Abstract
The purpose of this study is to suggest how the classic thesaurus structure of terms and links can be mined and updated from Wikipedia encyclopedia, which is the best practice of collective intelligence. In a comparison with ASIS&T thesaurus, it was found that Wikipedia contains a substantial coverage of domain-specific concepts and semantic relations. Furthermore, it was resulted that the structural characteristics of Wikipedia, such as redirects, categories, and mutual links are suitable to extract semantic relationships of thesaurus. It is needed to apply to update various thesauri, including multilingual thesaurus, in order to generalize the results of this research.
초록
본 연구는 대표적인 온라인 협업커뮤니티인 한국 위키피디아의 초기 2002년부터 2019년까지의 편집로그 빅데이터를 해체하여 공동협업과정을 시계열적으로 분석하였다. 공개된 오픈데이터의 표준화된 XML 문서편집 기록을 활용해 Phython과 R을 이용하여 분석 요소를 추출하여 이를 활용하였다. 연구 분석 결과 한국 위키피디아 편집자의 참여 방법, 데이터 내용의 특징, 문서 생성의 추이 등을 설명할 수 있었다. 소수 편집자들의 적극적 활동과 대다수 편집자들의 느슨한 참여도 밝혀졌으며, 온라인에서도 나타나는 사회 문화적 특징이 한국 위키피디아에서도 나타났다. 집단지성을 지속화시키기 위해서는 새롭고 다양한 외부자원이 필수인데 신규 진입자들이 공동편집 커뮤니티에 안착하기 위한 다각적인 고려가 필요하며, 관리자 그룹의 고착화를 탈피하여 순환구조를 통한 개방성이 필요함을 제언하였다.
Abstract
This study analyzed the collaborative process in time series by dismantling the edit log big data of Wikipedia Korea, a representative online collaboration community, from early 2002 to 2019. Analysis elements were extracted from the document edit records, formatted in standardized XML, and analyzed using Python and R. The ways of editors’ contribution, the characteristics of data contents, and the trend of document creation were explained by the analysis. An active contribution of a small set of editors and a loose participation of the majority were revealed. In addition, sociocultural characteristics that appear in online communities were also found in Wikipedia Korea. A new, diverse set of external resources is necessary to sustain the collective intelligence. An effort to settle new editors into the wikipedia community and an openness through circulation structure to avoid the exclusiveness of the management group are suggested.