- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
이 연구에서는 심미적 인상을 이미지 검색의 고수준 자질로 이용하였다. ‘심미적’이라는 용어는 심리학, 예술, 문학 등에서 연구되어 왔다. 이 용어는 시각적 지각과 감정의 무의식적이고 즉각적인 측면을 의미한다. 심미적 인상과 관련된 문헌 연구를 통해 4 가지 종류의 심미적 인상을 조작적으로 정의하였다: 강한 인상, 부드러운 인상, 중후한 인상, 세련된 인상. 66개의 회화 이미지 파일을 1,000개의 회화 이미지 중에서 무작위로 추출하였으며 시지각 색상 모형을 이용하여 이 이미지 파일들로부터 저수준 색상 자질을 추출하였다. 이미지의 고수준 자질인 4가지 종류의 심미적 인상은 4명의 평가자가 리커트 7점 척도로 평가한 것을 평균내었다. 검색 실험에서 2명의 피험자는 심미적 인상이나 주제어에 대한 예제 이미지 질의를 이용해서 이미지 검색을 수행하였다. 피험자들은 심미적 인상 기반 이미지 검색 시스템에 대해서 보통 정도의 수준으로 만족했다. 그리고 색상 자질과 심미적 인상 자질을 모두 이용한 이미지 검색의 R-정확률이 색상 자질만을 이용한 이미지 검색의 R-정확률보다 높았다. 그러나 이 연구결과의 일반화를 위해서는 큰 실험 집단을 대상으로 보다 많은 검색 질의를 통한 추후 연구들이 필요할 것으로 생각된다.
Abstract
In this study, aesthetic impressions were used for a high-level feature of image retrieval. The term, “aesthetic" has been studied in psychology, art, and literature. It means unconscious, instantaneous parts of visual perception and emotion. The literatures related to aesthetic impressions were reviewed and four kinds of aesthetic impressions were defined operationally: strong impression, soft impression, courteous impression, and refined impression. 66 image files of paintings were sampled randomly from 1100 paintings and low-level color features were extracted from them by a using perceptual color model(Lai, & Tait, 1998). The high-level features of an image, that is, four kinds of aesthetic impressions of each painting were measured by 4 subjects and averaged. In CBIR, 2 subjects performed image retrievals using example queries. They were asked to retrieve images by using the aesthetic impressions or the keywords. In evaluations, subjects showed that they were satisfied with the aesthetic impression-based image retrieval system on the average. And R-precision of the image retrieval with both color features and aesthetic impressions was higher than that of the image retrieval with color features only. But further studies with larger test collections and query sets should be followed for generalization of the result of this study.
초록
본 연구에서는 12개의 표본 비디오 집단과 14명의 피조사자들을 이용하여 영상 초록 및 전체 클립 보기를 통한 색인어 및 요약문 추출의 정확도를 측정해 보았다. 측정 결과 첫째, 비디오 유형에 따라 정확도가 차이가 있는 것으로 나타났으며 이는 이미지에 주로 의존하여 정보를 표출하는 비디오의 경우 텍스트 초록만으로 의미 파악을 하기에는 한계가 있으며 텍스트 초록이 영상 초록과 함께 사용되었을 때 시너지 효과를 낼 수 있음을 보여주고 있다. 둘째, 영상 초록의 색인어 및 요약문 정확도가 전체 클립의 정확도 보다 떨어지지만 절반치에 근접한 것으로 나타나 영상 초록이 비디오 의미 추출에 효율적으로 활용될 수 있음을 확인하였다. 또한 영상 초록의 색인어 정확도(0.45)가 요약문 정확도(0.40) 보다 더 높게 나타나 영상 초록을 통해서 색인어 추출 작업을 더 효율적으로 할 수 있음을 확인할 수 있었다. 이러한 실험 결과에 기초하여 영상 초록이 색인어 또는 요약문 추출 작업에 활용될 수 있을 뿐만 아니라, 디지털 도서관 환경에서 텍스트 초록과 같은 다른 메타데이터 요소들과 함께 사용된다면 이용자의 적합성 판정을 좀 더 용이하게 할 것이며, 더 나아가 영상 질의의 매칭 자료로도 이용될 수 있음을 제안하였다. 끝으로 영상 초록의 품질을 높이기 위한 키프레임 추출 알고리즘 및 키프레임 배열 모형 설계 등 후속 연구에 대해서 제언하였다.
Abstract
This study is designed to assess whether storyboard surrogates are useful enough to be utilized for indexing sources as well as for metadata elements using 12 sample videos and 14 participants. Study shows that first, the match rates of index terms and summaries are significantly different according to video types, which means storyboard surrogates are especially useful for the type of videos of conveying their meanings mainly through images. Second, participants could assign subject keywords and summaries to digital video, sacrificing a little loss of full video clips' match rates. Moreover, the match rate of index terms (0.45) is higher than that of summaries (0.40). This means storyboard surrogates could be more useful for indexing videos rather than summarizing them. The study suggests that 1)storyboard surrogates can be used as sources for indexing and abstracting digital videos; 2) using storyboard surrogates along with other metadata elements (e.g., text-based abstracts) can be more useful for users' relevance judgement; and 3)storyboard surrogates can be utilized as match sources of image-based queries. Finally, in order to improve storyboard surrogates quality, this study proposes future studies: constructing key frame extraction algorithms and designing key frame arrangement models.
초록
본 연구에서는 12개의 표본 비디오 집단과 14명의 피조사자들을 이용하여 영상 초록 및 전체 클립 보기를 통한 색인어 및 요약문 추출의 정확도를 측정해 보았다. 측정 결과 첫째, 비디오 유형에 따라 정확도가 차이가 있는 것으로 나타났으며 이는 이미지에 주로 의존하여 정보를 표출하는 비디오의 경우 텍스트 초록만으로 의미 파악을 하기에는 한계가 있으며 텍스트 초록이 영상 초록과 함께 사용되었을 때 시너지 효과를 낼 수 있음을 보여주고 있다. 둘째, 영상 초록의 색인어 및 요약문 정확도가 전체 클립의 정확도 보다 떨어지지만 절반치에 근접한 것으로 나타나 영상 초록이 비디오 의미 추출에 효율적으로 활용될 수 있음을 확인하였다. 또한 영상 초록의 색인어 정확도(0.45)가 요약문 정확도(0.40) 보다 더 높게 나타나 영상 초록을 통해서 색인어 추출 작업을 더 효율적으로 할 수 있음을 확인할 수 있었다. 이러한 실험 결과에 기초하여 영상 초록이 색인어 또는 요약문 추출 작업에 활용될 수 있을 뿐만 아니라, 디지털 도서관 환경에서 텍스트 초록과 같은 다른 메타데이터 요소들과 함께 사용된다면 이용자의 적합성 판정을 좀 더 용이하게 할 것이며, 더 나아가 영상 질의의 매칭 자료로도 이용될 수 있음을 제안하였다. 끝으로 영상 초록의 품질을 높이기 위한 키프레임 추출 알고리즘 및 키프레임 배열 모형 설계 등 후속 연구에 대해서 제언하였다.
Abstract
This study is designed to assess whether storyboard surrogates are useful enough to be utilized for indexing sources as well as for metadata elements using 12 sample videos and 14 participants. Study shows that first, the match rates of index terms and summaries are significantly different according to video types, which means storyboard surrogates are especially useful for the type of videos of conveying their meanings mainly through images. Second, participants could assign subject keywords and summaries to digital video, sacrificing a little loss of full video clips' match rates. Moreover, the match rate of index terms (0.45) is higher than that of summaries (0.40). This means storyboard surrogates could be more useful for indexing videos rather than summarizing them. The study suggests that 1)storyboard surrogates can be used as sources for indexing and abstracting digital videos; 2) using storyboard surrogates along with other metadata elements (e.g., text-based abstracts) can be more useful for users' relevance judgement; and 3)storyboard surrogates can be utilized as match sources of image-based queries. Finally, in order to improve storyboard surrogates quality, this study proposes future studies: constructing key frame extraction algorithms and designing key frame arrangement models.