바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

논문 상세

이전 다음
논문 투고

Vol.26 No.1
Citation Share

뉴스 웹 페이지에서 기사 본문 추출에 관한 연구

A Study on Extracting News Contents from News Web Pages

정보관리학회지 / Journal of the Korean Society for Information Management, (P)1013-0799; (E)2586-2073
2009, v.26 no.1, pp.305-320
https://doi.org/10.3743/KOSIM.2009.26.1.305
이용구 (피츠버그대학)
이용구. (2009). 뉴스 웹 페이지에서 기사 본문 추출에 관한 연구. 정보관리학회지, 26(1), 305-320, https://doi.org/10.3743/KOSIM.2009.26.1.305
  • 다운로드 수
  • 조회수
PDF 다운로드

초록

웹을 통해 제공되는 뉴스 페이지의 경우 필요한 정보 뿐 아니라 많은 불필요한 정보를 담고 있다. 이러한 불필요한 정보는 뉴스를 처리하는 시스템의 성능 저하와 비효율성을 가져온다. 이 연구에서는 웹 페이지로부터 뉴스 콘텐츠를 추출하기 위해 문장과 블록에 기반한 뉴스 기사 추출 방법을 제시하였다. 또한 이들을 결합하여 최적의 성능을 가져올 수 있는 방안을 모색하였다. 실험 결과, 웹 페이지에 대해 하이퍼링크 텍스트를 제거한 후 문장을 이용한 추출 방법을 적용하였을 때 효과적이었으며, 여기에 블록을 이용한 추출 방법과 결합하였을 때 더 좋은 결과를 가져왔다. 문장을 이용한 추출 방법은 추출 재현율을 높여주는 효과가 있는 것으로 나타났다.

keywords
웹 뉴스 기사 추출, 문장 기반 추출, 블록 기반 추출, 웹 마이닝, web news content extraction, sentence based extraction, block based extraction, web mining, web news content extraction, sentence based extraction, block based extraction, web mining

Abstract

The news pages provided through the web contain unnecessary information. This causes low performance and inefficiency of the news processing system. In this study, news content extraction methods, which are based on sentence identification and block-level tags news web pages, was suggested. To obtain optimal performance, combinations of these methods were applied. The results showed good performance when using an extraction method which applied the sentence identification and eliminated hyperlink text from web pages. Moreover, this method showed better results when combined with the extraction method which used block-level. Extraction methods, which used sentence identification, were effective for raising the extraction recall ratio.

keywords
웹 뉴스 기사 추출, 문장 기반 추출, 블록 기반 추출, 웹 마이닝, web news content extraction, sentence based extraction, block based extraction, web mining, web news content extraction, sentence based extraction, block based extraction, web mining

참고문헌

1.

정영미. (2005). 정보검색연구:구미무역 출판부.

2.

한광록. (2007). 웹 뉴스의 기사 추출과 요약. 한국컴퓨터정보학회논문지, 12(5), 1-10.

3.

Cadenhead,Tyrone. (2008). Improving web infor- mation indexing and retrieval based on center block duplication detection. Inter-national Journal of Innovative Com-puting and Applications, 1(3), 194-204.

4.

Debnath, Sandip. (2005). Automatic extraction of in- formative blocks from webpages (1722-1726). Pro-ceedings of the 2005 ACM Symposium on Applied Computing.

5.

Etzioni, Oren. (1996). The world wide web: Quagmire or gold mine. Communica-tions of the ACM, 39(11), 65-68.

6.

Gupta, S. (2003). DOM-based content extraction of HTML documents (249-256). Proceedings of the 12th International Conference on World Wide Web.

7.

Lin, Shian-Hua. (2002). Discovering informative content blocks from web documents (588-593). Proceedings of the Eighth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.

8.

Reis, Davi Castro. (2003). Automatic web news extraction using tree edit distance (502-511). Proceedings of the 13th International Conference on World Wide Web.

9.

Sebastiani, Fabrizio. (2002). Machine learning in automated text categorization. ACM Computing Surveys, 34(1), 1-47.

10.

Song, Ruihua. (2004). Learning block importance models for web pages (203-111). Proceedings of the 13th International Con- ference on World Wide Web.

11.

Vitali, Fabio. Rule-Based Structural Analysis of Web Pages.

12.

Yi, Lan. (2003). Eliminating noisy information in Web pages for data mining (296-305). Proceedings of the Ninth ACM SIGKDD International Conference on Knowledge Discovery and data Mining.

13.

Yu, Shipeng. (2003). Improving pseudorelevance feedback in web information retrieval using web page segmentation (11-18). Proceedings of the 12th International Conference on World Wide Web.

정보관리학회지

논문 투고 OA 정책