바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: 언어모델, 검색결과: 11
1
지선영(경기대학교 일반대학원 문헌정보학과) ; 최성필(경기대학교 문헌정보학과) 2021, Vol.38, No.1, pp.221-242 https://doi.org/10.3743/KOSIM.2021.38.1.221
초록보기
초록

본 연구에서는 사전학습 된 언어 모델을 기반으로 양방향 게이트 순환 유닛 모델과 조건부 랜덤 필드 모델을 활용하여 참고문헌을 구성하는 메타데이터를 자동으로 인식하기 위한 연구를 진행하였다. 실험 집단은 2018년에 발행된 학술지 40종을 대상으로 수집한 PDF 형식의 학술문헌 53,562건을 규칙 기반으로 분석하여 추출한 참고문헌 161,315개이다. 실험 집합을 구축하기 위하여 PDF 형식의 학술 문헌에서 참고문헌을 분석하여 참고문헌의 메타데이터를 자동으로 추출하는 연구를 함께 진행하였다. 본 연구를 통하여 가장 높은 성능을 나타낸 언어 모델을 파악하였으며 해당 모델을 대상으로 추가 실험을 진행하여 학습 집합의 규모에 따른 인식 성능을 비교하고 마지막으로 메타데이터별 성능을 확인하였다.

Abstract

This study applied reference metadata recognition using bidirectional GRU-CRF model based on pre-trained language model. The experimental group consists of 161,315 references extracted by 53,562 academic documents in PDF format collected from 40 journals published in 2018 based on rules. In order to construct an experiment set. This study was conducted to automatically extract the references from academic literature in PDF format. Through this study, the language model with the highest performance was identified, and additional experiments were conducted on the model to compare the recognition performance according to the size of the training set. Finally, the performance of each metadata was confirmed.

2
윤소영(국사편찬위원회) ; 문성빈(연세대학교) 2006, Vol.23, No.1, pp.201-219 https://doi.org/10.3743/KOSIM.2006.23.1.201
초록보기
초록

이 연구에서는 가장 적합한 엘리먼트 기반 XML 문서검색 기법을 제시하기 위해 언어모델 검색 접근법으로 다이버전스 기법, 보정 기법 그리고 계층적 언어모델의 검색성능을 평가하는 실험을 수행하였다. 실험 결과, 가장 효율적인 검색 접근법으로 문서의 구조정보를 적용한 계층적 언어모델 검색을 제안하였다. 특히, 계층적 언어모델은 실제 검색에서 중요성을 가지는 검색순위 상위에서 뛰어난 성능을 보였다.

Abstract

This experimental study suggests an element-based XML document retrieval method that reveals highly relevant elements. The models investigated here for comparison are divergence and smoothing method, and hierarchical language model. In conclusion, the hierarchical language model proved to be most effective in element-based XML document retrieval with regard to the improved exhaustivity and harmed specificity.

초록보기
초록

XML 웹 문서 포맷은 문헌 내에 내용뿐만 아니라 의미 있는 논리적인 구조 정보를 포함할 수 있어, 검색에서 문서의 내용 뿐만 아니라 구조로 접근하는 것을 제공한다. 그래서 본 연구의 목적은 XML 검색에 있어 내용 검색에 추가적인 요소로 사용된 구조적인 제한이 얼마나 유용한지를 실험하기 위해 내용만으로 검색한 결과와 내용과 구조적인 제한을 가지고 검색한 결과간의 성능을 비교하였다. 이 실험은 자체 개발된 단말노드 언어모델기반의 XML 검색시스템을 사용하였고 INEX 2005의 ad-hoc트랙에 참여하여 모든 실험방법과 INEX 2005의 실험 문헌 집단을 사용하였다.

Abstract

XML documents format on the Web provides a mechanism to impose their content and logical structure information. Therefore, an XML processor provides access to their content and strucure. The purpose of this study is to investigate the usefulness of structural hints in the leaf node language model-based XML document retrieval. In order to this purpose, this experiment tested the performances of the leaf node language model-based XML retrieval system to compare the queries for a topic containing only content-only constraints and both content constrains and structure constraints. A newly designed and implemented leaf node language model-based XML retrieval system was used. And we participated in the ad-hoc track of INEX 2005 and conducted an experiment using a large-scale XML test collection provided by INEX 2005.

4
한나은(한국과학기술정보연구원) ; 서수정(한국과학기술정보연구원) ; 엄정호(한국과학기술정보연구원) 2023, Vol.40, No.3, pp.77-98 https://doi.org/10.3743/KOSIM.2023.40.3.077
초록보기
초록

본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.

Abstract

Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.

5
한유경(정보통신정책연구원) ; 최원석(정보통신정책연구원) ; 이민철(카카오엔터프라이즈) 2023, Vol.40, No.2, pp.115-135 https://doi.org/10.3743/KOSIM.2023.40.2.115
초록보기
초록

본 연구는 단행본, 학술지, 보고서 등 다양한 종류의 발간물로 구성된 연구보고서의 참고문헌 데이터베이스를 효율적으로 구축하기 위한 것으로 딥러닝 언어 모델을 이용하여 참고문헌의 자동추출 성능을 비교 분석하고자 한다. 연구보고서는 학술지와는 다르게 기관마다 양식이 상이하여 참고문헌 자동추출에 어려움이 있다. 본 연구에서는 참고문헌 자동추출에 널리 사용되는 연구인 메타데이터 추출과 더불어 참고문헌과 참고문헌이 아닌 문구가 섞여 있는 환경에서 참고문헌만을 분리해내는 원문 분리 연구를 통해 이 문제를 해결하였다. 자동 추출 모델을 구축하기 위해 특정 연구기관의 연구보고서 내 참고문헌셋, 학술지 유형의 참고문헌셋, 학술지 참고문헌과 비참고문헌 문구를 병합한 데이터셋을 구성했고, 딥러닝 언어 모델인 RoBERTa+CRF와 ChatGPT를 학습시켜 메타데이터 추출과 자료유형 구분 및 원문 분리 성능을 측정하였다. 그 결과 F1-score 기준 메타데이터 추출 최대 95.41%, 자료유형 구분 및 원문 분리 최대 98.91% 성능을 달성하는 등 유의미한 결과를 얻었다. 이를 통해 비참고문헌 문구가 포함된 연구보고서의 참고문헌 추출에 대한 딥러닝 언어 모델과 데이터셋 유형별 참고문헌 구축 방향을 제안하였다.

Abstract

The purpose of this study is to assess the effectiveness of using deep learning language models to extract references automatically and create a reference database for research reports in an efficient manner. Unlike academic journals, research reports present difficulties in automatically extracting references due to variations in formatting across institutions. In this study, we addressed this issue by introducing the task of separating references from non-reference phrases, in addition to the commonly used metadata extraction task for reference extraction. The study employed datasets that included various types of references, such as those from research reports of a particular institution, academic journals, and a combination of academic journal references and non-reference texts. Two deep learning language models, namely RoBERTa+CRF and ChatGPT, were compared to evaluate their performance in automatic extraction. They were used to extract metadata, categorize data types, and separate original text. The research findings showed that the deep learning language models were highly effective, achieving maximum F1-scores of 95.41% for metadata extraction and 98.91% for categorization of data types and separation of the original text. These results provide valuable insights into the use of deep learning language models and different types of datasets for constructing reference databases for research reports including both reference and non-reference texts.

6
정영미(연세대학교) ; 한승희(서울여자대학교) ; 김명옥(숭의여자대학) ; 유재복(한국원자력연구원) ; 이재윤(연세대학교) 2002, Vol.19, No.1, pp.135-161 https://doi.org/10.3743/KOSIM.2002.19.1.135
초록보기
초록

과학기술 분류표, 시소러스, 용어사전 등의 주요한 색인 및 검색 도구를 한국어, 영어, 일본어의 3개 언어로 통합 구축하고 활용할 수 있도록 다기능, 다국어 과학기술 통합 개념체계의 개발 방안을 마련하였다. 개념을 기본 단위로 시소러스 모델을 개발하였으며, 용어사전 레코드는 ISO 12620 표준에 근거하여 필수요소를 지정하였다. 또한 과학기술분야 표준분류표를 대분류 수준까지 작성하고 기존 분류표와의 매핑 테이블을 작성하여 다른 분류표를 통한 접근이 가능하도록 하였다. 시소러스, 용어사전, 분류표의 원활한 상호 연계와 운용을 위해서 통합 개념체계 모형을 설계하였다. 본 연구에서 개발한 통합 개념체계를 이용하여 원자력 분야를 대상으로 한 프로토타입 시스템을 구축하고 실제 검색 사례를 제시하였다.

Abstract

7
이수빈(연세대학교 문헌정보학과) ; 김성덕(연세대학교 문헌정보학과) ; 이주희(연세대학교 문헌정보학과) ; 고영수(연세대학교 문헌정보학과) ; 송민(연세대학교) 2021, Vol.38, No.2, pp.153-172 https://doi.org/10.3743/KOSIM.2021.38.2.153
초록보기
초록

본 연구는 공황장애 말뭉치 구축과 분석을 통해 공황장애의 특성을 살펴보고 공황장애 경향 문헌을 분류할 수 있는 딥러닝 자동 분류 모델을 만들고자 하였다. 이를 위해 소셜미디어에서 수집한 공황장애 관련 문헌 5,884개를 정신 질환 진단 매뉴얼 기준으로 직접 주석 처리하여 공황장애 경향 문헌과 비 경향 문헌으로 분류하였다. 이 중 공황장애 경향 문헌에 나타난 어휘적 특성 및 어휘의 관계성을 분석하기 위해 TF-IDF값을 산출하고 단어 동시출현 분석을 실시하였다. 공황장애의 특성 및 증상 간의 관련성을 분석하기 위해 증상 빈도수와 주석 처리된 증상 번호 간의 동시출현 빈도수를 산출하였다. 또한, 구축한 말뭉치를 활용하여 딥러닝 자동 분류 모델 학습 및 성능 평가를 하였다. 이를 위하여 최신 딥러닝 언어 모델 BERT 중 세 가지 모델을 활용하였고 이 중 KcBERT가 가장 우수한 성능을 보였다. 본 연구는 공황장애 관련 증상을 겪는 사람들의 조기 진단 및 치료를 돕고 소셜미디어 말뭉치를 활용한 정신 질환 연구의 영역을 확장하고자 시도한 점에서 의의가 있다.

Abstract

This study is to create a deep learning based classification model to examine the characteristics of panic disorder and to classify the panic disorder tendency literature by the panic disorder corpus constructed for the present study. For this purpose, 5,884 documents of the panic disorder corpus collected from social media were directly annotated based on the mental disease diagnosis manual and were classified into panic disorder-prone and non-panic-disorder documents. Then, TF-IDF scores were calculated and word co-occurrence analysis was performed to analyze the lexical characteristics of the corpus. In addition, the co-occurrence between the symptom frequency measurement and the annotated symptom was calculated to analyze the characteristics of panic disorder symptoms and the relationship between symptoms. We also conducted the performance evaluation for a deep learning based classification model. Three pre-trained models, BERT multi-lingual, KoBERT, and KcBERT, were adopted for classification model, and KcBERT showed the best performance among them. This study demonstrated that it can help early diagnosis and treatment of people suffering from related symptoms by examining the characteristics of panic disorder and expand the field of mental illness research to social media.

8
이현실(원광대학교) ; 한성국(원광대학교) 2004, Vol.21, No.2, pp.249-267 https://doi.org/10.3743/KOSIM.2004.21.2.249
초록보기
초록

MARC는 목록 데이터를 상세하게 정의할 수 있는 장점이 있지만, 개념요소가 구조화 되어 있지 않고 표현체계가 복잡하기 때문에 단순 계층구조의 의미 어휘 체계를 지원하는 XML DTD나 RDF/S로는 그 구조를 모델화하기가 어렵다. 본 연구에서는 MARC의 데이터 요소를 추상화하여 목록 데이터의 개념 구조를 표현하는 서지 온톨로지를 구축하였으며, 개념간의 논리 관계와 프로퍼티의 카디널리티 및 프로퍼티 값에 대한 논리적 제한을 부가할 수 있는 OWL을 이용하여 MRAC 필드의 복합 구조를 모델링하여 구축한 목록 온톨로지를 구현하였다. 온톨로지 언어를 이용한 MARC 데이터를 기술 방법은 목록 데이터에 대한 메타데이터 구성과 목록의 호환성 문제를 해결할 수 있는 기초적 방안이 되며, 시맨틱 웹 서비스를 기반으로 하는 차세대 문헌 정보서비스 시스템 구현의 토대가 될 것이다.

Abstract

Although MARC can define the detail cataloguing data, it has complex structures and frameworks to represent bibliographic information. On account of these idiosyncratic features of MARC, XML DTD or RDF/S that supports simple hierarchy of conceptual vocabularies cannot capture MARC formalism effectively. This study implements bibliographic ontology by means of abstracting conceptual relationships between bibliographic vocabularies of MARC. The bibliographic ontology is formalized with OWL that can represent the logical relations between conceptual elements and specify cardinality and property value restrictions. The bibliographic ontology in this study will provide metadata for cataloguing data and resolve compatibility problems between cataloguing systems. And it can also contribute the development of next generation bibliographic information system using semantic Web services.

초록보기
초록

본 연구는 남북합작으로 건립하는 PUST에 설치될 도서관과 디지털도서관 모델 제시를 위해 수행되었다. 우선 이론적 연구를 통해 디지털도서관의 문제와 PUST 디지털도서관의 이슈를 파악하였다. 그 결과, 저작권법하의 공정사용 미흡 등으로 현 단계에서 디지털도서관만 운영하는 것은 문제가 있는 것으로 파악되었다. 또 남북의 언어와 지적기반의 차이 등으로 홈페이지 접근·데이터베이스 구축·자료의 검색 등에 문제가 있는 것으로 파악되었다. 이에 연구자는 디지털도서관과 하이브리드 도서관을 병행 운영할 것과, 디지털도서관 관련 하여 유니코드를 통한 홈페이지의 이중화·NCHAR 데이터타입 설정을 통한 다국어 저장, 전거 데이터베이스 구축 등을 제안하였다.

Abstract

This study was conducted under the premise of providing the model for the construction of the library and the digital library in PUST, the joint construction from South and North Korea. First, we determined the problems in the construction of digital libraries as well as possible issues that may rise from the construction of the digital library in PUST. The results of the research showed that there were imminent problems from the operation of a digital library with the inadequate progress in the field of copyright. In addition, the difference in the language system and the knowledge foundations of the two countries will produce problems in the homepage access, database construction, and information retrieval. In order to overcome these predictable problems, this research proposes the following: (1) parallel operation of both digital and high-drive libraries; (2) duplexing the homepage through the application of unicode concerning the digital library; (3) development and application of converted letter codes through the establishment of NCHAR data type; and (4) construction of an authority database.

10
김수경(한국정보통신대학교) ; 안기홍(한밭대학교) ; 최호진(한국과학기술원) 2008, Vol.25, No.4, pp.43-66 https://doi.org/10.3743/KOSIM.2008.25.4.043
초록보기
초록

시맨틱 웹 기술의 제안과 더불어 다양한 분야에 온톨로지의 특징을 적용한 기술 개발 연구가 많이 진행되고 있다. 인간이 소유한 개념을 가장 적절하게 표현하기 위해 현재에도 OWL, RDF와 같은 온톨로지 언어의 표현력을 확장시키기 위해 N-ary 관계나 모델-이론 의미론과 같은 개발이 진행되고있다. 본 연구는 한국어에 있어 문장이 내포하는 의미를 정확하게 결정하기 위해 문장의 구조에 따라 달라지는 단어의 의미를 연관할 수 있도록 N-ary 관계와 디자인 기반이 적용된 온톨로지의 지식 표현 방법을 연구하였다. 특히 다양한 지식 영역을 포함하는 다의어(polysemy)와 동의어(synonym)의 특징을 갖는 단어에 있어 각 지식 영역으로 분류되어 각 지식 영역에 있는 유사한 의미를 가진 단어로 확장되어 유사한 의미를 가진 단어가 포함된 문장의 경우 까지도 확장할 수 있는 표현 방법을 연구하였다. 연구의 검증을 위해 사용자가 입력한 병증 문장을 제안된 방법에 따라 구축된 온톨로지내 지식 관계와 의미 결정을 위한 추론 표현 방법을 이용하여 병증의 의미를 결정하고 그에 따른 진단을 제공하는 실험 시스템을 구현하였고, 한국어가 갖고 있는 문장의 유의성, 모호성, 복합성 의 특징을 보유한 증상문들의 실험 결과 의미 결정과 유사 의미 확장에 있어 우수한 성능을 보여주었다.

Abstract

Currently be proceeded a lot of researchers for ‘user information demand description' for interface of an information retrieval system or Web search engines, but user information demand description for a natural language form is a difficult situation. These reasons are as they cannot provide the semantic similarity that an information retrieval model can be completely satisfied with variety regarding an information demand expression and semantic relevance for user information description. Therefore, this study using the description logic that is a knowledge representation base of OWL and a vector model-based weight between concept, and to be able to satisfy variety regarding an information demand expression and semantic relevance proposes a decision way for perfect assistances of user information demand description. The experiment results by proposed method, semantic similarity of a polyseme and a synonym showed with excellent performance in decision.

정보관리학회지