바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: Use Study, 검색결과: 30
1
감미아(연세대학교 문헌정보학과) ; 이지연(연세대학교 문헌정보학과) 2023, Vol.40, No.1, pp.121-148 https://doi.org/10.3743/KOSIM.2023.40.1.121
초록보기
초록

본 연구는 ‘우수한 성능의 메타데이터 속성 유사도 기반의 학술 문헌추천시스템’을 제안하는 데에 목적을 두고 있다. 본 연구에서는 정보조직에서 다루는 메타데이터의 활용과 계량정보학에서 다루고 있는 동시인용, 저자-서지결합법, 동시출현 빈도, 코사인 유사도의 개념을 활용한 문헌정보학 기반의 학술 문헌 추천기법을 제안하고자 하였다. 실험을 위해 수집한 ‘불평등’, ‘격차’ 관련 총 9,643개의 논문 메타데이터를 정제하여 코사인 유사도를 활용한 저자, 키워드, 제목 속성 간의 상대적 좌표 수치를 도출하였고, 성능 좋은 가중치 조건 및 차원의 수를 선정하기 위해 실험을 수행하였다. 실험 결과를 제시하여 이용자의 평가를 거쳤으며, 이를 이용해 기준노드와 추천조합 특성 분석 및 컨조인트 분석, 결과 비교 분석을 수행하여 연구질문 중심의 논의를 수행하였다. 그 결과 전반적으로는 저자 관련 속성을 제한 조합 혹은 제목 관련 속성만 사용하는 경우 성능이 뛰어난 것으로 나타났다. 본 연구에서 제시한 기법을 활용하고 광범위한 표본의 확보를 이룬다면, 향후 정보서비스의 문헌 추천 분야뿐 아니라 사회의 다양한 분야에 대한 추천기법 성능 향상에 도움을 줄 수 있을 것이다.

Abstract

The purpose of this study is to propose a scholarly paper recommendation system based on metadata attribute similarity with excellent performance. This study suggests a scholarly paper recommendation method that combines techniques from two sub-fields of Library and Information Science, namely metadata use in Information Organization and co-citation analysis, author bibliographic coupling, co-occurrence frequency, and cosine similarity in Bibliometrics. To conduct experiments, a total of 9,643 paper metadata related to “inequality” and “divide” were collected and refined to derive relative coordinate values between author, keyword, and title attributes using cosine similarity. The study then conducted experiments to select weight conditions and dimension numbers that resulted in a good performance. The results were presented and evaluated by users, and based on this, the study conducted discussions centered on the research questions through reference node and recommendation combination characteristic analysis, conjoint analysis, and results from comparative analysis. Overall, the study showed that the performance was excellent when author-related attributes were used alone or in combination with title-related attributes. If the technique proposed in this study is utilized and a wide range of samples are secured, it could help improve the performance of recommendation techniques not only in the field of literature recommendation in information services but also in various other fields in society.

2
채하영(숙명여자대학교 문헌정보학과 석사과정) ; 이지수(숙명여자대학교 문헌정보학과) 2023, Vol.40, No.4, pp.201-228 https://doi.org/10.3743/KOSIM.2023.40.4.201
초록보기
초록

본 연구는 국내외 사서 채용 동향을 분석하기 위해 수행되었다. 연구 대상으로 국내데이터는 인터넷 포털 사이트인 “사서e마을”에 게시된 사서 채용 공고를 총 489개를 수집하였고, 해외데이터는 “ALAJobList”에서 6,600개의 자료를 수집하였다. 기간은 2020년 1월부터 2022년 8월까지이며 수집된 데이터를 대상으로 지역 분포도 분석, 빈도 분석, 토픽모델링을 수행하였다. 연구 결과, 채용 공고의 지역분포도는 국내데이터에서 서울이 280건으로 가장 많았으며, 해외데이터는 캘리포니아(California)가 662건으로 상위로 도출되었다. 빈도분석 결과, 국내데이터의 담당업무에서는 ‘관리’ 23.42% 키워드가 높게 나왔고, 자격요건은 ‘자격증’ 16.61%이 가장 많은 비율을 차지했다. 해외데이터의 담당업무에서는 ‘LibraryService’ 8.72% 비율이 높게 나왔으며, 자격요건은 ‘CommunicationSkills’ 10.13% 키워드가 가장 높은 순위에 위치함을 확인했다. 토픽모델링에서는 국내외 담당업무, 자격요건으로 나눠 총 4가지의 영역을 살펴보았다. 분석 결과, 국내외 채용 공고에서 도출된 사서의 담당업무 및 자격요건이 미국도서관협회(ALA) 및 한국도서관협회 등 주요 도서관 관련 협회에서 제시한 핵심 역량과 연관이 있음을 확인하였다.

Abstract

This study was conducted to analyze the trends of librarian job recruitment in Korea and overseas. A total of 489 librarian job postings posted on the internet portal site “Saseo e-Ma-eul” were collected for the Korean data, and 6,600 data were collected from “ALAJobList” for the international data. The research period spans from January 2020 to August 2022. The data were subjected to regional distribution analysis, frequency analysis, and topic modeling. As a result of the study, the number of Korean librarian job postings was the highest in Seoul with 280, while California was the state with the highest number of job postings overseas with 662. According to the frequency analysis, the main task of Korean data is ‘management’ 23.42%, and the core competency is ‘certificate’ 16.61%. For overseas data, ‘Library Service’ is the main task of 8.72%, and ‘Communication Skills’ is the most important core competency of 10.13%. In topic modeling, five topics were identified for each area 4 in total, including Korean and international job description and requirements. The analysis results confirm that the duties and qualifications derived from Korean and international job postings for librarians are related to the core competencies proposed by major library associations such as the American Library Association (ALA) and the Korean Library Association.

3
이승연(연세대학교 교육대학원 사서교육전공) ; 김기영(연세대학교 문헌정보학과) 2023, Vol.40, No.4, pp.375-401 https://doi.org/10.3743/KOSIM.2023.40.4.375
초록보기
초록

학교도서관은 학생들에게 미래의 불확실성에 대응할 수 있는 능력을 기를 수 있는 장소로, 다양한 정보를 활용하여 기본 역량과 변화 대응력을 키울 수 있는 곳이다. 학교도서관의 활용은 교사의 지도가 필수적이므로 교사의 인식은 매우 중요하다. 그러나 대부분의 연구는 교사의 인식을 외부환경으로 간주하여 그 중요성을 계량적인 척도로 측정하는 데 초점을 맞추고 있다. 본 연구에서는 초등학교 교사들의 학교도서관 인식을 구체적으로 알아보고자, 사람 중심적인 접근 방법인 잠재프로파일 분석기법(Latent Profile Analysis, 이하 LPA)을 사용하여 기존 연구에서 검토하기 어려웠던 교사의 학교도서관의 역할과 중요성에 대한 복합적인 인식과 그 인식의 대표적인 유형을 확인하였다. 이를 토대로 교사의 인식유형에 따라 학교도서관의 운영과 활성화 방안을 맞춤형으로 제안하였다.

Abstract

A school library is where students develop their skills to cope with future uncertainty and can utilize various information materials to build their capability and response abilities to changes. Teachers’ perception is crucial as their guidance is essential for the student to use the school library. Most studies, however, focused on quantitative measurement of the importance of the teachers’ perception as an external environment, and there is a lack of specific categorization of different types of perceptions on the role of the school library. This study aims to examine types of perceptions about the school library among elementary school teachers. To do so, this study used Latent Profile Analysis (LPA), a person-centered approach, to identify teachers’ complex perceptions about the role and importance of the school library, which were difficult to review in previous studies, and the teachers’ most representative types of perceptions. Based on the findings from the above, this study is meaningful in proposing customized measures to operate and promote the school library depending on teachers’ perceptions.

4
한지윤(숙명여자대학교 문헌정보학과) ; 이혜은(숙명여자대학교 문헌정보학과) 2023, Vol.40, No.1, pp.149-173 https://doi.org/10.3743/KOSIM.2023.40.1.149
초록보기
초록

본 연구는 대학생의 이메일 기록관리 행태와 대학 이메일 정책에 관한 인식을 파악한 것이다. 이를 위해 국내 대학에 재학 중인 대학생 317명을 대상으로 이메일 기록관리의 필수요소인 이메일 공통사항, 작성, 관리, 보존, 인식, 총 5가지 항목으로 구성된 설문조사를 실시하였다. 또한 대학의 이메일 서비스 제공 방법에 따라 구글을 이용하는 대학, 마이크로소프트를 이용하는 대학, 자체 웹메일을 이용하는 대학, 총 3가지 유형으로 나눠 6명을 심층 면담하였다. 조사 결과 대학생은 이메일을 주소록, 클라우드 스토리지, 파일 저장, 협업 도구로 사용하고 있었고 기록생애주기에 따라 이메일을 체계적으로 관리하는 데에는 어려움을 겪고 있었다. 또한 모바일 서비스 및 첨부파일 보존에 한계가 있는 대학 자체 웹메일보다 부가기능의 사용이 가능한 외부 이메일 플랫폼 이용을 선호하는 경향이 나타났다. 이러한 대학생의 이메일 기록관리를 지원하기 위해 졸업생 이메일 계정 유지, 충분한 이메일 저장 공간 제공, 대학생 대상 이메일 기록관리 교육 및 가이드라인 제공 등을 제시하였다.

Abstract

This study examines email records management patterns of undergraduate students and their perceptions of university email policy. The research collected data from 317 undergraduate students using a survey based on the five essential elements of email records management: common elements, email creation, email management, email preservation, and perception. Also, an in-depth interview was conducted with 6 undergraduate students, according to the method of university email service: Google, Microsoft, and in-house webmail. As a result, undergraduate students used email as an address book, cloud storage, file storage, and collaboration tool, and they had difficulties in systematically managing the email records according to the records lifecycle. Also, there was a tendency to prefer using an external email platform that can use additional functions to in-house webmail that has limitations in mobile service and preservation of attachments. Thus, this study suggests ways to help undergraduate students manage their email records, including maintaining graduates’ email accounts, providing sufficient email storage, and providing email records management training and guidelines for undergraduate students.

5
정문지(연세대학교 교육대학원 사서교육전공) ; 이지연(연세대학교 문헌정보학과) 2023, Vol.40, No.4, pp.229-257 https://doi.org/10.3743/KOSIM.2023.40.4.229
초록보기
초록

본 연구는 독서공간으로서의 학교도서관에 주목하고 독서를 위한 학교도서관 이용 시 공간특성 요소에 대한 중학생 이용자의 인식을 파악하는데 목적이 있다. 선행연구와 예비 연구를 통해 공간특성 요소를 선정하고 각 공간특성 요소에 대해 학생들이 중요하게 생각하는 정도와 충족하는 정도를 살펴보고자 하였다. 그리고 이용자의 인식이 이용현황 및 학교도서관 독서활동 경험에 따라 차이가 있는지 살펴보았으며, 학교도서관 이용자 만족도와 지속이용의도에 영향을 미치는지 파악하였다. 더불어 공간특성 요소의 인식이 지속이용의도에 영향을 미치는데 있어 학교도서관 이용자 만족도가 매개 역할을 하는지 검증하고자 하였다. 이를 위해 중학교 4곳에 재학 중인 342명의 학생을 대상으로 설문조사를 진행하였다. 연구 결과, 공간특성 요소 중 소통성, 다양성, 안전성, 편의성에 대한 이용자의 인식이 이용현황에 따라 차이를 보였으며, 소통성, 쾌적성, 분위기가 이용자 만족도에, 심미성과 소통성이 지속이용의도에 긍정적인 영향을 주는 것으로 나타났다. 이 중 소통성, 쾌적성, 분위기는 학교도서관 이용자 만족도를 매개하여 지속이용의도에 영향을 미치는 것으로 확인되었다. 본 연구는 독서를 위한 공간으로서 학교도서관을 조사함으로써 학생들의 독서 지원을 위한 방안을 제시하였다는 점에서 의의를 찾을 수 있다.

Abstract

This study aims to understand students’ perceptions of the spatial characteristics of school libraries when they use them for reading. We selected a set of spatial characteristics by reviewing the literature and conducting a preliminary investigation. Then, we examined how students perceived the importance of and how satisfied they were with each characteristic. In addition, we investigated how students’ perceptions differ by the library uses and reading-related activities. We also studied whether the satisfaction of school library users affects their continued use of the libraries. We also verified whether school library user satisfaction is an intervening variable in continued-use intention, which is affected by spatial characteristics perception. We conducted a survey of 342 students from four middle schools. The analysis of the survey outcomes shows differences in library use due to spatial characteristics such as convenience, communicability, diversity, and safety. Factors such as communicability, comfortability, and ambience affected user satisfaction positively. Both aesthetics and communicability also positively influenced the continued-use intention. Furthermore, we identified that communicability, comfortability, and ambience eventually impacted the continued-use intention via user satisfaction, an intervening variable. The significance of this study is that it considered the direction of the school library to support students’ reading by regarding the school library as a space for reading.

6
한유경(정보통신정책연구원) ; 최원석(정보통신정책연구원) ; 이민철(카카오엔터프라이즈) 2023, Vol.40, No.2, pp.115-135 https://doi.org/10.3743/KOSIM.2023.40.2.115
초록보기
초록

본 연구는 단행본, 학술지, 보고서 등 다양한 종류의 발간물로 구성된 연구보고서의 참고문헌 데이터베이스를 효율적으로 구축하기 위한 것으로 딥러닝 언어 모델을 이용하여 참고문헌의 자동추출 성능을 비교 분석하고자 한다. 연구보고서는 학술지와는 다르게 기관마다 양식이 상이하여 참고문헌 자동추출에 어려움이 있다. 본 연구에서는 참고문헌 자동추출에 널리 사용되는 연구인 메타데이터 추출과 더불어 참고문헌과 참고문헌이 아닌 문구가 섞여 있는 환경에서 참고문헌만을 분리해내는 원문 분리 연구를 통해 이 문제를 해결하였다. 자동 추출 모델을 구축하기 위해 특정 연구기관의 연구보고서 내 참고문헌셋, 학술지 유형의 참고문헌셋, 학술지 참고문헌과 비참고문헌 문구를 병합한 데이터셋을 구성했고, 딥러닝 언어 모델인 RoBERTa+CRF와 ChatGPT를 학습시켜 메타데이터 추출과 자료유형 구분 및 원문 분리 성능을 측정하였다. 그 결과 F1-score 기준 메타데이터 추출 최대 95.41%, 자료유형 구분 및 원문 분리 최대 98.91% 성능을 달성하는 등 유의미한 결과를 얻었다. 이를 통해 비참고문헌 문구가 포함된 연구보고서의 참고문헌 추출에 대한 딥러닝 언어 모델과 데이터셋 유형별 참고문헌 구축 방향을 제안하였다.

Abstract

The purpose of this study is to assess the effectiveness of using deep learning language models to extract references automatically and create a reference database for research reports in an efficient manner. Unlike academic journals, research reports present difficulties in automatically extracting references due to variations in formatting across institutions. In this study, we addressed this issue by introducing the task of separating references from non-reference phrases, in addition to the commonly used metadata extraction task for reference extraction. The study employed datasets that included various types of references, such as those from research reports of a particular institution, academic journals, and a combination of academic journal references and non-reference texts. Two deep learning language models, namely RoBERTa+CRF and ChatGPT, were compared to evaluate their performance in automatic extraction. They were used to extract metadata, categorize data types, and separate original text. The research findings showed that the deep learning language models were highly effective, achieving maximum F1-scores of 95.41% for metadata extraction and 98.91% for categorization of data types and separation of the original text. These results provide valuable insights into the use of deep learning language models and different types of datasets for constructing reference databases for research reports including both reference and non-reference texts.

7
안병군(한국과학기술정보연구원) ; 변제연(성균관대학교 문헌정보학과) 2023, Vol.40, No.1, pp.225-258 https://doi.org/10.3743/KOSIM.2023.40.1.225
초록보기
초록

본 연구는 국내 연구자가 저술한 논문의 데이터 가용성 진술(DAS)에 명시된 데이터 공유 메커니즘과 리포지터리를 조사함으로써 국내 연구자의 연구데이터 공유 현황과 특징을 탐구하는 것을 목적으로 한다. 이를 위하여 2014년부터 2022년까지 PLOS ONE에 게재된 국내기관 소속 연구자의 논문을 연구의 대상으로 선정하였다. 우선 논문 내 DAS 존재 현황을 파악하고 선행연구를 활용하여 데이터 공유 메커니즘의 유형을 분석하였으며, 시간의 흐름에 따른 데이터 공유 메커니즘별 변화 추이 등을 조사하였다. 그 결과, 대상 논문의 99.6%에 DAS가 작성되어 있으며 데이터 공유 메커니즘의 유형별 언급 양상은 국제적인 양상과 유사하되, 시간의 흐름에 따라 선호되는 유형이 변화하고 있음을 파악하였다. 이후 데이터 공유 메커니즘 중 리포지터리에 주목하여 DAS에 언급된 리포지터리의 횟수와 비율을 파악하고 다수 언급된 5개 리포지터리의 이용 변화 추이를 시계열적으로 분석하였다. 또한 리포지터리와 함께 언급된 데이터 접근점의 제시 방식과 유형, 유효성 등도 함께 조사하였다. 이를 통해 빈번하게 언급되는 상위 5개 리포지터리가 전체 리포지터리 언급의 60%를 차지하며 데이터 코드를 다루는 리포지터리의 이용이 증가하는 현황이 확인되었고, 리포지터리와 함께 제시된 데이터의 접근점은 대부분 유효하다는 사실을 파악할 수 있었다.

Abstract

The purpose of this study is to investigate the current status and characteristics of research data sharing by domestic researchers by analyzing the data sharing mechanism and repository specified in DAS of papers authored by domestic researchers. To this end, in this study, papers of researchers belonging to domestic institutions published in PLOS ONE from 2014 to 2022 were selected as the subject of the study. First of all, the status of DAS’s existence in the papers was identified, the types of data-sharing mechanisms were analyzed using precedent studies, and the trend of changes in each data-sharing mechanism over time was investigated. As a result, it was found that DAS was written in 99.6% of the target papers, and the types of data-sharing mechanisms were similar to international patterns, but preferred types were changing over time. Afterward, focusing on repositories among data sharing mechanisms, the number and ratio of repositories mentioned in DAS were identified, and the trend of changes in use of the five repositories mentioned a lot was analyzed in a time series. In addition, the presentation method, type, and validity of the data access point mentioned along with the repository were also investigated. It was confirmed that the top five frequently mentioned repositories account for 60% of all repository mentions, and the use of a repository dealing with data codes is increasing; in addition, it was found that most of the data access points presented with the repository were valid.

8
송영(전남대학교 문헌정보학과 박사과정) ; 김지현(전남대학교 문헌정보학과) 2023, Vol.40, No.1, pp.73-93 https://doi.org/10.3743/KOSIM.2023.40.1.073
초록보기
초록

이 연구는 국내 대학도서관에서 운영하는 유튜브 콘텐츠에 대한 내용분석과 이용자의 댓글에 대한 감성 반응 분석을 통해 국내 대학도서관들의 유튜브를 활용한 도서관 서비스에 대해 종합적인 분석과 평가를 하였다. 연구 분석대상은 61개 대학도서관의 2,169개 유튜브 콘텐츠와 이용자의 댓글 6,487개였다. 연구결과로 국내 대학도서관의 유튜브 콘텐츠는 대분류 중 ‘자료’ 콘텐츠의 수량이 가장 많고 ‘소통’ 콘텐츠와 ‘교육’ 콘텐츠가 뒤를 이었으며, ‘홍보’ 콘텐츠가 가장 적었다. 소분류 중 ‘정보서비스’ 콘텐츠의 수량이 가장 많았으며 연구지원 서비스를 주된 내용으로 수록하였다. 국내 대학도서관의 유튜브 콘텐츠를 열람한 이용자의 감성 반응에 대한 분석에서 이용자 감성 반응이 가장 높게 나타난 대분류는 ‘자료’ 콘텐츠와 ‘소통’ 콘텐츠였다. 이용자 감성 반응은 모든 범주의 콘텐츠에서 긍정 반응이 대부분이었고 부정 반응은 긍정 반응에 비하여 적었으며, 빈번히 나타난 이용자 감성 표현은 ‘좋다’였다. 또한, 이용자 감성 반응에 사용된 어휘는 유튜브 콘텐츠의 내용에 대한 표현보다 영상에 등장하는 인물에 대한 표현이 많았다. 이용자의 평가는 콘텐츠의 기술적 품질에 관한 것 평가보다 콘텐츠의 내용에 관한 것이 많았다.

Abstract

This study conducted a comprehensive analysis and evaluation of library services using YouTube through content analysis of YouTube content and emotional response analysis of user comments. This study analyzed 2,169 YouTube contents and 6,487 comments of users from 61 university libraries. The results showed that the number of ‘data’ content was the largest among 4 categories, followed by ‘communication’ and ‘education’ content, and ‘promotion’ content. Among the sub-classifications, the number of ‘information services’ contents was the largest. In the analysis of users’ emotional responses to YouTube content, the major categories of users’ emotional responses were ‘data’ content and ‘communication’ content. Most of the user’s emotional responses were positive in all categories of content, and the most frequent user emotional expression was ‘good’. In addition, the vocabulary used in the user’s emotional response was more about the person appearing in the video than the expression of the content of YouTube contents.

초록보기
초록

기존의 연구자 유형 구분 모델은 대부분 연구성과 지표를 활용해왔다. 이 연구에서는 인용 영향력이 공동연구와 관련이 있다는 점을 감안하여 인용 데이터를 활용하지 않고 공동연구 지표만으로 연구자 유형을 분석하는 새로운 방법을 모색해보았다. 공동연구 패턴과 공동연구 범위를 기준으로 연구자를 Sparse & Wide (SW) 유형, Dense & Wide (DW) 유형, Dense & Narrow (DN) 유형, Sparse & Narrow (SN) 유형의 4가지로 구분하는 모델을 제안하였다. 제안된 모델을 양자계측 분야에 적용해본 결과, 구분된 연구자 유형별로 인용지표와 공저 네트워크 지표에 차이가 있음이 통계적으로 검증되었다. 이 연구에서 제시한 공동연구 특성에 따른 연구자 유형 구분 모델은 인용정보를 필요로 하지 않으므로 연구관리 정책과 연구지원서비스 측면에서 폭넓게 활용할 수 있을 것으로 기대된다.

Abstract

Traditional models for categorizing researcher types have mostly utilized research output metrics. This study proposes a new model that classifies researchers based on the characteristics of research collaboration. The model uses only research collaboration indicators and does not rely on citation data, taking into account that citation impact is related to collaborative research. The model categorizes researchers into four types based on their collaborative research pattern and scope: Sparse & Wide (SW) type, Dense & Wide (DW) type, Dense & Narrow (DN) type, Sparse & Narrow (SN) type. When applied to the quantum metrology field, the proposed model was statistically verified to show differences in citation indicators and co-author network indicators according to the classified researcher types. The proposed researcher type classification model does not require citation information. Therefore, it is expected to be widely used in research management policies and research support services.

10
한나은(한국과학기술정보연구원) ; 서수정(한국과학기술정보연구원) ; 엄정호(한국과학기술정보연구원) 2023, Vol.40, No.3, pp.77-98 https://doi.org/10.3743/KOSIM.2023.40.3.077
초록보기
초록

본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.

Abstract

Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.

정보관리학회지