바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: information quality evaluation, 검색결과: 16
1
이다정(성균관대학교 문헌정보학과 석사과정) ; 이용정(성균관대학교 문헌정보학과 교수) 2019, Vol.36, No.4, pp.161-181 https://doi.org/10.3743/KOSIM.2019.36.4.161
초록보기
초록

사람들은 청소년기에 성적 지향이나 성 정체성에 대해 인식하기 시작하며, 청소년들은 성에 관한 민감한 건강정보 탐색을 위해 접근이 편하고 익명성이 보장된 지식검색 커뮤니티를 자주 이용한다. 본 연구는 지식검색 커뮤니티에 나타난 청소년들의 성 정체성에 관련된 질문과 답변을 바탕으로 그들의 정보탐색 행태를 관찰하고자 하였다. 먼저, 그들의 정보 요구를 파악하고 그들이 공유한 질문에 제공된 답변들 가운데 채택된 답변과 비 채택된 답변의 특성을 비교하여 청소년들이 어떠한 답변을 선호하는지 조사하였다. 이를 위해 국내의 대표적인 지식검색 커뮤니티인 네이버 지식iN에서 2016년 1월부터 2018년 12월까지 3년간 채택된 답변과 비 채택된 답변으로 구성된 총 358세트의 데이터를 분석하였다. 분석 결과, 성 정체성에 관한 고민을 가진 청소년들은 성 정체성에 대한 정의나 혼란에 관한 정보 요구가 많았다. 이용자들이 채택한 답변에는 공감 및 긍정적인 느낌을 주는 요인들이 채택되지 않은 답변에 비해 많았으며, 반면에 채택되지 않은 답변에는 부정적인 요인들이 높게 나타났다. 본 연구는 성 정체성이 확립되지 않은 청소년들이 가진 정보 요구와 정보탐색 행태를 분석하여 정보탐색 분야의 논의를 확장하고 건강정보 이용자의 정보 평가에 이용되는 인지적 및 감정적 모델을 검증했다는 데 학문적 의의가 있다. 또한 연구 결과를 바탕으로 소셜 미디어가 청소년에게 제공해야 할 성 정체성에 관한 효과적인 정보서비스에 대한 실질적인 함의를 제안한다.

Abstract

People begin to recognize sexual orientation or gender identity in adolescence, and adolescents frequently use an accessible and anonymous anonymity knowledge retrieval community to explore sensitive health information about gender. This study attempted to observe their information search behavior based on questions and answers about adolescents’ gender identity in the knowledge retrieval community. First, we wanted to examine their information needs and to investigate what factors they preferred to answer by comparing the characteristics of the answers adopted with the non-adopted answers among the answers provided in the questions they shared. To this end, Naver, Korea’s representative knowledge search community. In Knowledge-iN, a total of 358 sets of data were analyzed, consisting of responses adopted over three years from January 2016 to December 2018. As a result, adolescents with concerns about gender identity demanded information about definition or confusion about gender identity. In the responses adopted by the users, the factors that gave empathy and positive feelings were higher than those that were not adopted, whereas the negative responses were higher in the unaccepted answers. This study is meaningful in that it analyzes the information needs and information search behaviors of adolescents with no established gender identity, expands the discussion in the information search field, and confirms cognitive and emotional models for information evaluation of health information users. Also, based on the research results, we propose practical implications for effective information services on gender identity that social media should provide to young people.

2
한나은(한국과학기술정보연구원) ; 서수정(한국과학기술정보연구원) ; 엄정호(한국과학기술정보연구원) 2023, Vol.40, No.3, pp.77-98 https://doi.org/10.3743/KOSIM.2023.40.3.077
초록보기
초록

본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.

Abstract

Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.

3
김인후(중앙대학교 문헌정보학과 대학원) ; 김성희(중앙대학교 문헌정보학과) 2022, Vol.39, No.3, pp.293-310 https://doi.org/10.3743/KOSIM.2022.39.3.293
초록보기
초록

본 연구에서는 한국어 데이터로 학습된 BERT 모델을 기반으로 문헌정보학 분야의 문서를 자동으로 분류하여 성능을 분석하였다. 이를 위해 문헌정보학 분야의 7개 학술지의 5,357개 논문의 초록 데이터를 학습된 데이터의 크기에 따라서 자동분류의 성능에 어떠한 차이가 있는지를 분석, 평가하였다. 성능 평가척도는 정확률(Precision), 재현율(Recall), F 척도를 사용하였다. 평가결과 데이터의 양이 많고 품질이 높은 주제 분야들은 F 척도가 90% 이상으로 높은 수준의 성능을 보였다. 반면에 데이터 품질이 낮고 내용적으로 다른 주제 분야들과 유사도가 높고 주제적으로 확실히 구별되는 자질이 적을 경우 유의미한 높은 수준의 성능 평가가 도출되지 못하였다. 이러한 연구는 미래 학술 문헌에서 지속적으로 활용할 수 있는 사전학습모델의 활용 가능성을 제시하기 위한 기초자료로 활용될 수 있을 것으로 기대한다.

Abstract

In this study, we analyzed the performance of the BERT-based document classification model by automatically classifying documents in the field of library and information science based on the KoBERT. For this purpose, abstract data of 5,357 papers in 7 journals in the field of library and information science were analyzed and evaluated for any difference in the performance of automatic classification according to the size of the learned data. As performance evaluation scales, precision, recall, and F scale were used. As a result of the evaluation, subject areas with large amounts of data and high quality showed a high level of performance with an F scale of 90% or more. On the other hand, if the data quality was low, the similarity with other subject areas was high, and there were few features that were clearly distinguished thematically, a meaningful high-level performance evaluation could not be derived. This study is expected to be used as basic data to suggest the possibility of using a pre-trained learning model to automatically classify the academic documents.

초록보기
초록

본 연구는 국내 대학도서관 웹사이트를 조사하여 온라인 주제가이드의 현황을 분석하고 개선 방안을 제언하였다. 조사된 100개 대학 중 14개 대학만이 온라인 주제가이드를 제공하고 있는 것으로 나타나 국내 온라인 주제가이드의 구축은 초기 단계인 것으로 나타났다. 온라인 주제가이드들은 내용 구성면에서 볼 때 접근성, 포맷의 일관성, 자원통합성 영역은 우수한 것으로 평가되었으나 주제 다양화, 이용자 교육, 검색 영역에서 낮은 수준에 머물러 있는 것으로 나타났다. 향후 온라인 주제가이드가 지향해야 할 방향은 신속한 정보자원으로의 접근, 주제 특화된 이용자 교육, 사서와의 원활한 커뮤니케이션을 제공하는 원스탑(one-stop) 서비스가 되어야 할 것이다.

Abstract

This study investigated the current state of online subject guides in Korean academic libraries and suggests improvement. Through the examination of 100 academic libraries' Web sites, only 14 online subject guides were identified, showing that the development of online subjects guides in Korea is still in infancy. The examined online subject guides were evaluated as high quality in terms of accessibility, integration of information resources, and format consistency, but low quality in the provision of specialized subjects, user instruction, and information retrieval systems. An online subject guide should be a one-stop service that provides fast access to information resources along with subject-specialized user instruction and effective communication with librarians.

5
김성희(중앙대학교) ; 박해진(중앙대학교) 2014, Vol.31, No.2, pp.79-97 https://doi.org/10.3743/KOSIM.2014.31.2.079
초록보기
초록

본 연구는 네이버 전문정보, 구글 스칼라, 그리고 MS Academic Search에서 제공하는 학술정보서비스에 대한 특성을 살펴보고 135명의 대학생을 대상으로 그 이용 및 품질에 대해 콘텐츠, 서비스 및 효과성을 중심으로 비교․평가 하였다. 분석결과 콘텐츠 부분에서는 구글 스칼라에 대한 이용자 평가가 높게 나타났고, 검색성의 경우 구글 스칼라가, 디자인 부분에서는 네이버 전문정보가 상대적으로 높게 평가되었다. 접근성에 있어서는 네이버 전문정보와 구글 스칼라가 MS Academic Search보다 높게 평가되었고, 정보의 유용성과 이용자 만족도에서는 구글 스칼라가 다른 포털 학술정보서비스보다 높게 평가되었다.

Abstract

This study was to evaluate the quality of academic information services provided by Naver Academic Information Service, Google Scholar, and MS Academic Search. This academic information services were evaluated in terms of the contents, service, and effectiveness. 135 four year college students were recruited for the survey. The results showed that the Google Scholar in contents section had higher score than Naver and MS Academic Search. In regard to service, Google Scholar had higher score in retrieval section while Naver had higher score in design section respectively. Finally, both Google Scholar and Naver in the access section had higher score than MS Academic Search.

초록보기
초록

본 연구는 고도화된 웹 서비스와 스마트 기기의 확산으로 인해 변화된 시스템 환경 속에서 클라우드 서비스에 대한 선호도와 이용의도에 영향을 미치는 데이터 안정성, 네트워크 반응속도, 그리고 시스템 접근성을 중심으로 정보센터의 이용도 향상에 대한 방향 설정을 위해 인지된 유용성, 인지된 이용 용이성을 중심으로 이용자의 이용의도와의 관계를 살펴보았다. 본 연구가설의 검증을 위해 태블릿PC, 스마트폰과 같은 모바일기기를 많이 이용하거나 관심이 높은 20대에서 30대 연령층의 114명으로 부터 설문을 받아 활용하였다. 클라우드 서비스 선호도에 대한 이용자의 인지된 유용성과 인지된 이용용이성에 영향을 미칠 수 있는 정보센터의 시스템 품질특성과 관련된 요인들과의 관계를 살펴봄으로써 최근의 클라우드 서비스를 위해 새롭게 고려되어야 할 정보센터의 시스템 품질특성에 대해 이용자 이용의도 관점에서 논의하였다.

Abstract

The purpose of this study is to identify the new roles and services of information center that is affected by changing information technology so called cloud computing service. Using Information Technology acceptance model, hypotheses were developed to find relationships among intention to use of a cloud service, perceived usefulness, perceived easy of use and three system quality evaluation factors such as data safety, network response time, and system accessibility. The hypotheses have been tested with 114 user surveys. This study presents the relationship between certain attitude and intention to use variables and system accessibility applying clouding service. The result of this research gives an insight of the evaluation and a guideline for the implementation of cloud computing services in information centers.

7
김현희(명지대학교) ; 구내영(한국경제연구원) 2002, Vol.19, No.2, pp.131-158 https://doi.org/10.3743/KOSIM.2002.19.2.131
초록보기
초록

본 연구의 목적은 이용자 연구와 국내외 기존 시스템의 기능을 분석한 자료를 기반으로 하여 맞춤정보서비스를 제공하는 MyCyberLibrary의 모형을 설계한 후 이를 평가하여 좀 더 효율적인 정보서비스를 제공하기 위한 기초 자료를 제공하는 것이다. MyCyberLibrary 모형은 최신정보제공서비스, 전자저널/e-book 관리, 데이터베이스 관리. 컬렉션 관리, 프로젝트 관리, 전자지정자료 관리, 도서관 정보서비스 관리, 파일통합 관리, 저작권 관리의 총 9개 서브시스템들로 구성된다. 또한 모형의 효율성을 측정하기 위해서 프로토타입 시스템을 구성하여 40명의 이용자를 대상으로 시스템의 만족도를 조사하고 시스템의 기능을 향상시키기 위한 세 가지 방안을 제안하였다.

Abstract

The purpose of this study is to suggest the basic data for providing library information services of high quality with clients, by designing the model of MyCyberLibrary and evaluating it. The model of MyCyberLibrary was constructed based on the survey results on the information-seeking behavior of users and on the review of the existing mylibraries′functions. The model is implemented into the prototype system which consists of nine modules. Finally, we evaluated the proposed system via mail questionnaires, and proposed three suggestions to make this system a much more comprehensive and effective one.

8
현미환(한국과학기술정보연구원) ; 김완종(한국과학기술정보연구원) ; 이혜진(한국과학기술정보연구원) ; 김혜선(한국과학기술정보연구원) 2013, Vol.30, No.4, pp.133-154 https://doi.org/10.3743/KOSIM.2013.30.4.133
초록보기
초록

본 연구의 목적은 과학기술정보 서비스 기관인 한국과학기술정보연구원(KISTI)에서 정보의 공동활용을 목적으로 제공하고 있는 오픈서비스에 대한 이용자의 만족도를 분석하여, 오픈서비스 이용자의 요구를 파악하고 수요자 기반의 서비스 개선사항을 도출하는데 있다. 이를 위해 KISTI에서 제공하는 있는 오픈서비스인 NOS (NDSL Open Service)의 이용자를 대상으로 만족도 조사를 실시하였다. 서비스별 품질을 나타내는 이용자의 만족도 지표는 해당 서비스에 대해 이용자들이 지각하는 품질을 측정할 수 있도록 설계하였으며, 품질지수, 만족지수, 성과지수로 구성되었다. 분석결과 이용자들은 오픈서비스의 사회적 기여도 및 공익성 측면에서 긍정적인 평가를 하고 있음을 확인할 수 있었다. 반면, 환경품질과 서비스 과정품질 항목은 상대적으로 낮은 만족도를 보여주어 오픈서비스를 조금 더 쉽게 활용할 수 있도록 하는 편의성의 제고와 함께 VOC를 중심으로 서비스 이용과정 및 환경 만족도 제고 방안을 모색해야 함을 알 수 있었다.

Abstract

The purpose of this study is to analyze service quality factors that affect user satisfaction of NDSL Open Service (NOS) and to improve standards of open service for sharing information through the user satisfaction survey. User satisfaction indexes were developed to measure the all aspects of the NOS services. The quality index, satisfaction index, and performance index were identified in this survey. According to the survey findings, the levels of social quality and social satisfaction are relatively high, this shows the positive evaluation and expectation of researchers for open services. However, relatively low level is identified in area of service process quality. Therefore, NOS requires method to help easily take advantage of OpenAPI and strategy to increase service process satisfaction and service environment satisfaction.

초록보기
초록

본 연구에서는 도서관의 사회적 가치를 평가할 수 있는 평가지표를 개발하고자 하였으며, 이를 위해 1차적으로 도서관의 가치에 대해 연구한 60여 개의 국내․외 논문들을 총체적으로 분석하여 예비 평가지표를 도출하였다. 도출한 예비 평가지표를 토대로 11명의 전문가를 선정하여 3차에 걸친 델파이조사를 실시하여 최종평가지표를 개발하였다. 최종평가지표는 공공도서관의 사회적 가치를 크게 지역 사회 개발, 지역 사회의 연계, 지역 주민의 삶의 질 향상, 지역 주민의 평등화, 지역 사회에 필요한 정보제공서비스 등의 5가지 평가영역과, 13개 평가항목, 64개 평가지표로 구성된다. 향후에는 이를 기반으로 공공도서관의 사회적 가치를 측정하는 연구가 수행되어야 할 것으로 보인다.

Abstract

The purpose of this research is to develop evaluation indicators for evaluating the social value of libraries and, for this, first of all, preliminary evaluation indicators were derived by analyzing comprehensively about 60 domestic and overseas papers which researched on the value of libraries. On the basis of the derived preliminary evaluation indicators, 11 experts were selected and the final evaluation indicators were developed by conducting Delphi survey three times. The final evaluation indicators are composed of five evaluation areas, which are the divided areas of the social value of libraries, such as the development of local communities, the linkage of local communities, the improvement of local residents’ life quality, the equalization of local residents, and the information services necessary for local communities, 13 evaluation items, and 64 evaluation indicators. In the future, it seems that researches to measure the social value of libraries based on this will have to be conducted.

초록보기
초록

정보기술의 발전과 더불어 국가경쟁력 및 대국민 서비스 강화를 위한 공공정보시스템의 구축이 확산되고 있다. 또한 막대한 공공재원이 투자되는 공공정보시스템은 효율성에 대한 정기적인 평가를 통한 존재가치의 입증 및 문제점 진단을 통한 성능개선의 요구도 증대되고 있다. 따라서 본 연구는 국내의 대표적인 웹 기반 공공고용정보시스템 워크넷(Work-Net)의 데이터 및 서비스 품질을 102명의 이용자를 대상으로 평가하였다. 측정도구는 학계에서 많이 사용해온 정보내용, 정확성, 적시성, 출력형태, 사용의 용이성, 지원성으로 구성하였으며 t-test와 일원변량분석(one-way ANOVA)을 실시하여 이용자의 특성 및 검색정보에 따른 차이를 살펴보았다. 또한 최근 구직자들의 고용정보시스템에 대한 요구사항들을 분석하였다. 본 연구결과는 공공 및 민간운영 고용정보시스템 운영체제 효율화에 기여할 수 있는 유용한 기초자료를 제공할 것으로 본다.

Abstract

A public information system is being expanded, along with the advance of information technology, to strengthen national competitiveness and provide people with better services. And there also is a growing need for the better performance of that system, as a tremendous amount of public finacial resources is invested in that. To address that need, it's required to make an evaluation of its efficiency on a regular basis to identify its problems and make it work better. The purpose of this study was, accordingly, to examine the quality of data and services provided by the Work-Net, a Web-based public employment information system. The subjects in this study were 102 users of it, and the system was evaluated in terms of content, accuracy, timelines, display format, ease of use and customer support. For data analysis, t-test and one-way ANOVA were implemented to find out the general characteristics of the users, and to see whether or not their view was different according to the type of information they searched for. The findings of this study are expected to lay some foundation for intensifying the efficiency of the public and private employment information systems.

정보관리학회지