- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
최근 특허기술의 가치평가가 크게 강조되고 있으며, 특허의 피인용횟수는 특허기술 가치평가에 있어 중요한 척도이다. 본 연구에서는 국내 특허를 대상으로 피인용횟수에 영향을 주는 변수들을 도출하기 위하여 일반화 선형모형 회귀분석을 실시하였다. 총 12개의 변수를 형태적, 기술적 그리고 개념적 요인으로 분류하였고, 국내 의료기기 특허 14개의 분야에 적용하여 분석한 결과 출원인 국적, 출원인 유형, 발명자 수, 출원국가 수, IPC 수, 참고문헌 수, 서지결합도가 특허 피인용횟수에 유의미한 영향을 미치는 것으로 나타났다. 본 연구는 국내 실정에 적용 가능한 연구를 수행함으로써 국내 특허에 대한 인용 분석 방법론에 있어서 실질적인 기초적 자료를 제공했다는데 의의가 있다.
Abstract
The valuation of patented technology has been recently emphasized, and the patent citation is known as an important factor. This study performed a generalized linear model to find variables that effect the patent citation. We classified 13 variables as morphological, technological and conceptual factors and used them to find out effective variables in 14 medical devices classification. Through the empirical study, we found seven effective variables (assignee nationality, assignee character, the number of inventors, the number of application countries, the number of IPC, the number of references, the strength of bibliographic coupling). In order to apply to Korean industry, this study has significance that provides basic research to citation analysis model.
초록
본 연구는 인쇄잡지 중심의 소장 패러다임 대 전자잡지 위주의 접근 패러다임이 대립하는 상황에서 대학도서관의 하이브리드형 학술지 수집정책의 이론적 토대가 되는 평가요소를 분석하여 한국적 실정을 고려한 외국 학술지의 평가모형 개발에 필요한 기초자료를 마련하는데 그 목적이 있다. 구체적으로 질문지법을 통하여 학술지 수집규모 상위 40개 대학도서관의 외국학술지 선정과정에서 예비평가지표(인쇄형 27개, 전자형 37개)의 적용도를 조사하고, 그 데이터를 다양한 통계적기법으로 분석하였다. 인쇄학술지 평가지표의 요인별 상대적 중요성은 응답 평균값으로 산출하였는데 그 결과는 학과당 구독종수, 이용도, 선정권한, 전자학술지 구독조건, ISI 영향지수, 국제성과 지명도, 구독가격, ILL/DDS, 수장공간 순으로 나타났다. 한편, 전자학술지는 구독가격, 접근성, 전자학술지 구독조건, 컨소시엄, 선정권한, 접근확장성, 학과당 구독종수, 대학의 학문적 특성, ISI 영향지수, ILL/DDS, 국제성과 지명도 순으로 나타났다.
Abstract
The purposes of this study are to compare and analyze the evaluation indicators for selection of journal suggested by scholars and organizations and to prepare theoretical background for the ideal model to meet opposing paradigms of collection management in academic libraries. A web survey method was employed to investigate applications of various selection criteria (27 for printed and 37 for electronic academic Journal) from the top 40 academic libraries in Korea. In addition, data were analysed statistically using factor analysis, t-test, Analysis of Variance(ANOVA), and Spearman's Rank Oder Correlation. The mean ranking for 9 evaluation indicators for printed were as follows: subscribing volumes per departments, degree of use, selection authority, electronic/print bundle, ISI impact factor, Internationality and reputation, costs for subscription, ILL & DDS, space considerations for printed materials. But, 11 evaluation indicators for electronic were as follows: costs for subscription, accessibility, electronic/print bundle, consortia, selection authority, access expandability, subscribing volumes per departments, scholarly features of the university, ISI impact factor, ILL & DDS, internationality and reputations.
초록
최근 특허기술의 가치평가가 크게 강조되고 있으며, 그 평가의 수단으로 특허의 피인용횟수가 매우 유용한 척도 중의 하나로 받아들여지고 있다. 그에 따라 이 연구에서는 특허의 피인용횟수와 이에 영향을 미칠만한 형태적․기술적․개념적 요인의 17개 변수들 간의 상관관계를 미국특허를 대상으로 5개 주제분야에 걸쳐 분석하였다. 분석결과 특허의 피인용횟수와 일정 수준 이상의 상관관계, 즉 5% 이상의 설명력을 갖는 변수는 페이지 수, 청구항 수, 참고문헌 평균 피인용횟수, 기술분야 특허증감율, 서지결합도, 동시인용도 및 문헌간유사도 등 7개로 나타났다. 또한 이들 변수에 대한 분산분석 결과 7개 변수 모두 전반적으로 대부분의 주제분야 간에 있어서 평균값의 차이가 있는 것으로 나타났다.
Abstract
Recently, the valuation of patented technology has been greatly emphasized, and patent citation has been accepted as a very useful index of this technology. In this study, we performed correlation analyses between the patent citation counts and 17 explanatory variables of morphological, technological, and conceptual factors with a test dataset of U.S. patents in five subject fields. Seven variables having 5% or more standardized variances(r2) with patent citation counts were identified; number of pages, number of claims, reference-average-citation rate, patent increase/decrease rate, strength of bibliographic coupling, co-citation counts and document similarity. The result of the ANOVA test shows that the mean values of these variables vary among most subject fields.
초록
최근 전자책이 점차 대중화되고 다양한 전자책 단말기가 출현하고 있다. 본 연구는 전자책 단말기의 사용성 평가를 위한 평가 요소를 정의하고, 그 요소를 기초로 하여 전자책 단말기의 사용성 평가 실험을 수행하였다. 실험 대상 전자책 단말기는 가장 많이 이용되고 있는 3종을 선정하였으며 피실험자는 중학생, 대학생, 직장인으로 구성된 15명을 대상으로 하였다. 실험 결과 아이패드의 사용성이 가장 우수한 것으로 조사되었으며, 상대적으로 전자책 전용 단말기인 아마존 킨들의 경우 터치 기능이 없는 것이 상당한 사용성 저해 요인인 것으로 응답되었다. 또한 전자책 단말기가 제공하는 고유의 하드웨어 및 소프트웨어적 사용성이 사용자에게 매우 중요한 요소이며, 전자책 단말기의 하드웨어적 측면과 연관된 기기 휴대성이 전자책 단말기의 전반적인 사용성에 큰 영향을 미치는 것으로 나타났다.
Abstract
Many e-book readers have become available as e-books are in popular use these days. We first developed the evaluation criteria and elements for testing the usability of e-book readers and then examined the usability of three e-book readers. The usability testing was conducted using three e-book readers that were most popular with 15 participants that consisted of middle school students, university students, and office workers. The study found that iPad showed the best usability. In case of Amazon Kindle, participants indicated that the lack of the touch function imposed a great deal of negative impact on the usability of the interface. Also, the hardware- and software-oriented usability provided by an e-book reader was considered to be a very important element for the users, and the portability in connection with the hardware-oriented aspect of an e-book reader was shown to be of great effect to the overall usability of an e-book reader.
초록
본 연구에서는 공공부문에서 운영되고 있는 KMS의 성과평가의 일환으로 KMS 사용자 만족도의 선행요인 및 사용자 만족도와 성과 간의 구조적 관계를 분석하고 효과적인 KMS 운영을 위한 함의를 제시하였다. 본 연구에서 실시한 지식품질과 KMS 품질, 사용자 만족도 및 성과 간의 영향관계에 관한 구조방정식 분석결과, 연구모형에서 설정한 3개의 가설 모두가 채택되었다. 이러한 분석결과를 토대로 본 연구에서는 KMS 사용자 만족도 및 성과 향상을 위한 효과적인 KMS 운영방안을 제시하였다.
Abstract
The purposes of this study are to examine the factors influencing the user satisfaction of knowledge management system(KMS) and the influence of the user satisfaction on the performance, and to search the strategies for effective KMS operating. The results of covariance structural analyses indicate that the factors-knowledge quality and KMS quality significantly influence the user satisfaction. User satisfaction also significantly affects the performance. Based on the results, this study discusses the potential implications for the strategies of KMS implementing to improve the user satisfaction and performance.
초록
본 연구의 목적은 여대생들의 생식건강정보 탐색행위에 영향을 미치는 요인을 살펴보고 그 관계성을 살펴보는 것이다. 건강신념모델(HBM)과 계획된행동이론(TPB)을 기반으로 지각된 민감성, 지각된 심각성, 지각된 이익, 지각된 장애, 주관적 규범, 지각된 행동통제, 감정적 평가를 주요 요인으로 정의하고 연구를 설계하였다. 대학생 온라인 커뮤니티인 ‘에브리타임’을 통해 서울 소재 4년제 대학교의 여대생을 대상으로 온라인 설문을 실시하여 데이터를 수집하였다. 연구결과, 여대생들은 지각된 민감성, 지각된 이익, 주관적 규범이 높을수록, 반면에 지각된 장애는 낮을수록, 인터넷을 통해 생식건강정보를 탐색할 의도가 높은 것으로 나타났다. 또한 여대생들의 인터넷 생식건강 탐색에 영향을 미치는 요인들은 여대생들의 성경험 유무, 생식기계 질환 경험 유무, 건강관심도 등에 따른 그룹 간의 차이를 보이기도 했다. 본 연구결과는 여대생들을 대상으로 하는 대학도서관이나 보건기관 등이 온라인 건강정보 문해교육이나 관련 서비스 프로그램을 개발하는데 있어 여대생들의 생식건강 인식 정도를 파악하는데 기여할 수 있을 것으로 기대한다.
Abstract
The purpose of this study is to identify the factors affecting female college students’ behaviors in seeking reproductive health information on the Internet and to explore the relationships among these factors. Based on the Health Belief Model(HBM) and the Theory of Planned Behavior(TPB), perceived sensitivity, perceived severity, perceived benefit, perceived barriers, subjective norms, perceived behavioral control, and affective evaluation were defined as key factors, and the study was designed accordingly. An online survey was distributed to female college students in Seoul through the university student’s online community, ‘Everytime.’ The results showed that the intention of female college students to seek reproductive health information via the Internet was associated with higher perceived sensitivity, perceived benefit, and subjective norms, and lower perceived barriers. There were statistically significant differences between groups in terms of sexual experiences, experience with reproductive system disorders, and the level of health interest. We believe that this research outcome will contribute to assessing the level of awareness regarding reproductive health among female college students, thereby aiding in the development of online health information literacy education or related service programs by university libraries, health institutions, and similar entities targeting female college students.
초록
디지털 정보환경에서 하나의 단일기능에서 복잡한 복합기능으로 새롭게 발전하고 있는 정보매체의 사용자 인터페이스 특성은 이용의도 향상을 위한 새로운 사용자 인터페이스 평가방법을 요구하고 있다. 본 연구는 정보매체의 인터페이스 특성을 하드웨어 구성요소인 물리적 컨트롤 구조특성과 정보내용의 명확성을 전달하는 콘텐츠 표현 특성으로 구분하여 정보매체의 기술수용관점에서 이용의도 향상을 위해 고려되어야 할 인터페이스 특성에 대해 논의하였다. 물리적 컨트롤 인터페이스, 콘텐츠 표현 인터페이스 특성요인으로 148명의 사용자에 대한 설문내용을 기초로 정보매체의 기술수용과 관련된 인지된 유용성, 인지된 이용 용이성, 그리고 이용의도에 대한 가설을 검증하였다. 연구결과 물리적 구조 인터페이스와 콘텐츠 표현 인터페이스 특성은 인지된 유용성에 유의한 영향을 미치는 것으로 파악되었으며, 정보매체의 이용 의도는 인지된 유용성과 인지된 이용 용이성에 의해 영향을 받는 것으로 밝혀졌다. 본 연구를 통해 사용자 인터페이스에 대한 설계는 디자인 관점에서 접근하기 보다는 성능에 대한 유용성 평가과정 그 자체로서 물리적 구조 인터페이스와 콘텐츠 표현 인터페이스 특성의 중요성을 확인하였다.
Abstract
Whereas traditional user interface are well accepted modes of information exchange, the new digital conversion type's of information media is relatively complex and provides new means of transaction with user interface. User interface can be decomposed into two component: the physical structure through which information media is controlled, and the presentation of the content. This research explores the two user interface element have different effect on the adoption of information media and, as such, can influence perceived usefulness, perceived easy of use, and intention of use. The hypotheses have been tested with the survey of 148 end-users examines two interface characteristics factors such as efficiency, error, design, entertainment, accuracy, and vividness, and so on. The research summarized in this paper decomposes the influence of interface elements of physical structure interface and content presentation interface to gain a better understanding of how interface stimulates user's perceived usefulness to adopt the information media.
초록
장애인의 정보격차해소를 위한 다양한 노력에도 불구하고 장애인 및 잠재적 이용자층의 정보요구 미 파악, 단일화된 정보제공 채널의 미비, 웹 접근성의 낮은 체감 수준 등 다양한 요인들에 의해 장애인의 정보격차 해소는 요원해지고 있는 실정이다. 이에 본 연구는 장애인과 유관종사자 등 잠재적 이용자층의 장애인분야 웹정보 이용행태를 분석하고, 현재 국내에서 제공되고 있는 장애인분야 웹정보서비스의 이용성을 평가하였다. 나아가 웹정보서비스의 기능 개선 요구사항을 파악하여, 장애인의 정보격차 해소를 위한 새로운 정보서비스 모형으로서의 장애인도서관 포털서비스 구축방안을 제언하였다.
Abstract
In spite of various efforts to resolve digital divide of people with disabilities, it still has a long way to go because there lack of identifying information needs of people with disabilities and potential users including their family and the related, and integrated information channels such as a portal, and so on. In this context, this study aims at analyzing the users’ unique information behavior and evaluating usability of domestic web information services for people with disabilities which are currently serviced. Increasingly, we suggest new functional requirements of building a library portal for people with disabilities.
초록
본 연구는 여성의 건강과 밀접한 관련이 있는 모바일 월경주기 측정 애플리케이션을 대상으로 토픽모델링 기법과 함께 다양한 텍스트 마이닝 기법을 도입하여 사용자 경험 평가를 실시하였으며 그 결과를 허니콤(Honeycomb)모델과 결합하여 분석하였다. 월경주기측정 애플리케이션 리뷰에서 드러난 사용자 경험을 평가하기 위해 월경주기측정 애플리케이션의 한국어 리뷰 47,117개를 수집하였다. 리뷰에서 드러난 사용자 경험에 관한 전체적인 담론 확인을 위해 토픽모델링 분석을 실시하였고, 각 토픽 별 구체적인 경험을 확인하고자 동시출현 네트워크 관계로 구축한 텍스트 네트워크 분석을 실시하였다. 또한 사용자의 정서적 경험을 파악하기 위해 감정분석(Sentiment Analysis)을 실시하였다. 이를 기반으로 월경주기측정 애플리케이션의 개발 전략을 정확도, 디자인, 모니터링, 데이터관리 및 사용자관리 측면에서 제시하였다. 연구 결과, 애플리케이션의 월경주기측정 정확도 및 모니터링 기능을 개선해야 함이 확인되었으며 다양한 디자인적 시도가 필요함이 관찰되었다. 또한 개인정보와 사용자의 생체 데이터 관리방법에 대한 보완의 필요성도 확인되었다. 본 연구는 월경주기측정 애플리케이션의 사용자 경험(UX)을 심층적으로 탐색하여 이용자들이 경험한 다양한 요인을 밝히고 더 나은 경험을 제공하기 위한 실질적인 개선점을 제시하였다. 또한 사용자 경험을 평가하는 과정에서 방대한 양의 리뷰 데이터를 연구자가 면밀하게 파악할 수 있도록 토픽모델링과 텍스트 네트워크 분석 기법을 결합하여 방법론을 제시하였다는 점에서 의의가 있다.
Abstract
This study conducted user experience evaluation by introducing various text mining techniques along with topic modeling techniques for mobile menstrual cycle measurement applications that are closely related to women’s health and analyzed the results by combining them with a honeycomb model. To evaluate the user experience revealed in the menstrual cycle measurement application review, 47,117 Korean reviews of the menstrual cycle measurement application were collected. Topic modeling analysis was conducted to confirm the overall discourse on the user experience revealed in the review, and text network analysis was conducted to confirm the specific experience of each topic. In addition, sentimental analysis was conducted to understand the emotional experience of users. Based on this, the development strategy of the menstrual cycle measurement application was presented in terms of accuracy, design, monitoring, data management, and user management. As a result of the study, it was confirmed that the accuracy and monitoring function of the menstrual cycle measurement of the application should be improved, and it was observed that various design attempts were required. In addition, the necessity of supplementing personal information and the user’s biometric data management method was also confirmed. By exploring the user experience (UX) of the menstrual cycle measurement application in-depth, this study revealed various factors experienced by users and suggested practical improvements to provide a better experience. It is also significant in that it presents a methodology by combines topic modeling and text network analysis techniques so that researchers can closely grasp vast amounts of review data in the process of evaluating user experiences.