- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
이 연구에서는 기존의 h-지수와 g-지수에 대해 달리 해석해보고 새로운 Hirsch 유형 복합 지표인 전치 g-지수를 제안하고자 한다. 새로운 해석에 따라서 h-지수 및 g-지수 산출 그래프의 가로축이 인용빈도 기준값에 해당하고 세로축이 논문 수가 되도록 축을 전치하고, 이로부터 새로운 전치 g-지수를 제안하였다. 한국학술지인용색인 KCI의 문헌정보학 분야 연구자들을 대상으로 적용해본 결과, 제안된 새 지수는 h-지수 및 g-지수에 비해서 변별력이 높으며 연구의 질보다 연구의 양 차이에 더 민감한 것으로 나타났다. 연구를 지속하는 꾸준한 연구자를 그렇지 못한 연구자와 변별해주는 차별화된 특성을 가지고 있으므로 전치 g-지수는 다면적인 연구 성과 평가에 도움이 될 것으로 기대된다.
Abstract
This study suggests a new Hirsch-type composite index, ‘transposed g-index’ with a different viewpoint on h-index and g-index. From this new point of view, the axes of the graph describing the h-index and g-index are transposed so that the horizontal axis corresponds to the citation frequency threshold and the vertical axis corresponds to the number of documents. Based on this transposed graph, a new indicator transposed g-index is suggested and applied to library and information science researchers’ outcomes in Korean Citation Index database. The results show that this new index has more discriminating power than h-index and g-index, and is more sensitive to differences in quantitative aspects than quality of research. It is expected that the transposed g-index will be helpful for the multifaceted evaluation of the research outcome because it has differentiating characteristics that distinguish consistent researchers who continue to study from those who do not.
초록
연구자 성과 평가를 위해 널리 사용되는 h-지수는 일관성 부족 문제와 공저자 수를 고려하지 않는다는 문제를 가지고 있다. 이를 극복하기 위해 h-지수와 g-지수, 그리고 공저 보정 방안을 검토하고 2004년부터 2013년 사이의 실제 KCI 데이터를 대상으로 분석해본 결과는 다음과 같다. 첫째, 일관성 결여 문제를 해소하기 위해서는 g-지수를 사용하는 것이 더 바람직하다고 판단된다. 둘째, 연구 성과의 양적인 측면과 질적인 측면을 한꺼번에 반영하는 복합 지수라는 h-지수와 g-지수의 고유한 특성을 유지하기 위해서는 반드시 공저를 보정하여 지수를 측정해야 한다. 셋째, 공저자 수로 나눈 인용빈도를 사용하는 hC-지수와 gC-지수를 적용하면 단독 저술 비중이 높은 인문학 분야 연구자도 공정하게 평가할 수 있고, 특정 분야나 특정 기관에 속한 연구자가 상위 순위를 과점하는 현상을 방지할 수 있다.
Abstract
The h-index is a popular bibliometric indicator for evaluating individual researchers. However, it has been criticized for its inconsistency with reflecting increased number of citations and disregarding the number of co-authors in a paper. In order to overcome these problems, we examined the g-index and other Hirsch-type indices considering the number of co-authors. Test data collection was extracted from Korean Citation Index database published from 2004 to 2013. The results of this study are as follows: First, g-index is more reliable indicator than h-index with consistency. Second, number of co-authors must be considered to maintain the h-index as an complex indicator applying the quality and the quantity of research performance. Finally, hc-index and gc-index, with fractionalised counting of the papers, can fairly measure the research performance of humanities researchers, and successfully prevent specific disciplines or institutions occupying majority of top rankings.
초록
본 연구의 목적은 연구데이터 서비스 자체의 유용성과 연구데이터에 대한 사용경험 기반의 유용성 측면에서 평가 모형을 개발하는 것이다. 다양한 사례에서 도출한 데이터 서비스의 유용성 평가 요소로부터 연구데이터에 내재된 평가척도인 검색성, 접근성, 상호운용성, 재활용성 4개와 각각의 측정지표 총 20개를 도출하였다. 그리고 Google Analytics, YouTube 광고료 책정 기준, 서울특별시, Altmetrics의 사례를 분석하여 연구데이터에 대한 이용자 경험 기반의 유용성 측정지표 12개를 도출하였다. 평가척도와 측정지표에 대한 타당성과 신뢰성 검정을 위해 연구데이터의 잠재적 이용자 164명을 대상으로 설문조사를 실시하였다. 평가척도의 타당성 검정을 위해 KMO Bartlett 분석을 하였으며, 측정지표의 성분분석을 위해 주성분 분석과 베리맥스 회전분석법을 사용하였다. 내재적 평가척도의 경우 4개 척도 모두 KMO Bartlett의 타당성 값을 충족시켰으며, 평가척도에 대한 측정지표의 성분분석 결과 모두 단일 성분으로 나타나 현재의 척도로 해당 지표에 대한 설명이 가능하였다. 그러나 이용자 경험 기반의 12개 측정지표의 성분분석 결과는 2개 성분으로 나누어지는 것으로 나타나 각각을 활용도와 참여도라는 개념의 2개 평가척도로 구분하였다. Cronbach’s alpha 계수에 의한 신뢰도 측정 결과 6개의 평가척도 모두 0.6 이상의 측정치를 충족시키는 것으로 나타났다.
Abstract
The Purpose of this study is to develop an evaluation model for usability of research data service from the angles of evaluating usefulness of research data service itself and research data use experience-based usability. First, the various cases of evaluating usability of data services are examined and 4 rating scales and 20 measuring indicators for research data service are derived as a result of comparative analysis. In order to verify validity and reliability of the rating scale and the measuring indicators, the study conducted a survey of 164 potential research data users. KMO Bartlett Analysis was performed for validity test, and Principle Component Analysis and Verimax Rotating Method were used for component analysis on measuring indicators. The result shows that the 4 intrinsic rating scales satisfy the validity criteria of KMO Barlett; A single component was determined from component analysis, which verifies the validity of measuring indicators of the current rating scale. However, the result of 12 user experience-based measuring indicators analysis identified 2 components that are each classified as rating scale of utilization level and that of participation level. Cronbach’s alpha of all 6 rating scales was 0.6 or more for the overall scale.
초록
본 연구의 목적은 국내에서 구축되고 있는 참고문헌 데이터베이스의 현황을 분석하여 문제점을 밝히고, 이들 문제점을 토대로 정보원으로서의 기능과 평가도구로서의 기능을 적절하게 수행할 수 있는 참고문헌 데이터베이스를 구축하기 위한 활성화 방안을 제언하는데 있다. 이를 위하여 국내에서 구축되는 참고문헌 데이터베이스 가운데 전문연구정보센터에서 구축하는 참고문헌 DB, 한국과학기술정보연구원의 KSCI, 학술진흥재단의 KCI, 대한의학회의 KoMCI를 연구대상으로 분석하였다. 이를 근거로 국내 참고문헌 데이터베이스 구축 사업을 위한 방안을 도출하여 제시하였다. 이들 자료는 참고문헌DB 구축을 위한 제도 및 정책, 기술적 방향을 제시하는데 근거자료로 활용할 수 있을 것이다.
Abstract
The purpose of this study was to analyzes the present conditions of reference databases which is constructed from Korea. The object which is used in analysis concludes on KSCI(Korean Science Citation Index) of KISTI, KCI(Korean Citation Index) of KRF, KoMCI(Korean Medical Citation Index) of Korean Academy of Medical Sciences, and reference database of KOSEF. And then, this paper proposes the activation plan for reference database construction based on this analysis result. The proposed plan will be able to apply with fundamental data of the system, policy and technical direction for reference database construction.
초록
연구성과평가와 연구비 배분에 인용분석을 포함한 계량정보학적 분석방법이 많이 사용되고 있으며, 부적절한 적용 및 해석에 대한 우려와 지적 또한 계속되고 있다. 이에 따라 최근 연구성과평가 지침과 권고안이 학술 커뮤니티와 계량서지학적 연구집단에서 연이어 발표되고 있다. 따라서 이 연구에서는 2015년 발표된 라이덴 선언(Leiden Manifesto)을 중심으로 Thomson Reuters 백서, 프랑스 과학원 권고안, DORA 선언, IEEE 권고안을 비교하고 이를 통해 국내 연구성과평가 환경에의 제안 가능성을 살펴보고자 하였다. 비교분석 결과, 다수의 권고안은 연구의 목적과 연구 주제분야별 특성을 반영하고 다양한 지표를 활용한 다면적 평가를 통해 총체적인 평가를 지향하고 있는 것으로 나타났다. 이러한 결과는 국내 연구성과평가시스템 적용에서 고려해 볼 주요 권고안이라고 할 수 있으며, 추후 이에 대한 이해관계자들의 의견 수렴 등을 통하여 국내 연구성과시스템에의 적용가능성을 보다 심층적으로 살펴볼 필요가 있을 것이다.
Abstract
Inappropriate applications of bibliometric approach and misinterpretation on the analysis in research evaluation have been found and recognized nationally and internationally as the use of the approach has been rapidly adopted in various sectors in research evaluation systems and research funding agencies. The flood of misuse led to several numbers of declarations and statements on appropriate research evaluation, including Leiden Manifesto, DORA, IEEE Statement, etc. The similar recommendations from five different declarations, Leiden Manifest, IEEE Statement, DORA, Institut de France, and Thomson Reuters White paper were reviewed and meta-analyzed in this study and it is revealed that most of them emphasize evaluation on quality in various aspects with multiple indicators. Research evaluation with assessing multiple aspects of individual research based on the understandings of its purpose and pertinent subject area was revealed as being mostly advised in the declarations, and this recommendation can be regarded as being mostly requested in national research evaluation system. For future study, interviews with relevant stakeholders of national research evaluation system in order to explore its application are needed to confirm the findings of this review.
초록
지식경영을 도입함에 있어서 조직 구성원들의 자발적인 지식 공유활동을 활성화시키기 위해서는 무엇보다도 구성원들의 동기유발 방식을 변화시킬 필요가 있다. 이를 위해 지식 기여에 대한 공정한 평가와 적절한 보상체계의 수립은 매우 중요하다. 이 연구에서는 지식경영을 도입한 국내 기업체 및 전문 연구기관에서의 지식 기여에 따른 평가와 보상과 관련한 문헌분석 및 실제 사례분석을 토대로 지식 기여에 대한 바람직한 평가 및 보상 모형, 즉 가설을 설정하였다. 아울러 설정된 가설을 토대로 한국원자력연구소를 대상으로 설문조사를 실시함으로써 전문 연구기관에서의 지식 기여에 대한 평가 및 보상에 대한 구성원들의 반응도를 조사 분석하였다. 본 연구의 분석결과는 지식경영을 도입하고자 하는 전문 연구기관에서 매우 유용하게 활용될 수 있을 것으로 기대된다.
Abstract
When we introduce knowledge management system in our organization, first of all, we need to change the way of motivating the members so as to voluntarily activate knowledge sharing activity. For this, it is very important to establish fair evaluation and adequate reward system about knowledge contribution. In this study, I hypothesized a desirable evaluation and reward model for knowledge contribution on the basis of analysis of documents and cases concerning them in domestic enterprises and R&D institutes that adopted knowledge management. Also, I took a survey to analyze the response of the members of KAERI (Korea Atomic Energy Research Institute) about the evaluation and reward for knowledge contribution. I expect that the analysis results of this study can be applied very usefully in R&D institutes that want to introduce knowledge management.
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
학술지의 인용빈도를 특정하여 산출된 지수로 단일 논문의 영향력을 평가하는 것에 대한 비판으로 인해 단일 논문의 인용 영향력을 측정하는 인용지수에 대한 연구가 다양하게 시도되었다. 이 연구에서는 8개의 단일 논문 인용영향력 평가 지수를 살펴보고 KCI 논문 데이터베이스를 대상으로 각 인용지수의 분야별 편향성을 조사하여 보았다. 대상 지수는 단순 인용빈도, 페이지랭크, f-값, CCI, c-지수, 단일문헌 h-지수, 단일문헌 hs-지수, cl-지수였다. 분석결과 페이지랭크가 학문 분야별 균등성, 학문 분야 내에서 학술지별 균등성 영역에서 가장 편향성이 없는 것으로 나타났다. 반면에 단순 인용빈도는 특정 학문분야나 특정 학술지에 편향된 결과를 산출할 가능성이 높은 것으로 나타났다. KCI 데이터베이스에서는 논문의 단순 인용빈도만 제공하고 있는데, 분야별 균등성을 가장 잘 유지하는 지수인 논문 페이지랭크를 함께 제공할 필요가 있다. 아울러 인용한 문헌의 인용빈도만으로 산출이 가능해서 이용자의 검색 결과로부터 바로 산출할 수 있는 지역 네크워크 지수 중에서는 cl-지수가 가장 균등성을 잘 유지하므로 계산 과정과 서비스가 손쉬운 지수로 함께 제공하는 것도 검토해야 한다.
Abstract
The impact of a journal is commonly used as the impact of an individual paper within that journal. It is problematic to interpret a journal’s impact as a single paper’s impact of the journal, so there are several researches to measure a single paper’s impact with its own citation counts. This study applied 8 impact indicators to Korean Citation Index database and examined discipline bias of each indicator. Analyzed indicators are simple citation counts, PageRank, f-value, CCI, c-index, single publication h-index, single publication hs-index, and cl-index. PageRank has the least discipline bias at highly ranked papers and journal bias in a discipline. On the contrary, simple citation counts showed strongly biased results toward a certain discipline or a journal. KCI database provides only simple citation counts. It needs to show PageRank (global indicator) to discover influential papers in diverse areas. Furthermore it needs to consider to provide the best of local indicators. Local indicators can be calculated only with papers in users’ search results because they uses citation counts of citing papers and the number of references. They are more efficient than global indicators which explore the whole database. KCI should also consider to provide Cl-index (local indicator).
초록
본 연구는 상호대차활성화에 따른 이.공계열 외국학술지의 이용빈도를 조사해보고, 외국학술지 분담구독의 모델을 제시하는데 그 목적이 있다. 본 이용연구는 2000년도 E대학도서관의 459종의 구독학술지와 144종의 분담구독 학술지를 포함한 총 603종을 평가대상으로 하여 관내 이용통계와 상호대차통계를 분석한 것이다. 본 연구결과 439종의 학술지가 1회 이상 이용되었으며, 164종의 불용학술지가 조사되었다. 또한 E대학 이용자의 이용빈도와 JCR의 주제분야별 총인용빈도 상위학술지간에는 상관성이 있는 것으로 나타났다. 다양한 이용분석을 통하여 본 연구는 효과적인 학술지 관리방안을 제시하였다.
Abstract
The purpose of this use study is to evaluate foreign science and technology serials with reference to the result of interlibrary loan activity and to present the model of cooperative acquisition. This study was based upon an analysis of actual use data by library users and interlibrary loan from March 1, 2000 to February 28, 2001. 603 titles of foreign serials which were composed of 459 subscription titles of E University Library and 144 cooperative acquisition titles in the fields of science and technology were analyzed. The study reveals that only 439 serials(72.8%) were used even more once and 164 serials were not used at all during 1 year interval. A relationship was found between rankings of serials as measured by use and JCR citation ranking. Based upon various aspects of use analysis, this study suggested effective techniques for managing academic serials.
초록
본 연구는 마케팅 분야에서 개발된 서비스 품질 모형인 SERVQUAL을 도서관의 실정에 맞게 적용한 ARL(Assoication of Research Libraries) LibQUAL+ 평가 프로그램에 국내 대학도서관 한 곳이 공식 참여한 과정과 결과를 제시하고 있다. LibQUAL+ 시행을 위해 영문으로 된 설문지의 번역, 설문 대상자 표본 선정, 설문 버전의 선택 등을 포함한 절차를 설명하고 있다. 또한 설문의 시행 결과로 입수되는 설문 데이터에 대한 설명 및 응답과 관련된 제반 사항에 대한 검토 결과를 제시한다. 마지막으로 설문 데이터를 통해 이용자 집단간, 타기관과의 다양한 비교 전략을 제시하고 있다. LibQUAL+ 프로그램은 단순한 설문도구가 아닌 총체적인 도서관 서비스 품질 평가 시스템이다. LibQUAL+ 프로그램에 참여함으로써 보다 체계적이고 국제화된 평가를 시행할 수 있을 것이다. 설문도구로서 LibQUAL+에 대한 비판에도 불구하고 LibQUAL+ 프로그램에 참여함으로써 국내 대학도서관은 새로운 평가 및 서비스 개선 노력을 경주할 수 있을 것으로 기대된다. 도입과 관련해서는 개별적인 참여 대신 다수의 도서관이 컨소시엄을 구성해서 참여하는 것이 바람직하다. 이들 도서관을 중심으로 학습공동체를 구성해서 워크샵, 사례발표 등을 통해 한 단계 높아진 평가 활동을 할 수 있다.
Abstract
The paper describes a case study in which Sungkyunkwan University Library participated in the official ARL(Assoication of Research Libraries) LibQUAL+ evaluation program. LibQUAL+ model is based on the SERVQUAL service quality evaluation model originally developed in the marketing area. It details a number of processes including translation of the LibQUAL+ survey instrument into Korean, selection of study sample and choice of survey versions. In addition, it offers a number of strategies that can be adopted in order to analyze the survey data for various comparisons among different user groups and institutions. LibQUAL+ is more that a survey instrument; it a holistic system for assessing library service quality. Despite criticisms on LibQUAL+, we expect that university libraries in Korean will benefit from participating in the program. It is preferable that a group of libraries form a consortium to participate in the LibQUAL+ program as opposed to individual participation. The consortium can function as a learning community through various workshops and sharing activities, thus elevate the overall evalution efforts in Korean libraries to a higher level.