- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
이 연구에서는 기존의 h-지수와 g-지수에 대해 달리 해석해보고 새로운 Hirsch 유형 복합 지표인 전치 g-지수를 제안하고자 한다. 새로운 해석에 따라서 h-지수 및 g-지수 산출 그래프의 가로축이 인용빈도 기준값에 해당하고 세로축이 논문 수가 되도록 축을 전치하고, 이로부터 새로운 전치 g-지수를 제안하였다. 한국학술지인용색인 KCI의 문헌정보학 분야 연구자들을 대상으로 적용해본 결과, 제안된 새 지수는 h-지수 및 g-지수에 비해서 변별력이 높으며 연구의 질보다 연구의 양 차이에 더 민감한 것으로 나타났다. 연구를 지속하는 꾸준한 연구자를 그렇지 못한 연구자와 변별해주는 차별화된 특성을 가지고 있으므로 전치 g-지수는 다면적인 연구 성과 평가에 도움이 될 것으로 기대된다.
Abstract
This study suggests a new Hirsch-type composite index, ‘transposed g-index’ with a different viewpoint on h-index and g-index. From this new point of view, the axes of the graph describing the h-index and g-index are transposed so that the horizontal axis corresponds to the citation frequency threshold and the vertical axis corresponds to the number of documents. Based on this transposed graph, a new indicator transposed g-index is suggested and applied to library and information science researchers’ outcomes in Korean Citation Index database. The results show that this new index has more discriminating power than h-index and g-index, and is more sensitive to differences in quantitative aspects than quality of research. It is expected that the transposed g-index will be helpful for the multifaceted evaluation of the research outcome because it has differentiating characteristics that distinguish consistent researchers who continue to study from those who do not.
초록
본 연구는 사용자의 중심의 시스템을 지향하고 있는 현 시점에서 사용자 인터페이스 연구의 동향을 분석하는 것이 그 어느 때 보다 중요하다고 보고, 최근 10년 동안에 정보학분야에서 수행된 사용자 인터페이스 연구를 정량적으로 그리고 정성적으로 살펴보았다. 즉, 6개의 정보학관련 학술잡지에 수록된 128편의 논문을 분석하여 다음과 같은 4가지의 연구질문에 답하였다: 1) 어떠한 주제들이 연구되었는지, 2) 어떠한 학술지가 주로 어떠한 주제의 논문을 출판하는지, 3) 어떠한 방법론이 어떤 주제에서 많이 사용되고 있는지, 4) 연도별 연구변화는 어떠한지. 이에 따라 본 연구는 주제별 분포, 학회지별 분포, 학회지별 주제 분포, 방법론별 학회지 분포, 방법론별 주제 분포, 연도별 주제 분포와 연도별 학회지 분포를 살펴보고 정성적으로 각각의 논문들을 주제별로 리뷰하였다. 그 결과, 「정보관리학회지」가 비율적으로 이 주제를 가장 많이 다루고 있는 것으로 나타났고, ‘웹사이트 평가’, ‘탐색 인터페이스’, ‘정보설계’, ‘상호작용 스타일 설계’ 순으로 연구가 많이 수행되었다. 또한 방법론은 서베이 연구 방법론, 비개입적 연구방법론, 실험연구 방법론 순으로 많이 사용된 것으로 나타났다. 그리고 사용자 인터페이스 연구는 2000년대 초반에 후반보다 더 많은 연구가 수행된 것을 알 수 있었다. 앞으로 사용자 인터페이스 연구가 보다 확고한 정보학의 소주제 영역으로 자리 잡기 위해서는 폭넓은 연구주제와 연구방법론의 선택이 필요하다고 본다.
Abstract
The aims of this study are to provide an overview of research trends on user interface in the field of Information Science. This study attempts to address the following four questions: 1) what are the research areas or subject topics, 2) what are the patterns of user interface publication, 3) what methods are often used to what topics, and 4) what are the changes in the subject topics and research methods over the past ten years. It analyzed a total of 128 research articles published in four Korean LIS journals and one U.S. journal. The study also reviewed 72 articles published in Korean journals for identifying research trends. The study found that the most productive areas were ‘web site evaluation’, followed by ‘search interface’, ‘information design’ and ‘interaction style design’. The most frequently used research methods were survey methods, followed by unobtrusive methods, and experiments. Journal of the Korean Society for Information Management published the most articles on research of user interface. The research of user interface was conducted more frequently in the early 2000s than later years.
초록
연구자 성과 평가를 위해 널리 사용되는 h-지수는 일관성 부족 문제와 공저자 수를 고려하지 않는다는 문제를 가지고 있다. 이를 극복하기 위해 h-지수와 g-지수, 그리고 공저 보정 방안을 검토하고 2004년부터 2013년 사이의 실제 KCI 데이터를 대상으로 분석해본 결과는 다음과 같다. 첫째, 일관성 결여 문제를 해소하기 위해서는 g-지수를 사용하는 것이 더 바람직하다고 판단된다. 둘째, 연구 성과의 양적인 측면과 질적인 측면을 한꺼번에 반영하는 복합 지수라는 h-지수와 g-지수의 고유한 특성을 유지하기 위해서는 반드시 공저를 보정하여 지수를 측정해야 한다. 셋째, 공저자 수로 나눈 인용빈도를 사용하는 hC-지수와 gC-지수를 적용하면 단독 저술 비중이 높은 인문학 분야 연구자도 공정하게 평가할 수 있고, 특정 분야나 특정 기관에 속한 연구자가 상위 순위를 과점하는 현상을 방지할 수 있다.
Abstract
The h-index is a popular bibliometric indicator for evaluating individual researchers. However, it has been criticized for its inconsistency with reflecting increased number of citations and disregarding the number of co-authors in a paper. In order to overcome these problems, we examined the g-index and other Hirsch-type indices considering the number of co-authors. Test data collection was extracted from Korean Citation Index database published from 2004 to 2013. The results of this study are as follows: First, g-index is more reliable indicator than h-index with consistency. Second, number of co-authors must be considered to maintain the h-index as an complex indicator applying the quality and the quantity of research performance. Finally, hc-index and gc-index, with fractionalised counting of the papers, can fairly measure the research performance of humanities researchers, and successfully prevent specific disciplines or institutions occupying majority of top rankings.
초록
국가적 차원의 연구 성과평가와 연구정보서비스의 연계를 위한 프레임워크를 메타데이터 표현과 교환의 두 가지 측면에서 모색하였다. 이를 위해 과학기술분야 연구개발사업을 대상으로 국가적 차원의 연구 성과평가 메타데이터의 기능적 요건을 도출하였고, 이에 기초하여 주요 기능별로 국제적인 표준의 적용 방안을 제안하였다. 또한 웹 아키텍처 상에서 연구정보를 재사용 및 교환할 수 있는 국제표준으로서 OAI-ORE에 기반하여 성과평가 메타데이터를 표현 및 연계하기 위한 구현 방안과 사례를 제시하였다.
Abstract
This study aims to investigate a framework for linkage of national research performance evaluation and research information service from the perspective of metadata representation and exchange. Based on results of the functional requirements for metadata of national research performance evaluation are derived, this study suggests strategies for the application of international metadata standards. Also, this study presents an method to implement the metadata of research performance evaluation based on OAI-ORE, which is an international standard that can reuse and exchange the research information on web architecture.
초록
연구성과평가와 연구비 배분에 인용분석을 포함한 계량정보학적 분석방법이 많이 사용되고 있으며, 부적절한 적용 및 해석에 대한 우려와 지적 또한 계속되고 있다. 이에 따라 최근 연구성과평가 지침과 권고안이 학술 커뮤니티와 계량서지학적 연구집단에서 연이어 발표되고 있다. 따라서 이 연구에서는 2015년 발표된 라이덴 선언(Leiden Manifesto)을 중심으로 Thomson Reuters 백서, 프랑스 과학원 권고안, DORA 선언, IEEE 권고안을 비교하고 이를 통해 국내 연구성과평가 환경에의 제안 가능성을 살펴보고자 하였다. 비교분석 결과, 다수의 권고안은 연구의 목적과 연구 주제분야별 특성을 반영하고 다양한 지표를 활용한 다면적 평가를 통해 총체적인 평가를 지향하고 있는 것으로 나타났다. 이러한 결과는 국내 연구성과평가시스템 적용에서 고려해 볼 주요 권고안이라고 할 수 있으며, 추후 이에 대한 이해관계자들의 의견 수렴 등을 통하여 국내 연구성과시스템에의 적용가능성을 보다 심층적으로 살펴볼 필요가 있을 것이다.
Abstract
Inappropriate applications of bibliometric approach and misinterpretation on the analysis in research evaluation have been found and recognized nationally and internationally as the use of the approach has been rapidly adopted in various sectors in research evaluation systems and research funding agencies. The flood of misuse led to several numbers of declarations and statements on appropriate research evaluation, including Leiden Manifesto, DORA, IEEE Statement, etc. The similar recommendations from five different declarations, Leiden Manifest, IEEE Statement, DORA, Institut de France, and Thomson Reuters White paper were reviewed and meta-analyzed in this study and it is revealed that most of them emphasize evaluation on quality in various aspects with multiple indicators. Research evaluation with assessing multiple aspects of individual research based on the understandings of its purpose and pertinent subject area was revealed as being mostly advised in the declarations, and this recommendation can be regarded as being mostly requested in national research evaluation system. For future study, interviews with relevant stakeholders of national research evaluation system in order to explore its application are needed to confirm the findings of this review.
초록
본 연구의 목적은 국내 대학도서관에서 수행하고 있는 연구성과 서비스의 도입, 성장, 현재 운영 내용 및 향후 계획을 구체적으로 살펴봄으로써 향후 서비스 도입을 고려하는 도서관이 참고할 수 있도록 하기 위한 것이다. 이를 위해 연구성과 서비스를 선도적으로 제공하고 있는 4개의 대학도서관을 대상으로 서비스 담당자와의 심층면담을 수행하였다. 심층면담의 내용은 성장, 운영, 서비스를 포함하는 5개의 범주로 구성되었다. 연구 결과, 연구성과 서비스는 대학 연구경쟁력 강화를 지원하려는 목적으로 학내 구성원의 요구 또는 서비스 확대를 위한 도서관 내부의 기획으로 2010년 전후로 시작되었고, 시스템의 개선과 서비스 내용의 확대를 통하여 지속적으로 서비스가 강화되어온 것으로 나타났다. 또한 연구성과 서비스의 개발과 운영을 위해 참조할 수 있는 연구성과 서비스의 종합적인 모형을 제시하였다.
Abstract
This study describes the introduction, growth, current practices and future plans of research evaluation services performed in domestic academic libraries, with a view to informing other libraries considering similar endeavours. To that end, in-depth interviews were conducted with four librarians from academic libraries leading in research evaluation services. The contents of the interviews were grouped into five categories including growth, management, and services. The study found that their research evaluation services were launched around 2010 by demands of members of a university or as a library’s initiative to expand the existing services for the purpose of enhancing the university’s research competitiveness. The research evaluation services have been strengthened by extending the service scope and improving related systems. Also, the study suggests a comprehensive model that can guide the development and operation of research evaluation services.
초록
전 세계적으로 협동연구가 증가함에 따라 복수저자 연구업적물 상의 개별저자 기여도를 보다 정확하고 합리적으로 산정하는 것이 중요해지고 있다. 효과적인 저자 기여도 산정을 위해서는 개별 학문분야의 고유한 연구행태 및 규범에 대한 이해가 우선되어야 한다. 그럼에도 불구하고 연구업적 평가 시 개별 학문분야의 특수성을 고려하지 않고 일률적인 방식으로 저자 기여도를 산정하는 경우가 많다. 따라서 본 연구에서는 국내 대학에서 사용하는 교수 연구업적 평가방식에 제시된 복수저자 기여도 측정방식이 특정 학문분야 즉, 경제학 분야 교수의 연구업적 평가에 적용되었을 때 나타나는 문제점을 제시하고 이를 해결할 수 있는 방안을 제안하였다. 본 연구에서는 문헌연구, 업적평가 규정분석 및 경제학 분야 교수 면담 등을 통하여 경제학 분야의 알파벳 순 저자표기 관행을 확인하였고, 이러한 표기방식이 연구업적 평가과정에 제대로 고려되고 있지 않음을 알 수 있었다. 연구결과를 토대로 저자들은 세 가지 즉, (1) 대학 업적평가 규정상의 주저자에 대한 명확한 정의 및 인정기준 확립, (2) 복수저자 기여율 평가규정의 융통성 제고, (3) 저자 기여율에 대한 인식연구의 필요성 등을 제안하였다.
Abstract
There has been growing interest in the methods for measuring the credits of individual authors in multi-authored research papers in response to the increase of research collaboration. Having a good understanding for academic norms of individual discipline is essential to measure author credit effectively. However, many Korean universities do not consider different norms for determining the order of authors across disciplines. Rather, they tend to use a standardized method to assess the credits of authors in multi-authored papers. Therefore, this study presented some problems of applying a standardized method to measure author credits in multi-authored papers in economics. The findings of this study confirmed the frequent use of alphabetical author order in economics papers; however, many university guidelines for research evaluation do not take account the alphabetical authorship in measuring the credits of authors. The authors suggest the needs for (1) establishment of a clear definition for primary authors, (2) flexibility in assessment methods for author credit, and (3) empirical research on author credit.
초록
본 연구의 목적은 해외 도서관의 계량서지 서비스를 유형별로 분석하고 국내 도서관의 계량서지 서비스 도입을 위한 시사점을 도출하는 것이다. 이를 위해 문헌조사와 도서관 웹사이트 분석을 통해 계량서지 서비스를 크게 교육 및 자문 서비스와 연구성과 및 동향 분석 서비스로 나누고 9개의 세분화된 서비스 유형을 파악하였다. 또한 파악한 서비스 유형을 바탕으로 다양한 계량서지 서비스 행태를 분석하였다. 조사 및 분석 결과를 바탕으로 국내 도서관의 계량서지 서비스 개발을 위해 우선적으로 연구성과 관련 기관 리포지터리를 구축하고, 서비스 초기 단계에서는 주제가이드와 교육프로그램을 제공하고, 이후에는 자문 서비스와 분석 서비스와 같이 보다 전문화된 서비스를 제공할 것, 연구자 집단에게 잠재된 서비스 수요를 발굴할 것 등을 제안하였다.
Abstract
This study aims to investigate bibliometric services practices of foreign libraries by service types and suggest practical considerations for Korean libraries wishing to implement bibliometric services. Through the examination of previous research and library websites, nine types of bibliometric services were identified under two broad categories - education & consulting services and research evaluation & research trend services. According to the service types, a wide range of bibliometric services activities were analyzed and described. Recommendations from the study for service development include: building an institutional repository for scholarly output; developing subject guides and education programs at the initial phase of service and providing more advanced services such as consulting and analysis services at the later phase; identifying the potential service needs of researcher groups.
초록
본 연구는 지금까지 제안된 거대언어모델 가운데 LLaMA 및 LLaMA 기반 모델과 같이 연구데이터를 주요 사전학습데이터로 활용한 모델의 데이터 품질에 중점을 두어 현재의 평가 기준을 분석하고 연구데이터의 관점에서 품질 평가 기준을 제안하였다. 이를 위해 데이터 품질 평가 요인 중 유효성, 기능성, 신뢰성을 중심으로 품질 평가를 논의하였으며, 거대언어모델의 특성 및 한계점을 이해하기 위해 LLaMA, Alpaca, Vicuna, ChatGPT 모델을 비교하였다. 현재 광범위하게 활용되는 거대언어모델의 평가 기준을 분석하기 위해 Holistic Evaluation for Language Models를 중심으로 평가 기준을 살펴본 후 한계점을 논의하였다. 이를 바탕으로 본 연구는 연구데이터를 주요 사전학습데이터로 활용한 거대언어모델을 대상으로 한 품질 평가 기준을 제시하고 추후 개발 방향을 논의하였으며, 이는 거대언어모델의 발전 방향을 위한 지식 기반을 제공하는데 의의를 갖는다.
Abstract
Large Language Models (LLMs) are becoming the major trend in the natural language processing field. These models were built based on research data, but information such as types, limitations, and risks of using research data are unknown. This research would present how to analyze and evaluate the LLMs that were built with research data: LLaMA or LLaMA base models such as Alpaca of Stanford, Vicuna of the large model systems organization, and ChatGPT from OpenAI from the perspective of research data. This quality evaluation focuses on the validity, functionality, and reliability of Data Quality Management (DQM). Furthermore, we adopted the Holistic Evaluation of Language Models (HELM) to understand its evaluation criteria and then discussed its limitations. This study presents quality evaluation criteria for LLMs using research data and future development directions.
초록
학술지의 인용빈도를 특정하여 산출된 지수로 단일 논문의 영향력을 평가하는 것에 대한 비판으로 인해 단일 논문의 인용 영향력을 측정하는 인용지수에 대한 연구가 다양하게 시도되었다. 이 연구에서는 8개의 단일 논문 인용영향력 평가 지수를 살펴보고 KCI 논문 데이터베이스를 대상으로 각 인용지수의 분야별 편향성을 조사하여 보았다. 대상 지수는 단순 인용빈도, 페이지랭크, f-값, CCI, c-지수, 단일문헌 h-지수, 단일문헌 hs-지수, cl-지수였다. 분석결과 페이지랭크가 학문 분야별 균등성, 학문 분야 내에서 학술지별 균등성 영역에서 가장 편향성이 없는 것으로 나타났다. 반면에 단순 인용빈도는 특정 학문분야나 특정 학술지에 편향된 결과를 산출할 가능성이 높은 것으로 나타났다. KCI 데이터베이스에서는 논문의 단순 인용빈도만 제공하고 있는데, 분야별 균등성을 가장 잘 유지하는 지수인 논문 페이지랭크를 함께 제공할 필요가 있다. 아울러 인용한 문헌의 인용빈도만으로 산출이 가능해서 이용자의 검색 결과로부터 바로 산출할 수 있는 지역 네크워크 지수 중에서는 cl-지수가 가장 균등성을 잘 유지하므로 계산 과정과 서비스가 손쉬운 지수로 함께 제공하는 것도 검토해야 한다.
Abstract
The impact of a journal is commonly used as the impact of an individual paper within that journal. It is problematic to interpret a journal’s impact as a single paper’s impact of the journal, so there are several researches to measure a single paper’s impact with its own citation counts. This study applied 8 impact indicators to Korean Citation Index database and examined discipline bias of each indicator. Analyzed indicators are simple citation counts, PageRank, f-value, CCI, c-index, single publication h-index, single publication hs-index, and cl-index. PageRank has the least discipline bias at highly ranked papers and journal bias in a discipline. On the contrary, simple citation counts showed strongly biased results toward a certain discipline or a journal. KCI database provides only simple citation counts. It needs to show PageRank (global indicator) to discover influential papers in diverse areas. Furthermore it needs to consider to provide the best of local indicators. Local indicators can be calculated only with papers in users’ search results because they uses citation counts of citing papers and the number of references. They are more efficient than global indicators which explore the whole database. KCI should also consider to provide Cl-index (local indicator).