- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
연구성과평가와 연구비 배분에 인용분석을 포함한 계량정보학적 분석방법이 많이 사용되고 있으며, 부적절한 적용 및 해석에 대한 우려와 지적 또한 계속되고 있다. 이에 따라 최근 연구성과평가 지침과 권고안이 학술 커뮤니티와 계량서지학적 연구집단에서 연이어 발표되고 있다. 따라서 이 연구에서는 2015년 발표된 라이덴 선언(Leiden Manifesto)을 중심으로 Thomson Reuters 백서, 프랑스 과학원 권고안, DORA 선언, IEEE 권고안을 비교하고 이를 통해 국내 연구성과평가 환경에의 제안 가능성을 살펴보고자 하였다. 비교분석 결과, 다수의 권고안은 연구의 목적과 연구 주제분야별 특성을 반영하고 다양한 지표를 활용한 다면적 평가를 통해 총체적인 평가를 지향하고 있는 것으로 나타났다. 이러한 결과는 국내 연구성과평가시스템 적용에서 고려해 볼 주요 권고안이라고 할 수 있으며, 추후 이에 대한 이해관계자들의 의견 수렴 등을 통하여 국내 연구성과시스템에의 적용가능성을 보다 심층적으로 살펴볼 필요가 있을 것이다.
Abstract
Inappropriate applications of bibliometric approach and misinterpretation on the analysis in research evaluation have been found and recognized nationally and internationally as the use of the approach has been rapidly adopted in various sectors in research evaluation systems and research funding agencies. The flood of misuse led to several numbers of declarations and statements on appropriate research evaluation, including Leiden Manifesto, DORA, IEEE Statement, etc. The similar recommendations from five different declarations, Leiden Manifest, IEEE Statement, DORA, Institut de France, and Thomson Reuters White paper were reviewed and meta-analyzed in this study and it is revealed that most of them emphasize evaluation on quality in various aspects with multiple indicators. Research evaluation with assessing multiple aspects of individual research based on the understandings of its purpose and pertinent subject area was revealed as being mostly advised in the declarations, and this recommendation can be regarded as being mostly requested in national research evaluation system. For future study, interviews with relevant stakeholders of national research evaluation system in order to explore its application are needed to confirm the findings of this review.
초록
한국학술지인용색인 KCI의 데이터를 사용한 문헌동시인용 분석을 통해 2004년부터 2013년까지 10년 동안의 한국 문헌정보학의 연구 전선을 구체적으로 파악해보았다. KCI 웹사이트로부터 문헌정보학 분야 핵심 논문 159개와 이를 인용한 논문 정보를 수작업으로 수집하였다. 군집 분석 및 네트워크 분석 결과 27개의 복수 논문 군집과 8개의 단일 논문 군집이 도출되었다. 27개의 복수 논문 군집 중에서 논문 수가 가장 많은 것은 ‘문헌정보학 교육’ 주제 군집이었고, 인용 영향력이 가장 큰 것은 ‘인용분석 & 지적구조 분석’ 주제 군집이었다. 핵심 문헌 집합에 대한 인용 중에서 67.5%는 문헌정보학 내부에서 이루어졌고, 나머지 32.5%는 타 학문 분야로부터 발생한 것이었다. 전반적으로 문헌정보학 분야 내 인용 비율과 인용 영향력 성장 지수를 모두 고려하였을 때, 문헌정보학 분야 내부에서 최근 연구가 가장 활발해지고 있는 연구 전선 주제로는 ‘지역 기록’, ‘인용분석 & 지적구조 분석’, ‘연구동향 분석’의 세 주제가 꼽혔다. 이 연구에서 사용된 분석 기법은 국내 학제적 연구 분야의 연구 전선 분석에 효과적일 것으로 기대된다.
Abstract
By document co-citation analysis with Korean Citation Index (KCI) data, this study accurately identified the research fronts and hot topics in Korean library and information science (LIS) from 2004 to 2013. 159 core papers in LIS domain and their citations are scraped manually from Korean Citation Index web site. In the cluster analysis and network analysis, 159 core papers were grouped into 27 clusters with multiple papers and 8 singlton clusters. Among the 27 clusters which have multple papers, ‘LIS education’ cluster was the largest with 16 core papers, and ‘citation analysis & intellectual structure analysis’ cluster had the strongest citation impact according to the ehs-index. Closer observation of the citations to the core papers in each research front showed that 67.5% of the citations were made by LIS research papers and 32.5% of the citations were made by non-LIS research papers. Considering the share of citations and the citation impact growth index, ‘local documentation’, ‘citation analysis & intellectual structure analysis’, and ‘research trends analysis’ were identified as the most emerging research front in Korean library and information science. The analytical methods used in this study have great potential in discovering the characteristics of research fronts in Korean interdisciplinary research domains.
초록
학술지의 인용빈도를 특정하여 산출된 지수로 단일 논문의 영향력을 평가하는 것에 대한 비판으로 인해 단일 논문의 인용 영향력을 측정하는 인용지수에 대한 연구가 다양하게 시도되었다. 이 연구에서는 8개의 단일 논문 인용영향력 평가 지수를 살펴보고 KCI 논문 데이터베이스를 대상으로 각 인용지수의 분야별 편향성을 조사하여 보았다. 대상 지수는 단순 인용빈도, 페이지랭크, f-값, CCI, c-지수, 단일문헌 h-지수, 단일문헌 hs-지수, cl-지수였다. 분석결과 페이지랭크가 학문 분야별 균등성, 학문 분야 내에서 학술지별 균등성 영역에서 가장 편향성이 없는 것으로 나타났다. 반면에 단순 인용빈도는 특정 학문분야나 특정 학술지에 편향된 결과를 산출할 가능성이 높은 것으로 나타났다. KCI 데이터베이스에서는 논문의 단순 인용빈도만 제공하고 있는데, 분야별 균등성을 가장 잘 유지하는 지수인 논문 페이지랭크를 함께 제공할 필요가 있다. 아울러 인용한 문헌의 인용빈도만으로 산출이 가능해서 이용자의 검색 결과로부터 바로 산출할 수 있는 지역 네크워크 지수 중에서는 cl-지수가 가장 균등성을 잘 유지하므로 계산 과정과 서비스가 손쉬운 지수로 함께 제공하는 것도 검토해야 한다.
Abstract
The impact of a journal is commonly used as the impact of an individual paper within that journal. It is problematic to interpret a journal’s impact as a single paper’s impact of the journal, so there are several researches to measure a single paper’s impact with its own citation counts. This study applied 8 impact indicators to Korean Citation Index database and examined discipline bias of each indicator. Analyzed indicators are simple citation counts, PageRank, f-value, CCI, c-index, single publication h-index, single publication hs-index, and cl-index. PageRank has the least discipline bias at highly ranked papers and journal bias in a discipline. On the contrary, simple citation counts showed strongly biased results toward a certain discipline or a journal. KCI database provides only simple citation counts. It needs to show PageRank (global indicator) to discover influential papers in diverse areas. Furthermore it needs to consider to provide the best of local indicators. Local indicators can be calculated only with papers in users’ search results because they uses citation counts of citing papers and the number of references. They are more efficient than global indicators which explore the whole database. KCI should also consider to provide Cl-index (local indicator).