초록

이 연구는 전자저널의 평가모형 개발에 관한 연구로서 전자저널의 개념 및 특징 파악, 평가모형 개발, 그리고 평가의 세 단계로 진행되었다. 평가모형은 전자저널의 양적측면과 질적측면을 종합적으로 고려할 수 있도록 개발되었으며, P대학교 도서관이 구독 중인 ScienceDirect 수록 저널 중 기계공학분야 저널을 대상으로 평가를 실시하였다. 평가결과 P대학교가 2000년부터 기계공학분야의 주요저널로서 선정·구독해온 22종의 저널 중 10종(45.5%)이 여전히 가치가 높은 것으로 나타났다. 22종의 기계공학분야 주요저널은 양적측면보다 질적측면에서 더 높은 점수를 받았다. 2000년 당시 패키지 형태로 서비스되기 시작하였던 77종의 기계공학분야 저널 중 14종이 종합평가 결과 주요저널로서 구독될 가치가 있는 것으로 나타났다. 결론적으로 지난 8년간 P대학교 연구자들이 이용해온 총 99종의 기계공학분야 저널의 중요도에 변화가 있었으며, 이는 연구진의 교체, 학계의 연구 동향 등이 반영된 결과로 해석할 수 있다.

Abstract

This study is aiming to develop an evaluation model considering electronic journal's properties and terms of subscription. As the first step to develop an evaluation model, this study analyzed features of electronic journals and various terms of subscription through reviewing literature. Second, it developed the evaluation model for electronic journals by using proper evaluation indicators which were extracted from previous studies on the evaluation journals and considering the terms of ScienceDirect subscription. Third, this evaluation model was applied to the 99 journals in the field of mechanical engineering in ScienceDirect. As a result of the evaluation, it was found out that there were variations in the value of journals between in 2000 and 2007. Some implications regarding e-journal subscription were also added.

초록

본 연구는 인쇄잡지 중심의 소장 패러다임 대 전자잡지 위주의 접근 패러다임이 대립하는 상황에서 대학도서관의 하이브리드형 학술지 수집정책의 이론적 토대가 되는 평가요소를 분석하여 한국적 실정을 고려한 외국 학술지의 평가모형 개발에 필요한 기초자료를 마련하는데 그 목적이 있다. 구체적으로 질문지법을 통하여 학술지 수집규모 상위 40개 대학도서관의 외국학술지 선정과정에서 예비평가지표(인쇄형 27개, 전자형 37개)의 적용도를 조사하고, 그 데이터를 다양한 통계적기법으로 분석하였다. 인쇄학술지 평가지표의 요인별 상대적 중요성은 응답 평균값으로 산출하였는데 그 결과는 학과당 구독종수, 이용도, 선정권한, 전자학술지 구독조건, ISI 영향지수, 국제성과 지명도, 구독가격, ILL/DDS, 수장공간 순으로 나타났다. 한편, 전자학술지는 구독가격, 접근성, 전자학술지 구독조건, 컨소시엄, 선정권한, 접근확장성, 학과당 구독종수, 대학의 학문적 특성, ISI 영향지수, ILL/DDS, 국제성과 지명도 순으로 나타났다.

Abstract

The purposes of this study are to compare and analyze the evaluation indicators for selection of journal suggested by scholars and organizations and to prepare theoretical background for the ideal model to meet opposing paradigms of collection management in academic libraries. A web survey method was employed to investigate applications of various selection criteria (27 for printed and 37 for electronic academic Journal) from the top 40 academic libraries in Korea. In addition, data were analysed statistically using factor analysis, t-test, Analysis of Variance(ANOVA), and Spearman's Rank Oder Correlation. The mean ranking for 9 evaluation indicators for printed were as follows: subscribing volumes per departments, degree of use, selection authority, electronic/print bundle, ISI impact factor, Internationality and reputation, costs for subscription, ILL & DDS, space considerations for printed materials. But, 11 evaluation indicators for electronic were as follows: costs for subscription, accessibility, electronic/print bundle, consortia, selection authority, access expandability, subscribing volumes per departments, scholarly features of the university, ISI impact factor, ILL & DDS, internationality and reputations.

초록

최근 제안된 완벽주의 지수 PI는 연구자를 유력자와 대량생산자로 구분하는 지표이다. 이 연구에서는 PI를 개량한 새로운 지표인 준완벽주의 지수 NPI를 제안하였다. NPI는 특히 발행시기 등을 고려하지 않고 저인용논문에 무조건 획일적인 기준으로 패널티를 부과하던 PI의 방식을 개선하는 보완 지수이다. NPI에서는 꼬리 보상 영역에 인용빈도 곡선을 고려하면서 패널티를 부과함으로써, h-지수의 향상이 오히려 영향력 지표에 불리하게 작용하는 것을 방지한다. 이렇게 개발된 NPI를 Web of Science 문헌정보학 관련 분야 학술지에 시험 적용해본 결과 h-지수와 평균 인용횟수로는 불가능했던, 유력 학술지와 대량생산 학술지의 구분을 성공적으로 수행할 수 있었다.

Abstract

The Perfectionism Index (PI) is an indicator that is recently proposed to distinguish influential researchers from mass producers. In this study, Near Perfectionism Index (NPI), an improved indicator of Perfectionism Index, can be a solution to the problem of PI that indiscriminately gives a penalty to all low-cited papers regardless of publishing time or other issues. NPI improved the method to give a penalty to tail complement area considering the citation distribution curve. It prevents the improvement of the h-index from adversely affecting the researcher’s influence indicator. This study uses NPI to evaluate information and library science journals in Web of Science database. It successfully distinguishes between influential journals and mass producers unlike journal h-index or average citation frequency which could not differentiate influentials from mass producers.

초록

최근 한국연구재단에서는 학술지평가에 KCI 인용지수를 반영하려는 계획을 발표하였다. 원칙적으로 학술지 평가는 다양한 지표를 통해서 개별 학술지의 상황과 특성을 최대한 반영할 수 있어야 한다. 이 연구에서는 예고된 학술지 인용지수 평가방안을 검토하여 세 가지 개선안을 제안하였다. 첫 번째 개선안은 인용지수로 5년 IF를 추가로 고려하는 것이고, 두 번째 개선안은 순위를 산출하는 범주 수준을 융통성 있게 선택하게 허용하는 것이며, 세 번째 개선안은 두 방법을 함께 적용하는 것이다. 이 연구에서 제안한 개선안은 KCI 학술지 평가의 부작용을 최소화하는데 기여할 것으로 기대된다.

Abstract

Recently, the National Research Foundation of Korea (NRF) announced new plan to reflect the KCI citation measures in journal evaluation. In principle, Journal evaluation should reflect each journals situation and characteristics through various indicators. In this study, three improvement plans were proposed by reviewing the announced journal evaluation plan of NRF. The first improvement is to consider the five-year IF as an additional citation measure; the second improvement is to allow flexible selection of the category level on which to rank journals; and the last improvement is to combine the previous two methods and apply them together. The improvement methods proposed in this study are expected to contribute to minimizing side effects of KCI journal evaluation.

초록

본 연구는 학술지 평가를 위한 경제성 분석 모형을 도출하였으며, 이를 이용한 사례분석을 수행하였다. 이 모형은 비용요소에 구독비용뿐만 아니라 제본, 주문, 그리고 클레임 등의 관리에 소요되는 총 비용을 포함하였으며, 편익요소에는 이용 빈도만을 다루었던 기존의 평가 모형과는 달리 유용성을 포함하여 종합적인 분석모형을 제시하였다. 유용성은 학술지가 기관의 성격에 맞게 유용하게 활용되었는지에 따라 등급으로 평가되도록 고안되었다. 이 모형은 최근 연구에 가장 중요한 자원으로 활용되고 있는 웹 기반 전자 학술지의 통계를 토대로 측정할 수 있도록 고안되었다. KDI 국제정책대학원 도서관을 대상으로 한 사례분석에서 이용자의 연구 성과물에 활용된 학술지는 가장 높은 등급인 3점을 부여하였으며, 전문 다운로드나 검색에 활용된 학술지는 각각 2점과 1점을 부여하였다. 사례분석은 분석 결과 상위 20위에 포함되어 있는 학술지의 편익이 전체의 75%를 차지하며, 이용자의 유형별 학술지 이용 행태에 차이가 있음이 나타났다. 이 모형은 특히 전문 도서관의 사서들이 학술지의 가치를 평가할 수 있는 기본 틀을 제공할 수 있는 계기가 될 수 있을 것으로 사료된다.

Abstract

This study attempts to derive an economic analysis model for journal evaluation and conducts a case analysis based on the model. Total costs are calculated and include administrative fees (such as binding, ordering, claiming, etc.) and subscription costs. The model quantifies qualitative benefits to users, a utility that combines usage data that has also been evaluated in the existing economic analysis models. The model is designed to tallly the usage statistics of the web-based electronic journals, which have become important resources for research. Rankings are assigned based on how items are utilized to the goal of the mother institution. In the case study based on the KDI School Library, the highest ranking of 3 was assigned to journals that patrons used for citation in their outputs. For journals that were used background information, i.e. full text downloading or browsing, each was assigned ranking of 2 and 1, respectively. According to the analysis, the top 20 journals provided 75% of the entire library utility, showing different user behaviors among different cohorts. We expect that the model makes it possible for librarians to measure the value of journals. It can provide a basic tool for journal selection, particularly in special libraries with custom needs.

초록

본 연구에서는 ‘학술지의 피인용횟수 순위’를 적용한 tapered h-지수의 변형지표 Kor-hT를 고안하여 제안하였다. Kor-hT의 의미를 평가하기 위하여 Kor-hT 지수 값의 중복률 및 지수 값과 평가요소 사이의 연관성 변화를 다른 학술지 평가지표인 h-지수, tapered h-지수 및 IF와 비교 분석하였다. 지수 값의 중복률 분석은 지표의 변별력을 살펴보기 위한 것이며, 지수 값과 평가요소와의 상관관계 분석은 지표의 평가요소인 피인용횟수 및 논문 수가 지수 값에 각각 어떻게 반영되는지를 알아보기 위한 것이다. 분석을 위해 2008년부터 2010년까지의 한국학술지인용색인(KCI) 3개년 데이터를 사용하였다. 분석 결과 본 연구에서 제안한 Kor-hT가 비교 대상 지표에 비해 지수 값의 중복률이 가장 낮아 높은 변별력을 보였으며, 지수 값과 평가요소와의 상관관계에 있어서도 피인용횟수와 논문 수 모두에서 상관관계가 가장 높은 것으로 나타났다.

Abstract

This study describes the meaning of and the formula for Kor-hT, which is a modified index built on the tapered h-index by applying ‘the ranking according to the number of citations of journals’. This study evaluated the de-duplication rate of index values of Kor-hT and analyzed the change in the correlation between the index values and evaluation elements using the Korea Citation Index data from 2008 to 2010. Kor-hT is compared with h-index, tapered h-index, and IF. As a result, Kor-hT appeared to be superior to other indexes on de-duplication rate. It is also shown that there is a very strong positive correlation between the evaluation elements, the number of citations and the number of articles of journals, and the index values of Kor-hT.

초록

본 연구의 목적은 전자저널 컨소시엄 참여기관의 현황과 그들의 요구를 분석함으로써 KESLI 운영의 문제점과 활성화를 위한 방안을 마련하고자 하는 것이다. 이를 위해, 참여기관을 대상으로 컨소시엄 선정 및 관리, 평가의 항목으로 구성된 설문지를 배부하였고 응답한 179개의 설문지를 분석하였다. 분석결과, KESLI 참여기관은 장서개발정책, 편목, 이용자교육 및 평가방법에 대한 요구를 나타냈다. 따라서 KESLI는 참여기관의 요구를 반영하여 장서개발정책 마련을 위한 정책 예를 제공하고 편목의 간소화를 위한 시스템을 마련해야 한다. 또한 기관에서의 이용자교육의 효과를 높이기 위해서 교재 및 프로그램을 개발지원하며 평가방법 및 기술에 대한 교육을 실시해야 한다.

Abstract

The purpose of this study is to improve the KESLI consortium by analyzing the status of participant organizations and their needs. A survey questionnaire including questions on consortium selection, management, and evaluation was distributed. The findings from the 179 responses indicate that the needs of the participants include issues related to the collection development policy, the cataloging of e-journals, user education, and evaluation. Therefore, KESLI should provide the following: (1) examples of collection development policy used for reference, (2) system development for e-journal cataloging, (3) materials and program guidelines for user education, and (4) education related to evaluation techniques for e-journal usages.

초록

본 연구는 국내 문헌정보학 분야의 연구동향을 규명하기 위하여 문헌정보학 주요 학술지인, 정보관리학회지, 한국문헌정보학회지, 한국도서관․정보학회지, 한국비블리아학회지의 1970년도부터 2012년도까지 발표 논문 초록을 수집하여 LDA(Latent Dirichlet Allocation)기반의 토픽 모델링 실험을 수행하였다. 그 결과를 종합하면 다음과 같다. 첫째, 토픽모델링 실험에서 도출된 연구주제를 문헌정보학 주제분류표와 비교․분석한 결과, ‘정보학’영역의 디지털도서관, 이용연구, 인터넷, 전문가시스템, 계량정보학, 자동화, 정보검색, 정보시스템, ‘도서관 서비스’영역의 정보서비스, 도서관 유형별 서비스, 이용자 교육/정보리터러시, 서비스 평가, ‘문헌정보학 기초’영역의 도서관과 사회, 전문성, ‘자료조직’영역의 분류, 편목, 메타데이터, ‘도서관 경영’영역의 도서관 평가, 장서개발/관리, ‘서지학’영역의 고서지, ‘도서관 체제’영역의 도서관 및 정보정책, ‘출판’영역의 도서/출판, ‘기록관리학’영역의 하위주제 등과 연결할 수 있었다. 또한 가장 많은 연구주제가 발견된 학문영역은 정보학과 도서관서비스로 나타났다. 둘째, 문헌정보학의 주요 연구주제에서 도서관 유형별 서비스 및 평가, 인터넷, 메타데이터의 연구주제는 상승세를 보였으나, 도서, 분류, 편목, 고서지에 관한 연구주제는 하강세를 보였다. 셋째, 학술지를 구분하여 비교․분석한 결과, 정보관리학회지는 도서관에 관한 연구주제보다 정보학에 관한 연구주제가 많이 출현하였고, 한국문헌정보학회지와 한국도서관․정보학회지, 한국비블리아학회지는 도서관에 관한 연구주제가 정보학에 관한 주제보다 많이 나타났다.

Abstract

The goal of the present study is to identify the topic trend in the field of library and information science in Korea. To this end, we collected titles and abstracts of the papers published in four major journals such as Journal of the Korean Society for information Management, Journal of the Korean Society for Library and Information Science, Journal of Korean Library and Information Science Society, and Journal of the Korean BIBLIA Society for library and Information Science during 1970 and 2012. After that, we applied the well-received topic modeling technique, Latent Dirichlet Allocation(LDA), to the collected data sets. The research findings of the study are as follows: 1) Comparison of the extracted topics by LDA with the subject headings of library and information science shows that there are several distinct sub-research domains strongly tied with the field. Those include library and society in the domain of “introduction to library and information science,” professionalism, library and information policy in the domain of “library system,” library evaluation in the domain of “library management,” collection development and management, information service in the domain of “library service,” services by library type, user training/information literacy, service evaluation, classification/cataloging/meta-data in the domain of “document organization,” bibliometrics/digital libraries/user study/internet/expert system/information retrieval/information system in the domain of “information science,” antique documents in the domain of “bibliography,” books/publications in the domain of “publication,” and archival study. The results indicate that among these sub-domains, information science and library services are two most focused domains. Second, we observe that there is the growing trend in the research topics such as service and evaluation by library type, internet, and meta-data, but the research topics such as book, classification, and cataloging reveal the declining trend. Third, analysis by journal show that in Journal of the Korean Society for information Management, information science related topics appear more frequently than library science related topics whereas library science related topics are more popular in the other three journals studied in this paper.

초록

Abstract

This study constructed an ontology targeting journal articles and evaluated its performance. Also, the performance of a triple structure ontology was compared with the knowledge base of an inverted index file designed for a simple keyword search engine. The coverage was three years of articles published in the Journal of the Korean Society for Information Management from 2007 to 2009. Protégé was used to construct an ontology, whilst utilizing an inverted index file to compare performance. The concept ontology was manually established, and the bibliography ontology was automatically constructed to produce an OWL concept ontology and an OWL bibliography ontology, respectively. This study compared the performance of the knowledge base of the ontology, using the Jena search engine with the performance of an inverted index file using the Lucene search engine. As a result, The Lucene showed higher precision rate, but Jena showed higher recall rate.

초록

국내 학술연구의 동향을 구체적으로 파악하여 연구개발 활동의 체계적인 지원 및 평가는 물론 현재와 미래의 연구 방향을 설정할 수 있는 기초 데이터로서, 개별 학술지 논문에 표준화된 주제 범주(통제키워드)를 부여할 수 있는 효율적인 방안을 모색하였다. 이를 위해 한국연구재단 ｢학술연구분야분류표｣ 상의 분류 범주를 국내 학술지 논문에 자동 할당하는 과정에서, 자질선정 기법을 중심으로 자동분류의 성능에 영향을 미치는 주요 요소들에 대한 다각적인 실험을 수행하였다. 그 결과, 실제 환경의 불균형 데이터세트(imbalanced dataset)인 국내 학술지 논문의 자동분류에서는 보다 단순한 분류기와 자질선정 기법, 그리고 비교적 소규모의 학습집합을 사용하여 상당히 좋은 수준의 성능을 기대할 수 있는 것으로 나타났다.

Abstract

As basic data that can systematically support and evaluate R&D activities as well as set current and future research directions by grasping specific trends in domestic academic research, I sought efficient ways to assign standardized subject categories (control keywords) to individual journal papers. To this end, I conducted various experiments on major factors affecting the performance of automatic classification, focusing on feature selection techniques, for the purpose of automatically allocating the classification categories on the National Research Foundation of Korea’s Academic Research Classification Scheme to domestic journal papers. As a result, the automatic classification of domestic journal papers, which are imbalanced datasets of the real environment, showed that a fairly good level of performance can be expected using more simple classifiers, feature selection techniques, and relatively small training sets.