바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: Performance Evaluation, 검색결과: 65
1
김윤실(대외경제정책연구원) 2002, Vol.19, No.3, pp.161-188 https://doi.org/10.3743/KOSIM.2002.19.3.161
초록보기
초록

1990년대에 들어서면서 보편화되기 시작한 정보화의 물결은 도서관의 서비스 형태에도 많은 변화를 가져왔다. 그러나 도서관 이용자의 입장에서는 어떤 형태의 서비스가 제공되더라도 기본적으로 이용자가 제공받는 서비스일 뿐, 도서관 이용에 대한 느낌이나 감정 등을 포함하는 서비스의 만족도는 제공받은 서비스의 품질에 의해서 좌우될 수밖에 없다는 특성을 갖는다. 본 연구는 도서관의 서비스 제공이 갖는 이러한 기본적인 특성에 착안하여 이용자들의 관점에서 서비스의 품질 수준을 평가하고, 이에 영향을 미치는 주된 요인들을 파악하여, 향후 더욱 높은 수준의 서비스를 제공할 수 있는 기틀을 마련하고자 하였다. 연구의 모형으로는 서비스 품질을 측정할 때 이용되는 서브퀄(SERVQUAL) 모형을 채택하여, 전문도서관에서 이용자들이 느끼는 서비스 품질에 대한 기대와 지각을 측정하였다.

Abstract

The rapid change in almost every area of science at the turn of the 21st century have also affected libraries and information centers. Whatever the change, from the library users' perspective, the functions provided by the library, is perceived as “service” and the satisfaction of the users can only be measured by the quality of the service. The study adopted the SERVQUAL model and five factors of SERVQUAL, Tangibles, Reliability, Responsiveness, Assurance, and Empathy are used as parameter values. In measuring the parameter variable, both the users' expectations and their perceived service level were measured. The difference between the expectations and the perceived level was used as users' assessment of service quality. According to the results, all but re-investment dependence level among the five SERVQUAL levels, were linked in one way or another.

초록보기
초록

국가적 차원의 연구 성과평가와 연구정보서비스의 연계를 위한 프레임워크를 메타데이터 표현과 교환의 두 가지 측면에서 모색하였다. 이를 위해 과학기술분야 연구개발사업을 대상으로 국가적 차원의 연구 성과평가 메타데이터의 기능적 요건을 도출하였고, 이에 기초하여 주요 기능별로 국제적인 표준의 적용 방안을 제안하였다. 또한 웹 아키텍처 상에서 연구정보를 재사용 및 교환할 수 있는 국제표준으로서 OAI-ORE에 기반하여 성과평가 메타데이터를 표현 및 연계하기 위한 구현 방안과 사례를 제시하였다.

Abstract

This study aims to investigate a framework for linkage of national research performance evaluation and research information service from the perspective of metadata representation and exchange. Based on results of the functional requirements for metadata of national research performance evaluation are derived, this study suggests strategies for the application of international metadata standards. Also, this study presents an method to implement the metadata of research performance evaluation based on OAI-ORE, which is an international standard that can reuse and exchange the research information on web architecture.

3
곽승진(충남대학교) ; 김정택(배재대학교) ; 박용재(한국세라믹기술원) ; 박옥남(상명대학교) 2014, Vol.31, No.1, pp.119-141 https://doi.org/10.3743/KOSIM.2014.31.1.119
초록보기
초록

기업과 같은 영리조직뿐만 아니라 비영리조직인 국가기관들도 조직의 경쟁력 강화를 위한 경영혁신의 일환으로 성과평가를 실시하고 있으며 도출된 성과평가 결과를 조직의 예산과 인사에 반영하고 있다. 이에 본 연구는 향후 국립중앙도서관 정보화사업의 효율적 수행과 성과 제고를 위하여 성과지표 모형을 도출하고 도출된 성과지표를 기반으로 정보화사업을 평가하였다. 연구결과 도서관 정보시스템 운영, 디지털 정보자원 확충, 장애인 대체자료 공동활용 체계구축 사업별 2개의 관점에 따라 총 12개의 지표를 선정하였으며, 성과평가 및 중요도-만족도 분석(IPA: Importance-Performance Analysis) 결과를 기초로 개선방안을 제시하였다.

Abstract

To enhance its efficiency to improve organizations’ competitiveness, performance evaluation is vital and it influences budget, policies, and human resource affairs of the organizations. The study aims to develop performance indicators for National Library of Korea (NLK) and evaluate performance based on indicators driven. As a result, the study develops 2 viewpoints for each work area of NLK - management of information system, digital resources enlargement, and the cooperative utilization system for alternative materials. It also develops total 12 indicators. Based on the evaluation, the research finally suggests strategies for performance improvement by viewpoints for NLK.

초록보기
초록

이 연구에서는 기존의 h-지수와 g-지수에 대해 달리 해석해보고 새로운 Hirsch 유형 복합 지표인 전치 g-지수를 제안하고자 한다. 새로운 해석에 따라서 h-지수 및 g-지수 산출 그래프의 가로축이 인용빈도 기준값에 해당하고 세로축이 논문 수가 되도록 축을 전치하고, 이로부터 새로운 전치 g-지수를 제안하였다. 한국학술지인용색인 KCI의 문헌정보학 분야 연구자들을 대상으로 적용해본 결과, 제안된 새 지수는 h-지수 및 g-지수에 비해서 변별력이 높으며 연구의 질보다 연구의 양 차이에 더 민감한 것으로 나타났다. 연구를 지속하는 꾸준한 연구자를 그렇지 못한 연구자와 변별해주는 차별화된 특성을 가지고 있으므로 전치 g-지수는 다면적인 연구 성과 평가에 도움이 될 것으로 기대된다.

Abstract

This study suggests a new Hirsch-type composite index, ‘transposed g-index’ with a different viewpoint on h-index and g-index. From this new point of view, the axes of the graph describing the h-index and g-index are transposed so that the horizontal axis corresponds to the citation frequency threshold and the vertical axis corresponds to the number of documents. Based on this transposed graph, a new indicator transposed g-index is suggested and applied to library and information science researchers’ outcomes in Korean Citation Index database. The results show that this new index has more discriminating power than h-index and g-index, and is more sensitive to differences in quantitative aspects than quality of research. It is expected that the transposed g-index will be helpful for the multifaceted evaluation of the research outcome because it has differentiating characteristics that distinguish consistent researchers who continue to study from those who do not.

초록보기
초록

본 연구의 목적은 객체-관계형 데이터베이스 접근에 의한 XML 문헌의 검색 성능을 평가하는 것이다. 본 논문에서는 INEX(Initiative for the Evaluation of XML retrieval)에서의 XML 문헌의 색인 및 검색 방법에 대하여, 그리고 실험 방법론들에 대하여 기술하고 있다. 대부분의 전통적인 정보검색 성능평가 실험에서와 같이 본 연구에서 사용된 테스트 콜렉션(test collection)은 문헌(즉, XML 문헌), 토픽, ad hoc 검색, 적합성 판단, 평가로 이루어졌다. 그리고 ORDBMS 기술들을 기반으로 개발된 전용 XML 데이터베이스의 일종인 EXIMATM Supply을 사용하여 INEX에서 제공한 대규모 XML 문헌들을 저장하고 검색하였다. 본 논문에서는 실험에서 사용한 시스템에 대한 개략적인 기능들과 색인 및 검색 과정 그리고 INEX 2002에서의 성능평가 결과에 대하여, 앞으로 개선되어야 할 기능에 대하여 논하고 있다.

Abstract

The purpose of this study is to evaluate the performance of XML retrieval based on ORDBMSs(Object-Relational Database Management Systems) approach. This paper describes indexing and retrieval methods for XML documents and the methodologies of experiments at INEX(Initiative for the Evaluation of XML retrieval). Like any other traditional information retrieval experiment, the test collection was consists of documents, topics/queries, task, relevance assessments and evaluation. EXIMATM Supply, a kind of native XML DB based on ORDBMS technologies, is used for this experiment. Although this approach has many benefits, for example, no delay in storing and searching XML documents, but it showed relatively disappointed retrieval performance at INEX 2002. This result may caused since the given topics had to be decomposed and modified to be processed by the XPath processor, and during this modification the original meaning of topics can be changed inevitably and some important information may pass over.

6
이혁진(Texas Woman’s University) 2006, Vol.23, No.2, pp.97-111 https://doi.org/10.3743/KOSIM.2006.23.2.097
초록보기
초록

이 논문의 주요목적은 정보이용자들이 어떤 수준의 정확률 차이에서 유의미하게 차이를 인지하는지를 알아보고자 하는 것이다. 그에 관련한 몇 가지 흥미 있는 결과가 도출되었다. 그 외에 적합성 판정은 이용자의 판정시간과 관계가 없는 것으로 나타났다. 그리고 주제에 대한 이용자의 배경지식과 적합성 판정의 관계가 두드러졌다. 또한, 적합문서의 숫자가 적었을 때 이용자들은 적합성 판정에 더욱 어려움을 겪었다. 마지막으로, 검색결과리스트중 상위 N 문서의 적합성 판정에 대한 중요성을 확인할 수 있었다.

Abstract

The purpose of this study is to investigate what level of difference in precision would be significantly perceived by a human user of an information retrieval system. Not many researches have been conducted with regards to this issue in information retrieval field. Despite the non-significant results, there were several interesting findings in recognizing different levels of precision rates. The correctness of relevance task had little to do with the taken time for the task. In addition, the strong relationship between the subjects' topic familiarity and rate of correct judgments is one of the most interesting results in this study. It turned out that the subjects have more difficulty in a situation they have to judge between the two lists having more non-relevant documents than in a situation they do between the lists having more relevant documents. Finally, the serious influence from the first top N documents in a list for relevance judgment task has been confirmed.

7
이재윤(명지대학교) 2016, Vol.33, No.3, pp.7-29 https://doi.org/10.3743/KOSIM.2016.33.3.007
초록보기
초록

연구자 성과 평가를 위해 널리 사용되는 h-지수는 일관성 부족 문제와 공저자 수를 고려하지 않는다는 문제를 가지고 있다. 이를 극복하기 위해 h-지수와 g-지수, 그리고 공저 보정 방안을 검토하고 2004년부터 2013년 사이의 실제 KCI 데이터를 대상으로 분석해본 결과는 다음과 같다. 첫째, 일관성 결여 문제를 해소하기 위해서는 g-지수를 사용하는 것이 더 바람직하다고 판단된다. 둘째, 연구 성과의 양적인 측면과 질적인 측면을 한꺼번에 반영하는 복합 지수라는 h-지수와 g-지수의 고유한 특성을 유지하기 위해서는 반드시 공저를 보정하여 지수를 측정해야 한다. 셋째, 공저자 수로 나눈 인용빈도를 사용하는 hC-지수와 gC-지수를 적용하면 단독 저술 비중이 높은 인문학 분야 연구자도 공정하게 평가할 수 있고, 특정 분야나 특정 기관에 속한 연구자가 상위 순위를 과점하는 현상을 방지할 수 있다.

Abstract

The h-index is a popular bibliometric indicator for evaluating individual researchers. However, it has been criticized for its inconsistency with reflecting increased number of citations and disregarding the number of co-authors in a paper. In order to overcome these problems, we examined the g-index and other Hirsch-type indices considering the number of co-authors. Test data collection was extracted from Korean Citation Index database published from 2004 to 2013. The results of this study are as follows: First, g-index is more reliable indicator than h-index with consistency. Second, number of co-authors must be considered to maintain the h-index as an complex indicator applying the quality and the quantity of research performance. Finally, hc-index and gc-index, with fractionalised counting of the papers, can fairly measure the research performance of humanities researchers, and successfully prevent specific disciplines or institutions occupying majority of top rankings.

8
송민선(대림대학교) ; 김수경(창원문성대학교) ; 황금숙(대림대학교) ; 장인호(대진대학교) 2023, Vol.40, No.2, pp.1-31 https://doi.org/10.3743/KOSIM.2023.40.2.001
초록보기
초록

본 연구는 고양시 제2차 독서문화진흥 종합계획 수립을 위해 그동안 고양시에서 시행해 왔던 주요 독서문화 진흥사업들의 추진 성과를 평가․분석함으로써, 고양시 특성을 반영한 독서문화 진흥정책의 주요 방향을 제안하기 위한 목적으로 수행되었다. 이러한 연구 목적을 달성하기 위해, 본 연구는 각종 문헌 및 통계자료를 토대로 고양시의 독서문화환경을 분석하고, 2017년에 수립된 ‘제1차 독서문화진흥 종합계획’ 및 해당 계획에 따라 수행된 주요 사업들의 추진 여부 및 주요 성과를 파악한 후, 추진 성과 평가를 위한 설문을 구성하여 고양시 사서들을 대상으로 설문 조사를 실시하였다. 마지막으로 앞서 수행된 고양시 독서문화 환경 분석 결과 및 사서 대상 설문 조사에서 도출된 독서문화진흥 사업 성과를 평가한 결과, 그리고 이전의 관련 선행연구에서 고양시민들을 대상으로 수행되었던 독서실태조사 내용 중 독서진흥사업과 관련한 의견수렴 항목의 결과 등을 종합하여 향후 제2차 고양시독서문화진흥 종합계획 수립을 위해 고양시 도서관에서 고려해야 할 여섯 가지 주요 정책 방향을 제안하였다.

Abstract

The purpose of this study is to evaluate and analyze the performance of major reading culture promotion projects implemented in Goyang City, in preparation for the establishment of the 2nd Comprehensive Reading Culture Promotion Plan in Goyang City. To achieve this research objective, this study analyzed various literature and statistical data, identified the reading culture environment in Goyang City, and determined whether major projects implemented according to the 1st Comprehensive Reading Culture Promotion Plan established in 2017 were promoted. In addition, a survey was conducted among librarians in Goyang City by constructing a questionnaire to evaluate the promotion performance of actual relevant projects. Then, by aggregating the data on the reading culture environment in Goyang City, the evaluation results of the reading culture promotion projects obtained from the survey among librarians, and the results of the opinions on the reading promotion projects of the reading surveys of Goyang citizens in the previous relevant study, six major policy directions were proposed to be considered in the establishment of the 2nd Comprehensive Reading Culture Promotion Plan in Goyang City.

9
김인후(중앙대학교 문헌정보학과 대학원) ; 김성희(중앙대학교 문헌정보학과) 2022, Vol.39, No.3, pp.293-310 https://doi.org/10.3743/KOSIM.2022.39.3.293
초록보기
초록

본 연구에서는 한국어 데이터로 학습된 BERT 모델을 기반으로 문헌정보학 분야의 문서를 자동으로 분류하여 성능을 분석하였다. 이를 위해 문헌정보학 분야의 7개 학술지의 5,357개 논문의 초록 데이터를 학습된 데이터의 크기에 따라서 자동분류의 성능에 어떠한 차이가 있는지를 분석, 평가하였다. 성능 평가척도는 정확률(Precision), 재현율(Recall), F 척도를 사용하였다. 평가결과 데이터의 양이 많고 품질이 높은 주제 분야들은 F 척도가 90% 이상으로 높은 수준의 성능을 보였다. 반면에 데이터 품질이 낮고 내용적으로 다른 주제 분야들과 유사도가 높고 주제적으로 확실히 구별되는 자질이 적을 경우 유의미한 높은 수준의 성능 평가가 도출되지 못하였다. 이러한 연구는 미래 학술 문헌에서 지속적으로 활용할 수 있는 사전학습모델의 활용 가능성을 제시하기 위한 기초자료로 활용될 수 있을 것으로 기대한다.

Abstract

In this study, we analyzed the performance of the BERT-based document classification model by automatically classifying documents in the field of library and information science based on the KoBERT. For this purpose, abstract data of 5,357 papers in 7 journals in the field of library and information science were analyzed and evaluated for any difference in the performance of automatic classification according to the size of the learned data. As performance evaluation scales, precision, recall, and F scale were used. As a result of the evaluation, subject areas with large amounts of data and high quality showed a high level of performance with an F scale of 90% or more. On the other hand, if the data quality was low, the similarity with other subject areas was high, and there were few features that were clearly distinguished thematically, a meaningful high-level performance evaluation could not be derived. This study is expected to be used as basic data to suggest the possibility of using a pre-trained learning model to automatically classify the academic documents.

초록보기
초록

본고는 사서교사가 정보이용교육을 실시하는 데 필수적인 수행평가 방법 및 도구를 개발하기 위한 것이다. 사서교사의 정보이용교육에서 중요한 영역이 평가이다. 그런데 지금까지 사서교사의 교육 활동은 평가 방법에 대한 연구가 거의 없는 실정이다. 다만, 초·중등학교 정보와 도서관 교육과정에 평가 영역이 제시되어 있을 뿐이다. 이에, 사서교사가 실시하는 정보이용교육을 위한 수행평가 방법 및 도구의 개발은 중요한 의미를 갖는다. 평가 방법과 도구는 평가이론과 목표준거에 입각하여 개발되어야 한다. 본고의 최종적인 목적은 현장 사서교사들이 수행평가이론과 목표준거를 바탕으로 정보이용교육을 위한 다양한 수행평가 방법, 도구, 사례를 구현할 수 있도록 하는 데 있다.

Abstract

This thesis presents the methods and tool development of performance assessment as final stage for information literacy instruction of teacher-librarians. The evaluation is an important part in information literacy instruction of teacher-librarians in the school libraries. But until now, there is little research on evaluation methodologies in the instructional activities of teacher-librarians. There is only evaluation domain presented in the primary and secondary ‘Information and the Library’ curriculum. To develop an evaluation model as a base for measuring performance assessment related to teacher- librarians is important. The goal of this thesis is to provide teacher-librarians with basic principles to develop many kinds of performance assessment tools in their own instructional activities.

정보관리학회지