초록

최근 도서관에서 실시하는 이용자 만족도 조사, LibQUAL+ 평가 등을 통해 계량적 데이터뿐만 아니라 이용자의 직접적 견해를 담은 이용자 코멘트 데이터가 점점 더 많이 수집되고 있다. 이러한 질적 데이터는 이용자의 입장을 이해하고, 도서관 서비스의 환경 개선이 필요한 영역을 확인하며, 이용자 니즈의 우선순위를 파악하는 등 도서관 서비스 개선을 위한 전략 수립에 유용한 자료로써 활용될 수 있는 것이다. 따라서 이용자 코멘트 데이터는 그 내용이 분석되고, 분석 결과를 서비스 및 정책에 반영할 필요가 있다. 본 연구는 이용자 코멘트 데이터의 활용성을 높일 수 있는 기반을 제공하고자, LibQUAL+ 설문의 이용자 코멘트 분석을 중심으로 하여 실제 외국 도서관의 LibQUAL+ 설문 이용자 코멘트 분석 방법을 알아보고, 분석을 위해 사용된 질적 데이터 분석 소프트웨어 및 분류표 등 분석도구에 대해 살펴보았다. 또한, 대표적 질적 데이터 분석 소프트웨어와 외국에서 LibQUAL+ 이용자 코멘트 분석을 위해 개발된 분류표를 최근 국내 대학도서관에서 시행된 LibQUAL+ 설문의 이용자 코멘트 일부에 적용하여 분석해봄으로써 그 유용성을 확인하였다.

Abstract

Using user satisfaction surveys and LibQUAL+ instruments, libraries are increasingly gathering qualitative data such as verbatim user comments as well as quantitative data. Such qualitative data can be utilized as clues in establishing library service strategies: to better understand user issues, to identify areas for service improvement, and to prioritize user needs. For this, it is necessary to analyze user comments data and to apply results to the delivery of service and the library policies. This study is an attempt to investigate ways in which user comments data can be made useful in libraries. It identifies different methods of analyzing user comments data from LibQUAL+ surveys and compares qualitative data analysis software programs and taxonomies. It also presents the results of applying these tools to a subset of actual user comments data gathered from a recent LibQUAL+ survey at a major university library in Korea.

초록

본 연구는 기존의 연구성과 분석의 한계를 극복하고 영향력이나 파급효과 등 질적 중심의 연구성과 분석을 위해 텍스트 마이닝, 인용 분석 등을 활용한 새로운 계량정보학적 분석지표를 제안하였다. 즉, 논문품질지수, 인용 영향력지수, 지식확산지수, 국제협력연구지수, 우수논문 생산지수 등 새로운 연구성과 분석지표를 제안하여 질적인 측면을 중심으로 한 연구성과 분석이 가능하도록 하였다. 그리고 제안된 지표를 활용하여 사례분석을 수행하여 그 가능성을 확인하였다.

Abstract

There are some limitations in the existing bibliometric methods to satisfy the various requests of the interest parties including researchers, managers, policy makers to identify 1) which research group or researcher is the key player, and the overall trends of the particular technological sub-fields, 2) which research groups, institutions or countries mainly use their research outputs, 3) what are the spin-offs from research outputs to some scientific and technological fields, 4) in which levels they are when comparing their quantitative and qualitative research outputs to those of other competitive institutions. It is essential to develop new informetric indicators and methodologies in order to satisfy stakeholder's various demands and to strengthen qualitative analysis in measuring research performance. This study suggested informetric indicators such as article quality index, citation impact index, international cooperation index, excellent article production index and methodologies including citation analysis, text mining.

초록

Abstract

With the purpose of enriching existing catalogues with FRBR, which is the Functional Requirements for Bibliographic Records, in mind, this paper aims to evaluate the impact of bibliographic ontology on the overall system’s performance in the field of literature. In doing this, OCLC’s FictionFinder (http://fictionfinder.oclc.org) was selected and qualitatively evaluated. In this study 40 university seniors evaluated the following three aspects using the ‘transferring thoughts onto paper method’: 1) In which ways is this FRBR-aware bibliographical ontology helpful? 2) Are the things which are initially attempted to be helped being helped? 3) Would users seeking one work in particular also see all other related works? In conclusion, this study revealed that, as Cutter claimed in his 2nd rule of the library, collocations give added-value to the users and overall ontology provides better interface and usefulness. It also revealed that a system’s evaluation with qualitative methodology helped to build full pictures of the system and to grip the information needs of the users when the system is developed. Qualitative evaluations, therefore, could be used as indicators for the evaluation of any information retrieval systems.

초록

교수연구업적을 보다 효과적으로 평가하기 위해서는 연구의 정량 및 정성적 측면을 고려하여야 한다. 본 연구에서는 연구의 양적 측면을 보여주는 논문 수와 질적 측면을 반영하는 피인용 수에 의한 국내 문헌정보학과 교수의 연구업적 평가순위를 국내 대학에서 사용되는 연구업적 평가규정을 적용한 순위와 비교․분석하였다. 연구결과, 논문 수에 의한 교수별 순위가 피인용 수에 의한 순위와 차이가 있으며, 대학별 교수 업적평가는 피인용 수보다는 논문 수에 의한 평가와 가까운 것으로 나타났다. 또한 대학별 상이한 논문 배점기준은 교수업적평가 결과에 별다른 영향을 끼치지 않았다. 향후 연구에서는 연구의 양적 및 질적 수준을 보다 잘 반영하는 계량서지학적 지표에 관한 연구가 진행되어야 할 것으로 본다.

Abstract

Effective assessment of faculty research performance should involve considerations of both quality and quantity of faculty research. This study analyzed methods for evaluating faculty research output by comparing the rankings of Library and Information Science(LIS) faculty by publication counts, citation counts, and research performance assessment guidelines employed by Korean universities. The study results indicated that faculty rankings based on publication counts to be significantly different from those based on citation counts. Additionally, faculty rankings measured by university guidelines showed bigger correlations with rankings based on publication counts than rankings by citation counts, while differences in universities guidelines did not significantly affect the faculty rankings. The study findings suggest the need for bibliometric indicators that reflect the quality as well as the quantity of research output.

초록

이 연구는 전자저널의 평가모형 개발에 관한 연구로서 전자저널의 개념 및 특징 파악, 평가모형 개발, 그리고 평가의 세 단계로 진행되었다. 평가모형은 전자저널의 양적측면과 질적측면을 종합적으로 고려할 수 있도록 개발되었으며, P대학교 도서관이 구독 중인 ScienceDirect 수록 저널 중 기계공학분야 저널을 대상으로 평가를 실시하였다. 평가결과 P대학교가 2000년부터 기계공학분야의 주요저널로서 선정·구독해온 22종의 저널 중 10종(45.5%)이 여전히 가치가 높은 것으로 나타났다. 22종의 기계공학분야 주요저널은 양적측면보다 질적측면에서 더 높은 점수를 받았다. 2000년 당시 패키지 형태로 서비스되기 시작하였던 77종의 기계공학분야 저널 중 14종이 종합평가 결과 주요저널로서 구독될 가치가 있는 것으로 나타났다. 결론적으로 지난 8년간 P대학교 연구자들이 이용해온 총 99종의 기계공학분야 저널의 중요도에 변화가 있었으며, 이는 연구진의 교체, 학계의 연구 동향 등이 반영된 결과로 해석할 수 있다.

Abstract

This study is aiming to develop an evaluation model considering electronic journal's properties and terms of subscription. As the first step to develop an evaluation model, this study analyzed features of electronic journals and various terms of subscription through reviewing literature. Second, it developed the evaluation model for electronic journals by using proper evaluation indicators which were extracted from previous studies on the evaluation journals and considering the terms of ScienceDirect subscription. Third, this evaluation model was applied to the 99 journals in the field of mechanical engineering in ScienceDirect. As a result of the evaluation, it was found out that there were variations in the value of journals between in 2000 and 2007. Some implications regarding e-journal subscription were also added.

초록

본 연구에서는 R2RML 방식과 Non-R2RML 방식을 각각 적용하여 RDB를 RDF 온톨로지로 변환한 결과를 비교하였다. RDB 기반의 구조적학술용어사전 데이터베이스인 STNet의 데이터를 대상으로, 변환이 완료된 데이터의 규모, 튜플당 변환에 걸리는 시간, 그리고 질의 응답 속도를 측정하였다. 변환 규모의 평가 결과 Non-R2RML 방식이 더 많은 수의 변환을 하였으며, 표현의 풍부성과 추론 가능성 정도를 높이는 변환을 수행한 것으로 나타났다. 튜플당 변환 시간의 경우 Non-R2RML 방식이 미세하지만 더 빠른 것으로 나타났으며, 질의 응답 속도는 두 방식 모두 300회 이상의 질의 횟수부터는 안정적인 성능을 보이면서 유사한 형태의 속도를 보였다. 측정에 대한 종합적 검토 결과 데이터의 변형이 빈번하고 새로운 데이터의 추가나 데이터들 간의 연결관계가 지속적으로 변화하는 STNet과 같은 동적인 RDB에는 Non-R2RML 방식이 적절한 것으로 평가되었다.

Abstract

This study described the results of converting RDB to RDF ontology by each of R2RML method and Non-R2RML method. This study measured the size of the converted data, the conversion time per each tuple, and the response speed to queries. The STNet, a structured terminology dictionary based on RDB, was served as a test bed for converting to RDF ontology. As a result of the converted data size, Non-R2RML method appeared to be superior to R2RML method on the number of converted triples, including its expressive diversity. For the conversion time per each tuple, Non-R2RML was a little bit more faster than R2RML, but, for the response speed to queries, both methods showed similar response speed and stable performance since more than 300 numbers of queries. On comprehensive examination it is evaluated that Non-R2RML is the more appropriate to convert the dynamic RDB system, such as the STNet in which new data are steadily accumulated, data transformation very often occurred, and relationships between data continuously changed.

초록

불리언 검색만을 제공하는 정보시스템들은 순위화된 검색 결과를 제공하지 않아 이용자들이 많은 시간을 들여 수많은 결과를 일일이 확인해야하는 단점이 있다. 따라서 본 연구에서는 불리언 검색 모델의 단점을 극복하기 위한 방법으로써 불리언 검색에서 적용되고 있는 색인 가중치 정보 대신에 태그 간의 결합 관계 정보를 이용하여 순위화된 검색 결과를 제공하기 위한 시스템을 제안한다. 본 연구에서 제안하고 있는 방법은 일반적인 키워드 질의 대신에 문서를 질의로 사용하기 때문에 해당 문서에서 질의로 사용하는 핵심태그를 추출한다. 질의 생성 과정에서는 태그결합도에 따라 다양한 그룹의 불리언 질의를 생성하고, 매칭 과정에서는 해당 질의어 그룹 간에 차별성 정보와 태그 중요도 정보를 이용하여 순위화를 처리한다. 본 연구에서 제안하고 있는 방법의 유용성을 평가하기 위하여 선정된 연구정보와 관련된 동향분석정보를 추출하는 과정에 적용하여 실험을 수행하였다. 또한 제안된 방법에 대한 이용자 평가를 위하여 다수의 이용자들을 대상으로 약 1년간 서비스를 제공하였으며 그 결과 높은 이용자 만족도를 확보할 수 있다고 조사되었다.

Abstract

Since IR systems which adopt only Boolean IR model can not provide ranked search result, users have to conduct time-consuming checking process for huge result sets one by one. This study proposes a method to provide search results ranked by using coupling information between tags instead of index weight information in Boolean IR model. Because document queries are used instead of general user queries in the proposed method, key tags used as queries in a relevant document are extracted. A variety of groups of Boolean queries based on tag couplings are created in the process of extracting queries. Ranked search result can be extracted through the process of matching conducted with differential information among the query groups and tag significance information. To prove the usability of the proposed method, the experiment was conducted to find research trend analysis information on selected research information. Aslo, the service based on the proposed methods was provided to get user feedback for a year. The result showed high user satisfaction.

초록

본 연구에서는 기존에 국내·국외에서 수행된 주요 웹사이트의 사용성 평가와 관련된 연구에 적용된 기준을 비교·분석하여, 우리나라 디지털도서관의 웹사이트 평가에 적용 가능한 일반적인 웹사이트 사용성 평가기준을 도출함으로써 향후 이용자 서비스의 품질향상을 통한 효율적인 웹서비스를 제공할 수 있기 위한 근거를 마련하고자 한다. 디지털도서관 웹사이트를 대상으로 한 사용성 평가기준은 서로 다른 수많은 특성과 목적을 가지고 운영되는 웹사이트에 일률적으로 적용되어질 수는 없다. 적용대상에 따라 평가 기준이 달라지거나 최소한 각 평각기준의 비중이 달라져야 할 것이다. 디지털도서관 웹사이트의 경우 대학도서관, 공공도서관, 전문도서관, 학교도서관 등 해당 분야별로 특성에 따른 웹사이트가 구축되어진다. 본 연구에서 제시한 디지털도서관 웹사이트 사용성 평가기준(안)은 일반적으로 준수해야 할 항목에서의 기준이라 할 수 있다

Abstract

This study is to develope the usability evaluation criteria for improving quality of user services in digital library website. It compared and analyzed major eight studies concerning usability evaluation of library website in foreign and domestic. This paper was suggested 36 items of evaluation criteria that are belongs to six domain(quality of links, feedback mechanism, accessibility, design, navigation and searching). Usability evaluation criteria for digital library websites suggested in this paper is a item-based level, and to observe generally. [ 더 많은 내용 보기 ]

초록

본 연구에서는 도서관의 사회적 가치를 평가할 수 있는 평가지표를 개발하고자 하였으며, 이를 위해 1차적으로 도서관의 가치에 대해 연구한 60여 개의 국내․외 논문들을 총체적으로 분석하여 예비 평가지표를 도출하였다. 도출한 예비 평가지표를 토대로 11명의 전문가를 선정하여 3차에 걸친 델파이조사를 실시하여 최종평가지표를 개발하였다. 최종평가지표는 공공도서관의 사회적 가치를 크게 지역 사회 개발, 지역 사회의 연계, 지역 주민의 삶의 질 향상, 지역 주민의 평등화, 지역 사회에 필요한 정보제공서비스 등의 5가지 평가영역과, 13개 평가항목, 64개 평가지표로 구성된다. 향후에는 이를 기반으로 공공도서관의 사회적 가치를 측정하는 연구가 수행되어야 할 것으로 보인다.

Abstract

The purpose of this research is to develop evaluation indicators for evaluating the social value of libraries and, for this, first of all, preliminary evaluation indicators were derived by analyzing comprehensively about 60 domestic and overseas papers which researched on the value of libraries. On the basis of the derived preliminary evaluation indicators, 11 experts were selected and the final evaluation indicators were developed by conducting Delphi survey three times. The final evaluation indicators are composed of five evaluation areas, which are the divided areas of the social value of libraries, such as the development of local communities, the linkage of local communities, the improvement of local residents’ life quality, the equalization of local residents, and the information services necessary for local communities, 13 evaluation items, and 64 evaluation indicators. In the future, it seems that researches to measure the social value of libraries based on this will have to be conducted.

초록

교육훈련 평가는 교육프로그램과 관련한 내용을 측정, 관찰하여 품질을 평가하고 이를 통해 교육훈련 변경에 대한 근거를 제공하는 행위이다. 국립중앙도서관은 사서교육 훈련프로그램 교육과정의 성과와 질을 제고할 수 있는 평가방법의 도입이 필요한 시점이다. 이에 본 연구는 국립중앙도서관의 사서교육훈련 직무교육의 효과성을 객관적이고 복합적으로 측정할 수 있는 평가모형을 개발하는 것을 목적으로 하였다. 이를 위해 Kirkpatrick의 4단계 평가모형을 적용하였으며, 선행연구, 국립중앙도서관 사서교육훈련 교육과정 현황조사, 이해관계자 요구분석을 실시하였다. 이를 바탕으로 사서교육훈련 평가체계 방향성을 설정하기 위한 평가체계 및 평가도구를 제시하였다. 본 연구 결과는 실제 국립중앙도서관 사서교육훈련과정의 현실적인 평가체계로 활용될 수 있을 것으로 기대된다.

Abstract

Evaluation of education and training is the act of measuring and observing contents related to an educational program and evaluating its quality; and thereby providing the basis for the changes in the curriculum. The National Library of Korea (NLK) has urgently needed to introduce an evaluation method that can enhance the performance and quality of its continuing education program. Therefore, this study is aimed at developing an evaluation model that can objectively and comprehensively measure the effectiveness of NLK’s job training program for its librarians. To this end, the study applied Kirkpatrick’s 4-Level Training Evaluation Model and conducted review of preceding researches, investigation of NLK’s librarian continuing education program, along with analysis on the stakeholders’ needs. Based on the results, the study suggested evaluation system to establish the directions of the evaluation system. The findings of this study are expected to be used as a practical evaluation system for NLK’s librarian education program.