초록

교육훈련 평가는 교육프로그램과 관련한 내용을 측정, 관찰하여 품질을 평가하고 이를 통해 교육훈련 변경에 대한 근거를 제공하는 행위이다. 국립중앙도서관은 사서교육 훈련프로그램 교육과정의 성과와 질을 제고할 수 있는 평가방법의 도입이 필요한 시점이다. 이에 본 연구는 국립중앙도서관의 사서교육훈련 직무교육의 효과성을 객관적이고 복합적으로 측정할 수 있는 평가모형을 개발하는 것을 목적으로 하였다. 이를 위해 Kirkpatrick의 4단계 평가모형을 적용하였으며, 선행연구, 국립중앙도서관 사서교육훈련 교육과정 현황조사, 이해관계자 요구분석을 실시하였다. 이를 바탕으로 사서교육훈련 평가체계 방향성을 설정하기 위한 평가체계 및 평가도구를 제시하였다. 본 연구 결과는 실제 국립중앙도서관 사서교육훈련과정의 현실적인 평가체계로 활용될 수 있을 것으로 기대된다.

Abstract

Evaluation of education and training is the act of measuring and observing contents related to an educational program and evaluating its quality; and thereby providing the basis for the changes in the curriculum. The National Library of Korea (NLK) has urgently needed to introduce an evaluation method that can enhance the performance and quality of its continuing education program. Therefore, this study is aimed at developing an evaluation model that can objectively and comprehensively measure the effectiveness of NLK’s job training program for its librarians. To this end, the study applied Kirkpatrick’s 4-Level Training Evaluation Model and conducted review of preceding researches, investigation of NLK’s librarian continuing education program, along with analysis on the stakeholders’ needs. Based on the results, the study suggested evaluation system to establish the directions of the evaluation system. The findings of this study are expected to be used as a practical evaluation system for NLK’s librarian education program.

초록

본 연구는 전국 공공도서관 이용자를 대상으로 이용자만족도 조사를 실시한 후, 현재 우리나라 공공도서관의 서비스가 이용자의 만족을 얼마나 성취하고 있는 가를 분석하고, 도서관의 서비스별 품질을 나타내는 세부항목별 요인들이 도서관의 전반적 만족도에 미치는 영향관계를 파악하고자 하였다. 이용자만족도 지표는 공공도서관에 대해 이용자들이 지각하는 도서관의 전반적인 품질을 측정할 수 있도록 설계하였으며, 6개 변인(장서, 직원, 시설, 프로그램, 온라인서비스, 정보제공정도)으로 구성되었다. 분석결과 도서관 전체 이용자만족도는 정보제공정도, 시설, 직원 변인이 높게 나타난 반면, 온라인서비스 및 프로그램 변인은 상대적으로 낮은 만족도를 보여주었다. 또한 도서관의 서비스별 품질 중 장서, 직원, 시설, 프로그램, 온라인서비스, 정보제공정도 전체 요인이 전반적 만족도에 통계적으로 유의한 영향을 미치는 것으로 나타났으며, 그 중에서 정보제공정도와 시설, 장서 요인 순으로 큰 영향력을 발휘하는 것으로 파악되었다.

Abstract

This study examines user satisfaction in public libraries nationwide. It analyzes service quality factors that affect user satisfaction of public library patrons and identify sub-factors of service quality that affect the overall user satisfaction. User satisfaction factors were developed to measure library satisfaction in all aspects of the library service. Six variables were identified, including volume of books, staff, programs, facilities, online services, and information availability. According to survey findings, general library satisfaction was strongly correlated with information availability, facilities, and staff. Relatively lower levels of satisfaction were identified in the areas of online services and programs. All six service quality factors were statistically significantly associated with user satisfaction, where information availability, facilities, and volume of books showed stronger associations than the other three factors.

초록

본 연구는 최근 열린 정부 데이터에 대한 다차원 척도, 모델 개발 연구가 시작되고 있으나, 도서관에서는 관련 연구가 부족하다는 점을 고려하여 도서관에 적용할 수 있는 오픈 데이터 품질측정 모델개발을 목적으로 하였다. 본 연구는 모델개발과 모델평가 두 단계로 수행하였다. 모델개발은 델파이 기법을 적용하였으며, 모델평가는 도서관 오픈 데이터 이용자를 대상으로 설문조사를 실시하여 모델의 타당도와 신뢰도를 측정하였다. 모델개발은 델파이 기법을 적용하여 총 4차례 수행하여 3개 차원, 18개 요인, 133개 측정요소로 구성된 모델을 도출하였다. 모델평가는 델파이 기법으로 완성한 모델을 도서관 오픈 데이터 이용자인 국내․외 사서, 개발자, 오픈 데이터 활동가를 대상으로 적합성 설문조사를 실시하여 모델의 타당도와 신뢰도를 검증하였다. 그 결과 당초 18개 요인, 133개 측정요소는 15개 요인, 54개 측정요소가 타당성을 확보한 것으로 나타났다. 신뢰도는 차원별, 측정요인별로 모두 기준치인 0.6 이상의 결과를 보여주고 있어 높은 신뢰도를 확보한 것으로 나타났다. 모델평가를 통한 이용자 타당도, 신뢰도 분석으로 전문가가 구성한 평가모델은 현장에서 즉시 활용될 수 있을 정도로 정제되었다.

Abstract

This study draws on the current momentum to diversify open government data research through multidimensional scaling and model development. It formulates a quality assessment model applicable to library open data, taking into consideration the paucity of such research in the field. The model was developed using the Delphi method and verified for validity and reliability on the basis of a survey administered to library open data users. The results of the fourth round exhibited an average of 4.00 for all measured elements and a minimum validity of .75, rendering the model appropriate for use in quality assessments of library open data. The convergence and stability results provided by the expert panel fell below .50, confirming that there was no need to conduct further surveys in order to establish the validity of the Delphi method. The model's reliability likewise garnered results of .60 and above in all three dimensions. This Model completed with the input of the Delphi panel was put through a verification process in which library open data users such as domestic and international librarians, developers, and open data activists reviewed the model for validity and reliability. The model scored low on validity on account of its failure to load all measure factors and elements pertaining to the three dimensions. Reliability results, on the other hand, were at 0.6 and above for all dimensions and measured elements.

초록

교수연구업적을 보다 효과적으로 평가하기 위해서는 연구의 정량 및 정성적 측면을 고려하여야 한다. 본 연구에서는 연구의 양적 측면을 보여주는 논문 수와 질적 측면을 반영하는 피인용 수에 의한 국내 문헌정보학과 교수의 연구업적 평가순위를 국내 대학에서 사용되는 연구업적 평가규정을 적용한 순위와 비교․분석하였다. 연구결과, 논문 수에 의한 교수별 순위가 피인용 수에 의한 순위와 차이가 있으며, 대학별 교수 업적평가는 피인용 수보다는 논문 수에 의한 평가와 가까운 것으로 나타났다. 또한 대학별 상이한 논문 배점기준은 교수업적평가 결과에 별다른 영향을 끼치지 않았다. 향후 연구에서는 연구의 양적 및 질적 수준을 보다 잘 반영하는 계량서지학적 지표에 관한 연구가 진행되어야 할 것으로 본다.

Abstract

Effective assessment of faculty research performance should involve considerations of both quality and quantity of faculty research. This study analyzed methods for evaluating faculty research output by comparing the rankings of Library and Information Science(LIS) faculty by publication counts, citation counts, and research performance assessment guidelines employed by Korean universities. The study results indicated that faculty rankings based on publication counts to be significantly different from those based on citation counts. Additionally, faculty rankings measured by university guidelines showed bigger correlations with rankings based on publication counts than rankings by citation counts, while differences in universities guidelines did not significantly affect the faculty rankings. The study findings suggest the need for bibliometric indicators that reflect the quality as well as the quantity of research output.

초록

최근 자기주도적 학습, 평생교육이 강조되면서 교육과정에서 학교도서관의 중요성이 부각됨에 따라 학교도서관의 구조적, 제도적, 운영적 관점에서의 연구들이 주로 이루어지고 있다. 그러나 학교도서관이 자율성 기반의 자기주도적 교육 운영에 핵심적인 역할을 수행한다는 점을 고려하면 학교도서관 이용자의 자율적 내적동기와 같은 미시적인 주제에 대한 고찰이 필요하다. 이에 본 연구는 자기결정성 이론을 기반으로 학교도서관 이용 동기에는 어떠한 유형이 더 중요한지, 학교도서관 이용 동기가 서비스 품질에 미치는 영향은 어떠한지에 대해 고찰하였다. 또한 학교도서관 이용 동기와 서비스 품질 인식이 도서관 이용자의 학년에 따라 어떻게 달라지는가에 대해서도 알아보았다. 포커스 그룹 인터뷰를 통한 예비 연구를 기반으로 서울에 소재한 4개의 고등학교와 2개의 중학교 학생 588명을 대상으로 학교도서관 이용 동기가 도서관 서비스 품질 인식에 미치는 영향에 대해 설문조사를 실시하였다. 서비스 품질, 그리고 서비스 품질 요소 중 서비스 감성, 정보제어, 도서관 장소를 종속 변수로 각각 설정하였을 때, 네 가지 경우 모두 내재적 동기요인이 외재적 동기요인보다 더 많은 영향을 미치는 것으로 분석되었다. 또한 중학생과 고등학생 집단을 각각 별도의 대상으로 설정하였을 때에도 두 집단 모두 내재적 동기가 높을수록 서비스 품질을 더 높게 인식하는 것으로 나타났다. 본 연구는 자기결정성 이론을 학교도서관 서비스에 적용하였다는 점, 이론을 토대로 구분한 동기 유형의 영향력을 측정하였다는 점, 그리고 학교도서관 서비스 향상을 위해 미시적 요인에 초점을 맞추었다는 점에서 의의를 가진다.

Abstract

Recently, the emphasis on self-directed learning and lifelong education is increasing the importance of school libraries in the curriculum. Accordingly, various studies have been conducted mainly from a structural, institutional and operational point of view. However, more research is necessary on the micro topics such as school library users’ autonomous intrinsic motivations in the sense that school libraries play key roles in autonomy-based self-directed education. This study aims at finding out what types of school library use motivations are more important and the degree to which the use motivations affect the school library service quality based on the self-determination theory. In addition, this study examines how the use motivations and the perceived service quality vary depending on the school grade of the library users. Based on a focus-group-interview pilot study, a questionnaire survey was administered on the effects of school library motivations on perceived library service quality to 588 students from 5 high schools and 2 middle schools in Seoul. When the service quality and its components, service affect, information control, and library as place were set as dependent variables, in all these four cases, intrinsic motivations were more significant than extrinsic motivations. In addition, when middle school students and high school students were selected as separate analysis target groups, the results of both analyses show that the higher the intrinsic motivations were, the higher the perceived service quality was. The contribution of this study is that it applies the self-determination theory to school library service, measures the influence of motivation type based on the theoretical basis, and focuses on micro aspects to improve school library services.

초록

이 연구의 목적은 대학도서관 이용자의 공동체의식과 대학도서관 서비스품질 평가, 이용자만족도 및 충성도를 측정 및 분석하여 대학도서관 이용자의 공동체의식이 이용자만족도 및 충성도에 미치는 영향 관계를 규명하고자 한다. 이를 위해 연구모형과 연구가설을 설정하였다. 가설 검증을 위하여 J대학교 중앙도서관을 이용한 경험이 있는 학생들을 대상으로 최종 282부의 유효표본을 분석에 사용하였다. 측정변수들의 평균값을 기술통계량으로 분석하였으며, 가설 검증을 위해 Hayes의 PROCESS macro프로그램 모형 4번과 6번을 사용하여 매개효과분석을 실시하였다. 이 연구의 결과, 1) 대학도서관 이용자의 공동체의식은 대학도서관 서비스 품질평가에 따라 이용자만족도에 유의한 영향을 미치는 것으로 나타났다. 대학도서관 이용자의 공동체의식을 구성하는 요소인 서비스 혜택 지각 및 충족감, 상호영향의식이 통계적 유의수준 하에서 서비스 품질평가에 정(+)의 영향을 미치며, 이를 매개로 이용자만족도에 정(+)의 영향을 미치는 것으로 나타나, 대학도서관 이용자의 공동체의식이 높을수록 서비스 품질평가가 높으며, 이를 통해 이용자만족도가 높아진다는 것을 알 수 있었다. 2) 대학도서관 이용자의 공동체의식은 대학도서관 서비스 품질평가와 이용자만족도에 따라 이용자충성도에 유의한 영향을 미치는 것으로 나타났다. 대학도서관 이용자의 공동체의식을 구성하는 요소인 서비스 혜택 지각 및 충족감, 상호영향의식이 서비스 품질평가를 매개로 이용자만족도에 통계적으로 유의한 영향을 미치고(가설1), 이용자만족도를 매개로 통계적 유의수준 하에서 이용자충성도에 정(+)의 영향을 미치는 것으로 나타났다. 따라서, 대학도서관 이용자의 공동체의식이 높을수록 서비스 품질평가가 높고, 이용자만족도가 높아지며, 이를 통해 이용자충성도가 높아진다는 것을 확인할 수 있었다.

Abstract

This study measures and analyzes the university library user’s sense of community, service quality assessment, user satisfaction and loyalty. In addition, the effect of the university library user’s sense of community on university library user satisfaction and loyalty mediated by the assessment of the quality of service is investigated. On the basis of study result, to improve user satisfaction and user loyalty, the direction and implications of library development are presented. In order to achieve the purpose of the study, precedent research and literature were investigated, and the study model and hypothesis were established based on theoretical background. In order to verify the hypothesis, a total of 300 questionnaires were distributed to subject who had experience using the Central Library among undergraduate students at the C National University, and the final 282 sample was used for analysis. To analyze the differences depending on the general characteristics of the samples, It is the result of an independent sample t-test and one-way ANOVA. The results of the mediated effects analysis using the PROCESS macro-programs models 4 and 6 of Hayes for hypothesis testing are as follows. First, The university library user’s sense of community (Service Benefits Perception and Satisfaction, Mutual sense of influence) effect the user satisfaction of university library mediated by service quality assessment at statistical significance. This showed that the higher the university library user’s sense of community, the higher the service quality assessment, and the higher the user satisfaction level of university library. Second, The university library user’s sense of community (Service Benefits Perception and Satisfaction, Mutual sense of influence) effect the user loyalty of university library mediated by service quality assessment and user satisfaction. This showed that the higher the university library user’s sense of community, the higher the service quality assessment, the higher user satisfaction level of university library and the higher the user loyalty level of university library. The results of this study showed that the university library user’s sense of community has a direct and indirect effect on enhancing user satisfaction and loyalty through the service quality assessment.

초록

This study is to investigate the characteristics of the Invisible Web and many search services designed to serve as gateways to the Invisible Web and to evaluate searching the Invisible Web in the Services. The four services for searching the Invisible Web were selected to search the Invisible Web with 11 queries, that are Google as portals, ProFusion and Search.com as Invisible Web meta search engines, and IncyWincy as Invisible Web search engines. It was found that the effectiveness of Google's Invisible Web searching was better compared with the three Invisible Web search tools but the difference between the four systems was not significant(α=.055). The Invisible Web meta searching was better than the Web meta searching in the three search tools at the statistically significant level. The effectiveness measurement based on the ranks and relevance degree(quality) of relevant documents retrieved seemed appropriate to the ranked search results.攀＊＊＊한남대학교 문헌정보학과 교수(jsr@mail.hannam.ac.kr) 논문접수일자 : 2004년 8월 16일 게재확정일자 : 2004년 9월 18일攀攀

Abstract

초록

최근까지 학술지의 영향력을 측정하기 위하여 Thomson Reuters(ISI)의 영향력지수(JIF: Journal Impact Factor)가 널리 사용되어왔다. 그러나, 이러한 JIF는 학술지 단위가 아니라 수록 논문의 평균 영향력을 측정하는 지표라는 근본적인 한계를 가지고 있으며, 이외에도 다양한 측면에서 많은 문제점들이 지적되었다. 특히 국내 인용색인은 국제적인 인용색인 데이터베이스에 비해서 인용 데이터의 규모가 상당히 제한적이므로, 이를 고려하여 국내 학술지 인용 환경에 적합한 지수의 적용이 필요하다. 따라서 이 연구는 최근 급속히 확산되고 있는 Hirsch 유형 지수(h-type indices)를 적용하여 국내 학술지의 영향력을 보다 더 상세하게 측정할 수 있는 실제적인 방안을 모색하였다. 결과적으로, h-지수의 변형지수(hs-지수, fs-지수)를 사용하거나 호 단위 합산(호 기반 h-지수, 호 기반 f-지수) 방법을 통하여, 기존 Hirsch 유형 지수들의 변별력을 향상시킬 수 있음은 물론 국내 학술지의 영향력을 더욱 정밀하게 측정할 수 있는 것으로 나타났다.

Abstract

The journal impact factor(JIF) of the Thomson Reuters(ISI) has been widely used to assess the impact of journal as well as its quality. However, the JIF contains its critical limitation, in which it does not measure the impact of journal but the average impact of articles in journal. Besides significant number of problems of the JIF has been noticed. Furthermore, given the limited coverage of domestic citation index database in comparison to those of international citation index, it is necessary to apply a more appropriate index with a high level of discriminating power. This study, therefore, aims to introduce some practical methods to measure the impact of domestic journals by using the Hirsch-type indices. As the Hirsch-type indices has been often used for overcoming the limitations of the JIF in worldwide, we hope that our research outcome offers an effective alternative to gauge the impact of journals more accurately. Consequently, using the variations of the h-index(hs-index, fs-index) or the sum of issue level(issue based h-index, issue based f-index), we argue that it would improve the discrimination capacity of the Hirsch-type indices significantly and that we can measure the impact of domestic journals more clearly.

초록

본 연구는 기존의 연구성과 분석의 한계를 극복하고 영향력이나 파급효과 등 질적 중심의 연구성과 분석을 위해 텍스트 마이닝, 인용 분석 등을 활용한 새로운 계량정보학적 분석지표를 제안하였다. 즉, 논문품질지수, 인용 영향력지수, 지식확산지수, 국제협력연구지수, 우수논문 생산지수 등 새로운 연구성과 분석지표를 제안하여 질적인 측면을 중심으로 한 연구성과 분석이 가능하도록 하였다. 그리고 제안된 지표를 활용하여 사례분석을 수행하여 그 가능성을 확인하였다.

Abstract

There are some limitations in the existing bibliometric methods to satisfy the various requests of the interest parties including researchers, managers, policy makers to identify 1) which research group or researcher is the key player, and the overall trends of the particular technological sub-fields, 2) which research groups, institutions or countries mainly use their research outputs, 3) what are the spin-offs from research outputs to some scientific and technological fields, 4) in which levels they are when comparing their quantitative and qualitative research outputs to those of other competitive institutions. It is essential to develop new informetric indicators and methodologies in order to satisfy stakeholder's various demands and to strengthen qualitative analysis in measuring research performance. This study suggested informetric indicators such as article quality index, citation impact index, international cooperation index, excellent article production index and methodologies including citation analysis, text mining.

초록

본 연구는 6시그마 DMAIC 방법론의 정의(Define)와 측정(Measure) 단계의 기법들을 활용하여 대학도서관 멀티미디어 서비스 개선에 영향을 미치는 주요 변수들을 도출하였다. 이를 위하여 S대학교 중앙학술정보관의 사례를 중심으로 현장 사서들의 브레인스토밍, X-Y Matrix와 특성요인도 작성, 도서관 홈페이지를 통한 이용자 의견 분석, 이용자 인터뷰 등을 통하여 대학도서관 멀티미디어 서비스의 프로세스를 분석하고, 핵심 품질특성을 지표화하였다. 그리고 Process Map과 특성요인도를 통하여 멀티미디어 서비스에 영향을 미치는 잠재원인변수들을 도출하고, 도출한 잠재원인변수를 X-Y Matrix와 Pareto Chart에 의하여 우선순위화하여 멀티미디어 서비스에 영향을 미치는 주요 요인으로 ‘자료 선정 전담자 유무’, ‘자료 선정주기’, ‘독립된 멀티미디어실 운영 유무’, ‘자료 배가 방법’, ‘인기자료 안내 여부’, ‘입수자료 통보 여부’, ‘신간 자료 안내 방법’, ‘구입주문 처리 방법’, ‘주문자료 진행사항 점검 주기’, ‘자료 신청자 유형’, ‘자료 신청 방법’, ‘반납 시 자료 상태 점검 여부’, ‘소장자료 목록 안내 방법’, ‘연체자료 회수방법’의 14개 변수를 도출하였다.

Abstract

This study analyzed the process of multimedia services and indexed the core quality characteristics through the tools employed in ‘Define’ and ‘Measure’ steps of the 6 Sigma DMAIC methodology. To achieve the goal, as a case study of ‘S’ University Central Library, first, brainstorming technique was used to tap the librarians, second, interview with the half-time student workers, third, user’s opinion on homepage was analyzed and lastly, the interview with the users. This study also drew some potential causal factors which would likely to affect the multimedia service using Process Map and C&E Diagram. Those factors were prioritized using X-Y matrix and Pareto Chart. This study revealed 14 factors affecting multimedia services: ‘presence/absence of the persons who are in charge of selection’, ‘cycle of selection materials’, ‘presence/absence of seperated multimedia room’, ‘materials arrangement method’, ‘notification of popular materials’, ‘notification of documents arrivals’, ‘methods of noticing new arrivals’, ‘methods of ordering materials’, ‘cycle of checking order status’, ‘types of persons requesting materials’, ‘methods of requesting materials’, ‘checking of the status of the returned materials’, ‘methods of noticing materials in housed’, and ‘methods of ways to return overdue materials’.