초록

Abstract

The purpose of this study was to develop a methodology of user participation evaluation of a scholarly information site in the field of science and technology and to enhance the site by applying a set of testing protocols. Experiments were conducted in a laboratory setting. Data from multiple sources, including eyetracking, search logs and post surveys, were collected and analyzed quantitatively. Based on the results of eyetracking, the contents and images were reorganized after removing unessential elements in the site. The resulting data from the search logs showed that the users were able to finish the tasks more quickly with the revised user interface. The results of the data analysis of post surveys indicated an overall improvement in the revised website compared to the original one.

초록

본 연구의 목적은 전자저널 컨소시엄 참여기관의 현황과 그들의 요구를 분석함으로써 KESLI 운영의 문제점과 활성화를 위한 방안을 마련하고자 하는 것이다. 이를 위해, 참여기관을 대상으로 컨소시엄 선정 및 관리, 평가의 항목으로 구성된 설문지를 배부하였고 응답한 179개의 설문지를 분석하였다. 분석결과, KESLI 참여기관은 장서개발정책, 편목, 이용자교육 및 평가방법에 대한 요구를 나타냈다. 따라서 KESLI는 참여기관의 요구를 반영하여 장서개발정책 마련을 위한 정책 예를 제공하고 편목의 간소화를 위한 시스템을 마련해야 한다. 또한 기관에서의 이용자교육의 효과를 높이기 위해서 교재 및 프로그램을 개발지원하며 평가방법 및 기술에 대한 교육을 실시해야 한다.

Abstract

The purpose of this study is to improve the KESLI consortium by analyzing the status of participant organizations and their needs. A survey questionnaire including questions on consortium selection, management, and evaluation was distributed. The findings from the 179 responses indicate that the needs of the participants include issues related to the collection development policy, the cataloging of e-journals, user education, and evaluation. Therefore, KESLI should provide the following: (1) examples of collection development policy used for reference, (2) system development for e-journal cataloging, (3) materials and program guidelines for user education, and (4) education related to evaluation techniques for e-journal usages.

초록

웹사이트 디자인과 평가에 대한 연구는 정보과학분야, 컴퓨터분야, 인지과학분야, 산업디자인분야 등을 중심으로 활발하여 이루어져 왔다. 정보과학분야에서 웹사이트 디자인과 관련하여 중요하게 강조하는 부분은 이용자가 이용하기 쉬우며 이용자에게 친숙한 이용자 중심의 웹사이트를 디자인하는 것이다. 이러한 개념은 이용자와 디자이너를 별개의 집단으로 이해하고, 웹 디자이너들이 웹사이트를 디자인할 때에 이용자의 요구사항을 충분히 반영하여야 함을 강조한다. 이 연구에서는 이용자와 디자이너를 별개의 집단으로 보는 관점을 벗어나 최근 늘어나고 있는 집단인 웹사이트 이용자인 동시에 웹사이트 제작 경험이 있는 디자이너를 대상으로 하여 자신이 디자인한 웹사이트와 다른 연구 대상자들이 디자인한 웹사이트를 평가하도록 하였다. 질문지를 통한 자료를 분석한 결과 이용자이면서 디자이너인 218명의 연구 대상자들은 이용자의 관점과 디자이너의 관점에서 모두 웹사이트의 내용전달, 디자인의 단순성과 일괄성, 링크와 접근성 측면을 공통적으로 중요시 여기고 있었다.반면, 내용의 체계성과 풍부성, 화면구성 측면은 이용자 관점에서 중요한 고려사항으로 제시되었음에도 불구하고 실제 웹사이트 제작 시 중요성이 간과되고 있음을 알 수 있었다.

Abstract

Diverse disciplines such as information science, cognitive science, and industrial design are actively engaged in the website evaluation research efforts. Information scientists emphasize the importance of user-centered and user-friendly website design, which is also easy to use. This idea is based on the understanding that the users and the designers are diffrerent ste of people. In addition, information scientists consider the practice of maximally incorporating uer inputs during the website design stage to be very important guideline. However, this study is based on a newly emerging population of website users who are also designers. 218 study participants evaluated the web sites that they designed in comparison to the websites designed by others. According to the survey data analysis, the study participants considered the content delivery, design simplicity, design consistency, and link access of the websites to be equally important from both users' and designers' perspectives. However, the content organization, rich content, and screen composition were underestimated from users' point of view.

초록

기술의 발전과 더불어 스마트폰의 보급률 및 이용률이 높아지면서 현대인의 생활 방식에도 변화를 가져왔다. 그러나 이용성을 고려하지 않고 끊임없이 생겨나는 어플리케이션으로 인해 이용자들은 여전히 어플리케이션 이용에 불편함을 겪고 있다. 이용성 평가는 다양한 요인과 방법을 통해 이루어지며, 초기의 물리적 편의에서 이용자 중심의 이용에의 만족도 평가로 점차 변화하고 있다. 그 중 불특정다수가 제약 없이 널리 이용 가능한 교통정보 어플리케이션은 이용자 측면에서의 연구가 중요함에도 불구하고 어플리케이션의 기술적 측면 또는 디자인적 측면에 치중되어 전반적인 이용자 중심의 이용성 평가에 한계가 있어 왔다. 본 연구에서는 서울 대중교통을 중심으로 하여 실제로 이용되고 있는 모바일 대중교통 어플리케이션을 대상으로 실제 이용자들을 통해 이용성을 평가하고자 하였다. 과제 수행, 심층 면담, 설문 조사를 통해 데이터를 수집하고 분석한 결과, 이용자들은 어플리케이션이 다량의 정보를 제공한다 할지라도 본인의 이용 목적에 부합하지 않는 정보에는 큰 매력을 느끼지 못하였고, 오히려 방해 요인으로 여긴다는 것을 알 수 있었다.

Abstract

As technology progresses, the supply and use of smartphones has become increasingly popular and has significantly transformed modern life. However, users still feel uncomfortable running some mobile apps, as many are created without a thoughtful consideration of usability. Usability evaluations involve several methodologies to identify specific problems in light of various principles. Although usability testing was initially centered on physical services, it has gradually evolved to consider user satisfaction as its main concern. Public transportation applications should be accessible to everyone, and studies should focus on the user’s perspective. However, previous user surveys have concentrated on applications’ technical aspects or visual design. As a result, there has been a lack of general usability evaluations. This study aimed to evaluate the usability of mobile transportation applications in real life, with a focus on public transportation in Seoul. All the participants were asked to complete a task, an in-depth interview, and a questionnaire survey. In summary, the results suggest that users do not find inappropriate information attractive when it does not satisfy their purpose of use, but rather tend to consider it as interference.

초록

본 연구는 이용자교육의 활성화를 위하여 공공도서관 어린이 이용자교육 교수학습지도안을 개발하는데 목적이 있다. 교수학습지도안 개발을 위해 문헌조사를 통하여 초등학교 3, 4학년을 이용자교육 대상으로 선정하고 이용자교육 내용으로 오리엔테이션 교육을 도출하였다. 교수학습지도안에 적용할 학습모형으로 학습자의 자발적이고 주체적인 교육 참여와 교수자의 역할을 구체적으로 설계할 수 있는 Jonassen의 구성주의 학습환경 모형을 선정하였다. 교수학습지도안 개발을 위해 먼저 구성주의 학습환경 모형을 분석하고 이용자교육에 적용하여 이용자교육 학습환경과 교수활동을 설계하였다. 이를 바탕으로 교수학습지도안을 작성하여 유용성과 적합성 평가를 진행하였으며 평가에서 제안된 사항을 반영하여 공공도서관 어린이 이용자교육 교수학습지도안을 개발하였다.

Abstract

This study aims to develop the lesson plan of public library user education for children for the activation of user education. For the development of lesson plan, elementary school 3rd and 4th graders were selected as user education subjects through the literature survey, and orientation were derived as contents of user education. This study developed a lesson plan that applies Jonassen’s constructivist learning environments to specifically design the librarian’s role as teacher in user education with voluntary and subjective education participation of the children. Lesson plan was evaluated in terms of usefulness and appropriateness.

초록

Abstract

The purposes of this study are to evaluate the navigability of three web-based mapping applications and to suggest how to improve the navigability of all web-based mapping applications. With these purposes, this study conducted a web-based survey congruent with a think aloud and systematic observation for individual participants, followed up by a focus group with all participants. Based on the findings, recommendations are proposed for web-based mapping applications that include a standard click and drag panning function in mapping applications, a scaled zooming option, increased text for icons and buttons, and other potential changes to computer hardware for increased navigability in these applications. By improving the navigability of web-based mapping applications, the learning time may be reduced for each application and the speed at which users’ geographic information needs are met will be quicker.

초록

본 연구는 공공도서관에서 운영하는 프로그램의 성과를 로직모델을 기반으로 개발된 평가 프레임워크를 적용하여 측정하고자 하였다. 성과 측정을 위해 서울 소재 한 공공도서관에서 운영하는 여러 프로그램 중 어린이 독서 프로그램을 선정하였다. 성과 측정 과정은 어린이 독서 프로그램의 계획, 진행, 평가 등의 업무 과정 일체를 분석하여 로직 모델을 구현하였으며 이에 의거하여 예상되는 성과를 측정하였다. 데이터는 KOLAS를 통해 회원정보, 서지정보, 대출정보 등을 수집하였고, 프로그램 운영 현황에 대한 데이터는 프로그램 진행 후 작성된 보고서에서 추출하였다. 측정 결과 어린이 독서 프로그램에 참여한 회원들의 대출빈도가 상승하였고, 프로그램의 주제에 따라 대출 장서의 주제가 변화하는 것을 볼 수 있었다. 본 연구를 통해 독서 프로그램이 갖는 효과와 의미를 확인할 수 있었으며, 성과평가가 도서관에서 운영하는 타 프로그램 및 도서관 업무 등의 효과성을 측정하는데 유용한 도구가 될 수 있음을 보여주었다.

Abstract

The purpose of this study is to measure the outcomes of a program provided by a public library using the evaluation framework based on Logic Model. A reading program for children which was operated by a public library in Seoul was selected. The outcome evaluation was started with the analysis of the reading program process including planning, operation, and evaluation. Based on the analysis, a logic model framework for outcome evaluation was developed. For evaluation, user, bibliography, and circulation data were collected from the library KOLAS system. Additionally, the participant information were extracted from the final report drafted after the program. The research results show that the number of circulation of program participants was increased after the program. In addition, the range of reading topic was expanded. These findings indicate that the reading program is an effective program for promoting children’s reading habit and that outcome evaluation might be a valid tool to measure the effectiveness of public library programs.

초록

본 연구는 마케팅 분야에서 개발된 서비스 품질 모형인 SERVQUAL을 도서관의 실정에 맞게 적용한 ARL(Assoication of Research Libraries) LibQUAL+ 평가 프로그램에 국내 대학도서관 한 곳이 공식 참여한 과정과 결과를 제시하고 있다. LibQUAL+ 시행을 위해 영문으로 된 설문지의 번역, 설문 대상자 표본 선정, 설문 버전의 선택 등을 포함한 절차를 설명하고 있다. 또한 설문의 시행 결과로 입수되는 설문 데이터에 대한 설명 및 응답과 관련된 제반 사항에 대한 검토 결과를 제시한다. 마지막으로 설문 데이터를 통해 이용자 집단간, 타기관과의 다양한 비교 전략을 제시하고 있다. LibQUAL+ 프로그램은 단순한 설문도구가 아닌 총체적인 도서관 서비스 품질 평가 시스템이다. LibQUAL+ 프로그램에 참여함으로써 보다 체계적이고 국제화된 평가를 시행할 수 있을 것이다. 설문도구로서 LibQUAL+에 대한 비판에도 불구하고 LibQUAL+ 프로그램에 참여함으로써 국내 대학도서관은 새로운 평가 및 서비스 개선 노력을 경주할 수 있을 것으로 기대된다. 도입과 관련해서는 개별적인 참여 대신 다수의 도서관이 컨소시엄을 구성해서 참여하는 것이 바람직하다. 이들 도서관을 중심으로 학습공동체를 구성해서 워크샵, 사례발표 등을 통해 한 단계 높아진 평가 활동을 할 수 있다.

Abstract

The paper describes a case study in which Sungkyunkwan University Library participated in the official ARL(Assoication of Research Libraries) LibQUAL+ evaluation program. LibQUAL+ model is based on the SERVQUAL service quality evaluation model originally developed in the marketing area. It details a number of processes including translation of the LibQUAL+ survey instrument into Korean, selection of study sample and choice of survey versions. In addition, it offers a number of strategies that can be adopted in order to analyze the survey data for various comparisons among different user groups and institutions. LibQUAL+ is more that a survey instrument; it a holistic system for assessing library service quality. Despite criticisms on LibQUAL+, we expect that university libraries in Korean will benefit from participating in the program. It is preferable that a group of libraries form a consortium to participate in the LibQUAL+ program as opposed to individual participation. The consortium can function as a learning community through various workshops and sharing activities, thus elevate the overall evalution efforts in Korean libraries to a higher level.

초록

본 연구의 목적은 연구데이터 서비스 자체의 유용성과 연구데이터에 대한 사용경험 기반의 유용성 측면에서 평가 모형을 개발하는 것이다. 다양한 사례에서 도출한 데이터 서비스의 유용성 평가 요소로부터 연구데이터에 내재된 평가척도인 검색성, 접근성, 상호운용성, 재활용성 4개와 각각의 측정지표 총 20개를 도출하였다. 그리고 Google Analytics, YouTube 광고료 책정 기준, 서울특별시, Altmetrics의 사례를 분석하여 연구데이터에 대한 이용자 경험 기반의 유용성 측정지표 12개를 도출하였다. 평가척도와 측정지표에 대한 타당성과 신뢰성 검정을 위해 연구데이터의 잠재적 이용자 164명을 대상으로 설문조사를 실시하였다. 평가척도의 타당성 검정을 위해 KMO Bartlett 분석을 하였으며, 측정지표의 성분분석을 위해 주성분 분석과 베리맥스 회전분석법을 사용하였다. 내재적 평가척도의 경우 4개 척도 모두 KMO Bartlett의 타당성 값을 충족시켰으며, 평가척도에 대한 측정지표의 성분분석 결과 모두 단일 성분으로 나타나 현재의 척도로 해당 지표에 대한 설명이 가능하였다. 그러나 이용자 경험 기반의 12개 측정지표의 성분분석 결과는 2개 성분으로 나누어지는 것으로 나타나 각각을 활용도와 참여도라는 개념의 2개 평가척도로 구분하였다. Cronbach’s alpha 계수에 의한 신뢰도 측정 결과 6개의 평가척도 모두 0.6 이상의 측정치를 충족시키는 것으로 나타났다.

Abstract

The Purpose of this study is to develop an evaluation model for usability of research data service from the angles of evaluating usefulness of research data service itself and research data use experience-based usability. First, the various cases of evaluating usability of data services are examined and 4 rating scales and 20 measuring indicators for research data service are derived as a result of comparative analysis. In order to verify validity and reliability of the rating scale and the measuring indicators, the study conducted a survey of 164 potential research data users. KMO Bartlett Analysis was performed for validity test, and Principle Component Analysis and Verimax Rotating Method were used for component analysis on measuring indicators. The result shows that the 4 intrinsic rating scales satisfy the validity criteria of KMO Barlett; A single component was determined from component analysis, which verifies the validity of measuring indicators of the current rating scale. However, the result of 12 user experience-based measuring indicators analysis identified 2 components that are each classified as rating scale of utilization level and that of participation level. Cronbach’s alpha of all 6 rating scales was 0.6 or more for the overall scale.

초록

본 연구의 목적은 우리나라 오픈액세스서비스에 대한 이용자의 만족도를 분석하여 향후 오픈액세스 활동의 활성화 및 발전방안 수립을 위한 전략과제를 도출하는 데 있다. 이를 위해 오픈액세스코리아 서비스의 이용자를 대상으로 만족도 조사를 실시하였다. 서비스별 품질을 나타내는 이용자의 만족도 지표는 해당 서비스에 대해 이용자들이 지각하는 품질을 측정할 수 있도록 설계하였으며, 품질지수, 만족지수, 성과지수로 구성되었다. 분석결과 사회적 품질, 사회적 만족 등의 항목은 상대적으로 높게 산출되어 국내 연구자들의 오픈액세스서비스에 대한 사회적 기여도 및 공익성 측면에서의 긍정적인 평가와 기대를 확인하였다. 반면, 서비스 과정품질 항목은 상대적으로 낮은 만족도를 보여주었으며 국내 오픈액세스 콘텐츠의 부족에 대한 의견이 다수 도출되어 국가 차원의 전략수립 시 콘텐츠 개발 및 확보 전략에 대한 고려가 중요함을 알 수 있었다. 또한 오픈액세스에 대한 정책적 지원, 오픈액세스 저널 출판 및 리포지터리 운영, 거버넌스체제 구축 및 오픈액세스 홍보활동을 통한 연구자들의 참여 유도, 글로벌 공조체제 구축 등이 전략과제로 제시되었다.

Abstract

The purpose of this study is to analyze service quality factors that affect user satisfaction of Open Access Korea(OAK) services and to draw strategic assignments for activating open access activities in Korea through a user satisfaction survey. User satisfaction indexes were developed to measure all aspects of the OAK services. The quality index, satisfaction index, and performance index were identified in this survey. According to the survey findings, the levels of social quality and social satisfaction are relatively high, this shows the positive evaluation and expectation of researchers for OAK services. However, relatively low level is identified in the area of service process quality, and many opinions about OA contents shortage in Korea represent the importance of the national level contents development strategy. Sustainable policy support, publishing of open access journals, management of institutional repository, OA governance system, expansion of researchers' participation, construction of global collaboration system are suggested as major implications to promote open access activities in Korea.