바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: qualitative evaluation, 검색결과: 8
1
김보일(한남대학교 문헌정보학과) ; 김홍렬(전주대학교) 2021, Vol.38, No.4, pp.25-46 https://doi.org/10.3743/KOSIM.2021.38.4.025
초록보기
초록

이 연구에서는 작은도서관의 활성화 및 내실화 측면에서의 평가를 통해 작은도서관 운영의 질적 수준을 향상하고 자생력을 강화하기 위하여 현행 작은도서관 평가지표 분석, 국내외 작은도서관 관련 평가지표 분석, 국내 타 관종 평가지표 분석, 작은도서관 운영자 및 관련 단체 전문가 등을 대상으로 의견수렴 등을 통해 작은도서관 평가체계 및 지표를 개선하여 제안하였다. 이 연구에서 제안된 작은도서관의 평가체계는 단위 작은도서관을 대상으로 하는 트랙 1과 기초지방자치단체 평가하는 트랙 2로 구분된다. 작은도서관의 평가지표는 트랙 1 작은도서관에 대하여 통계를 통해 확인되는 지표는 생략하고 단순화하였으며, 작은도서관 운영에 따른 도서관 경영, 도서관 인프라, 도서관 서비스의 3개 평가영역, 8개 평가항목, 10개 평가지표 100점으로 구성된 정량평가와 20점 총 120점으로 된 정성평가로 구성하였다. 트랙 2 기초지방자치단체의 평가지표는 정성평가 없이 작은도서관 정책 수립 및 시행과 작은도서관 지원 등에 관하여 도서관 경영, 도서관 인프라의 2개 평가영역, 4개 평가항목, 5개 평가지표 100점으로 구성된 정량평가로 구성되어 있다.

Abstract

This study proposed the improvement in the evaluation systems and indicators of small libraries, by analyzing the evaluation indicators of the current small libraries, domestic and foreign ones and domestic other institutions, and gathering opinions from managers of them and experts belonging to related groups, in order to enhance the management quality of small libraries and strengthen the independence of them, based on the evaluation on the activation and substantiality of them. The evaluation systems proposed by this study is divided into Track 1 evaluating small libraries and Track 2 evaluating local governments. The evaluation indicators of small libraries was simplified by eliminating the indicators found from the statistics of Track 1 (small libraries). Track 1 consists of three evaluation areas in regard to the management of small libraries, such as library management, infrastructures and services, 8 evaluation items, 10 evaluation indicators, quantitative (a total of 100 points) and qualitative (a total of 120 points) evaluation. Track 2 consists of 2 evaluation areas in regard to the establishment and enforcement of small library policies and the support for small libraries, such as library management and infrastructures, 4 evaluation items, 5 evaluation indicators and quantitative evaluation (a total of 100 points).

초록보기
초록

최근 도서관에서 실시하는 이용자 만족도 조사, LibQUAL+ 평가 등을 통해 계량적 데이터뿐만 아니라 이용자의 직접적 견해를 담은 이용자 코멘트 데이터가 점점 더 많이 수집되고 있다. 이러한 질적 데이터는 이용자의 입장을 이해하고, 도서관 서비스의 환경 개선이 필요한 영역을 확인하며, 이용자 니즈의 우선순위를 파악하는 등 도서관 서비스 개선을 위한 전략 수립에 유용한 자료로써 활용될 수 있는 것이다. 따라서 이용자 코멘트 데이터는 그 내용이 분석되고, 분석 결과를 서비스 및 정책에 반영할 필요가 있다. 본 연구는 이용자 코멘트 데이터의 활용성을 높일 수 있는 기반을 제공하고자, LibQUAL+ 설문의 이용자 코멘트 분석을 중심으로 하여 실제 외국 도서관의 LibQUAL+ 설문 이용자 코멘트 분석 방법을 알아보고, 분석을 위해 사용된 질적 데이터 분석 소프트웨어 및 분류표 등 분석도구에 대해 살펴보았다. 또한, 대표적 질적 데이터 분석 소프트웨어와 외국에서 LibQUAL+ 이용자 코멘트 분석을 위해 개발된 분류표를 최근 국내 대학도서관에서 시행된 LibQUAL+ 설문의 이용자 코멘트 일부에 적용하여 분석해봄으로써 그 유용성을 확인하였다.

Abstract

Using user satisfaction surveys and LibQUAL+ instruments, libraries are increasingly gathering qualitative data such as verbatim user comments as well as quantitative data. Such qualitative data can be utilized as clues in establishing library service strategies: to better understand user issues, to identify areas for service improvement, and to prioritize user needs. For this, it is necessary to analyze user comments data and to apply results to the delivery of service and the library policies. This study is an attempt to investigate ways in which user comments data can be made useful in libraries. It identifies different methods of analyzing user comments data from LibQUAL+ surveys and compares qualitative data analysis software programs and taxonomies. It also presents the results of applying these tools to a subset of actual user comments data gathered from a recent LibQUAL+ survey at a major university library in Korea.

초록보기
초록

Abstract

With the purpose of enriching existing catalogues with FRBR, which is the Functional Requirements for Bibliographic Records, in mind, this paper aims to evaluate the impact of bibliographic ontology on the overall system’s performance in the field of literature. In doing this, OCLC’s FictionFinder (http://fictionfinder.oclc.org) was selected and qualitatively evaluated. In this study 40 university seniors evaluated the following three aspects using the ‘transferring thoughts onto paper method’: 1) In which ways is this FRBR-aware bibliographical ontology helpful? 2) Are the things which are initially attempted to be helped being helped? 3) Would users seeking one work in particular also see all other related works? In conclusion, this study revealed that, as Cutter claimed in his 2nd rule of the library, collocations give added-value to the users and overall ontology provides better interface and usefulness. It also revealed that a system’s evaluation with qualitative methodology helped to build full pictures of the system and to grip the information needs of the users when the system is developed. Qualitative evaluations, therefore, could be used as indicators for the evaluation of any information retrieval systems.

4
권범중(충남대학교) ; 곽승진(충남대학교) 2007, Vol.24, No.3, pp.219-244 https://doi.org/10.3743/KOSIM.2007.24.3.219
초록보기
초록

본 연구는 참고정보원 관리도구를 데스크탑 기반, 웹 기반, 웹 2.0 기반의 세 가지 유형으로 구분하고, 각 유형에 대한 대표적인 도구를 선정하여 각 도구의 제공기능에 대한 비교ㆍ분석과 이용자 중심에서 사용성을 비교ㆍ평가하기 위한 것이다. 도구의 제공기능에 대한 조사를 위해 먼저 각 도구의 제공기능에 대한 비교분석을 수행하였다. 유형별 도구에 대한 사용성 평가는 실험 후 각 참고정보원 관리도구의 만족도, 이해 편리성, 적합성, 효율성에 대한 비교 연구로 진행하였으며, 정량적 연구방법과 정성적 연구방법을 병행하였다. 정량적 연구의 데이터 수집을 위한 조사도구로 설문조사를 사용하였으며, 정성적 연구는 각각의 실험자에 대한 면담을 통하여 그 내용을 분석하였다. 유형별 참고정보원 관리도구에 대한 사용성 비교 평가를 통해 얻어진 분석 결과는 다음과 같다. 첫째, 이용자 만족도의 평균값은 도구 B(웹 기반)가 가장 높았으며, 다음으로 도구 A(데스크탑 기반), 도구 C(웹 2.0기반) 순으로 나타났다. 둘째, 이해 편리성은 도구 B, 도구 C, 도구 A 순으로 나타났다. 셋째, 적합성은 도구 A, 도구 B, 도구 C 순으로 나타났다. 넷째, 효율성은 도구 B, 도구 A, 도구 C 순으로 나타났다.

Abstract

Reference resources management tools can be divided into three types: Desktop-based, Web-based, and Web 2.0-based. This study is intended to compare and analyze the functions provided by the three types of tools and also to compare and evaluate their usability. Each Tools were chosen to represent each type. For comparison and analysis of the functions provided by the three types of tools, we divided the process of using reference resources management tools into four steps and then compared and analyzed sub items in each step. Satisfaction, understandability, conformance and efficiency that items for comparison and evaluation of the usability were compared using both quantitative and qualitative approaches. We surveyed the participants to collect data for quantitative research; and interviewed them and analyzed the results for qualitative research. Here are the results from evaluating the usability of Tool A(Desktop-based), B(Web-based), C(Web 2.0 based). First, Tool B had the highest mean user satisfaction, followed by Tool A and Tool C. Secondly, Tool B had the lead in understandability, followed by Tool A and Tool C. Thirdly, Tool A had the highest mean conformance, followed by Tool B and Tool C. Fourth, Tool B had the highest mean efficiency, followed by Tool A and Tool C.

초록보기
초록

지적구조 분석을 위해 가중 네트워크를 시각화해야 하는 경우에 패스파인더 네트워크와 같은 링크 삭감 알고리즘이 널리 사용되고 있다. 이 연구에서는 네트워크 시각화를 위한 링크 삭감 알고리즘의 적합도를 측정하기 위한 지표로 NetRSQ를 제안하였다. NetRSQ는 개체간 연관성 데이터와 생성된 네트워크에서의 경로 길이 사이의 순위 상관도에 기반하여 네트워크의 적합도를 측정한다. NetRSQ의 타당성을 확인하기 위해서 몇 가지 네트워크 생성 방식에 대해 정성적으로 평가를 했었던 선행 연구의 데이터를 대상으로 시험적으로 NetRSQ를 측정해보았다. 그 결과 품질이 좋게 평가된 네트워크일수록 NetRSQ가 높게 측정됨을 확인하였다. 40가지 계량서지적 데이터에 대해서 4가지 링크 삭감 알고리즘을 적용한 결과에 대해서 NetRSQ로 품질을 측정하는 실험을 수행한 결과, 특정 알고리즘의 네트워크 표현 결과가 항상 좋은 품질을 보이는 것은 아니며, 반대로 항상 나쁜 품질을 보이는 것도 아님을 알 수 있었다. 따라서 이 연구에서 제안한 NetRSQ는 생성된 계량서지적 네트워크의 품질을 측정하여 최적의 기법을 선택하는 근거로 활용될 수 있을 것이다.

Abstract

Link reduction algorithms such as pathfinder network are the widely used methods to overcome problems with the visualization of weighted networks for knowledge domain analysis. This study proposed NetRSQ, an indicator to measure the goodness of fit of a link reduction algorithm for the network visualization. NetRSQ is developed to calculate the fitness of a network based on the rank correlation between the path length and the degree of association between entities. The validity of NetRSQ was investigated with data from previous research which qualitatively evaluated several network generation algorithms. As the primary test result, the higher degree of NetRSQ appeared in the network with better intellectual structures in the quality evaluation of networks built by various methods. The performance of 4 link reduction algorithms was tested in 40 datasets from various domains and compared with NetRSQ. The test shows that there is no specific link reduction algorithm that performs better over others in all cases. Therefore, the NetRSQ can be a useful tool as a basis of reliability to select the most fitting algorithm for the network visualization of intellectual structures.

6
정혜경(KDI국제정책대학원대학교) ; 정은주(KDI 국제정책대학원) 2006, Vol.23, No.1, pp.121-138 https://doi.org/10.3743/KOSIM.2006.23.1.121
초록보기
초록

본 연구는 학술지 평가를 위한 경제성 분석 모형을 도출하였으며, 이를 이용한 사례분석을 수행하였다. 이 모형은 비용요소에 구독비용뿐만 아니라 제본, 주문, 그리고 클레임 등의 관리에 소요되는 총 비용을 포함하였으며, 편익요소에는 이용 빈도만을 다루었던 기존의 평가 모형과는 달리 유용성을 포함하여 종합적인 분석모형을 제시하였다. 유용성은 학술지가 기관의 성격에 맞게 유용하게 활용되었는지에 따라 등급으로 평가되도록 고안되었다. 이 모형은 최근 연구에 가장 중요한 자원으로 활용되고 있는 웹 기반 전자 학술지의 통계를 토대로 측정할 수 있도록 고안되었다. KDI 국제정책대학원 도서관을 대상으로 한 사례분석에서 이용자의 연구 성과물에 활용된 학술지는 가장 높은 등급인 3점을 부여하였으며, 전문 다운로드나 검색에 활용된 학술지는 각각 2점과 1점을 부여하였다. 사례분석은 분석 결과 상위 20위에 포함되어 있는 학술지의 편익이 전체의 75%를 차지하며, 이용자의 유형별 학술지 이용 행태에 차이가 있음이 나타났다. 이 모형은 특히 전문 도서관의 사서들이 학술지의 가치를 평가할 수 있는 기본 틀을 제공할 수 있는 계기가 될 수 있을 것으로 사료된다.

Abstract

This study attempts to derive an economic analysis model for journal evaluation and conducts a case analysis based on the model. Total costs are calculated and include administrative fees (such as binding, ordering, claiming, etc.) and subscription costs. The model quantifies qualitative benefits to users, a utility that combines usage data that has also been evaluated in the existing economic analysis models. The model is designed to tallly the usage statistics of the web-based electronic journals, which have become important resources for research. Rankings are assigned based on how items are utilized to the goal of the mother institution. In the case study based on the KDI School Library, the highest ranking of 3 was assigned to journals that patrons used for citation in their outputs. For journals that were used background information, i.e. full text downloading or browsing, each was assigned ranking of 2 and 1, respectively. According to the analysis, the top 20 journals provided 75% of the entire library utility, showing different user behaviors among different cohorts. We expect that the model makes it possible for librarians to measure the value of journals. It can provide a basic tool for journal selection, particularly in special libraries with custom needs.

초록보기
초록

본 논문에서는 온라인 뉴스 기사에서 자동으로 추출된 키워드 집합을 활용하여 특정 시점에서의 세부 주제별 토픽을 추출하고 정형화하는 새로운 방법론을 제시한다. 이를 위해서, 우선 다량의 텍스트 집합에 존재하는 개별 단어들의 중요도를 측정할 수 있는 복수의 통계적 가중치 모델들에 대한 비교 실험을 통해 TF-IDF 모델을 선정하였고 이를 활용하여 주요 키워드 집합을 추출하였다. 또한 추출된 키워드들 간의 의미적 연관성을 효과적으로 계산하기 위해서 별도로 수집된 약 1,000,000건 규모의 뉴스 기사를 활용하여 단어 임베딩 벡터 집합을 구성하였다. 추출된 개별 키워드들은 임베딩 벡터 형태로 수치화되고 K-평균 알고리즘을 통해 클러스터링 된다. 최종적으로 도출된 각각의 키워드 군집에 대한 정성적인 심층 분석 결과, 대부분의 군집들이 레이블을 쉽게 부여할 수 있을 정도로 충분한 의미적 집중성을 가진 토픽들로 평가되었다.

Abstract

In this paper, we propose a new methodology for extracting and formalizing subjective topics at a specific time using a set of keywords extracted automatically from online news articles. To do this, we first extracted a set of keywords by applying TF-IDF methods selected by a series of comparative experiments on various statistical weighting schemes that can measure the importance of individual words in a large set of texts. In order to effectively calculate the semantic relation between extracted keywords, a set of word embedding vectors was constructed by using about 1,000,000 news articles collected separately. Individual keywords extracted were quantified in the form of numerical vectors and clustered by K-means algorithm. As a result of qualitative in-depth analysis of each keyword cluster finally obtained, we witnessed that most of the clusters were evaluated as appropriate topics with sufficient semantic concentration for us to easily assign labels to them.

8
김선욱(경북대학교 사회과학대학 문헌정보학과) ; 양기덕(영남고문헌아카이브센터) 2022, Vol.39, No.3, pp.99-132 https://doi.org/10.3743/KOSIM.2022.39.3.099
초록보기
초록

본 연구의 목적은 LDA 토픽모델링 결과와 BERTopic 토픽모델링 결과를 합성하는 방법론인 Augmented and Extended Topics(AET)를 제안하고, 이를 사용해 문헌정보학 분야의 연구주제를 분석하는 데 있다. AET의 실제 적용결과를 확인하기 위해 2001년 1월부터 2021년 10월까지의 Web of Science 내 문헌정보학 학술지 85종에 게재된 학술논문 서지 데이터 55,442건을 분석하였다. AET는 서로 다른 토픽모델링 결과의 관계를 WORD2VEC 기반 코사인 유사도 매트릭스로 구축하고, 매트릭스 내 의미적 관계가 유효한 범위 내에서 매트릭스 재정렬 및 분할 과정을 반복해 증강토픽(Augmented Topics, 이하 AT)을 추출한 뒤, 나머지 영역에서 코사인 유사도 평균값 순위와 BERTopic 토픽 규모 순위에 대한 조화평균을 통해 확장토픽(Extended Topics, 이하 ET)을 결정한다. 최적 표준으로 도출된 LDA 토픽모델링 결과와 AET 결과를 비교한 결과, AT는 LDA 토픽모델링 토픽을 한층 더 구체화하고 세분화하였으며 ET는 유효한 토픽을 발견하였다. AT(Augmented Topics)의 성능은 LDA 이상이었으며 ET(Extended Topics)는 일부 경우를 제외하고 대부분 LDA와 유사한 수준의 성능을 나타내었다.

Abstract

The purpose of this study is to propose AET (Augmented and Extended Topics), a novel method of synthesizing both LDA and BERTopic results, and to analyze the recently published LIS articles as an experimental approach. To achieve the purpose of this study, 55,442 abstracts from 85 LIS journals within the WoS database, which spans from January 2001 to October 2021, were analyzed. AET first constructs a WORD2VEC-based cosine similarity matrix between LDA and BERTopic results, extracts AT (Augmented Topics) by repeating the matrix reordering and segmentation procedures as long as their semantic relations are still valid, and finally determines ET (Extended Topics) by removing any LDA related residual subtopics from the matrix and ordering the rest of them by (BERTopic topic size rank, Inverse cosine similarity rank). AET, by comparing with the baseline LDA result, shows that AT has effectively concretized the original LDA topic model and ET has discovered new meaningful topics that LDA didn’t. When it comes to the qualitative performance evaluation, AT performs better than LDA while ET shows similar performances except in a few cases.

정보관리학회지