바로가기메뉴

본문 바로가기 주메뉴 바로가기

logo

검색어: Performance Evaluation, 검색결과: 65
21
김성훈(성균관대학교) ; 오삼균(성균관대학교) 2015, Vol.32, No.2, pp.193-219 https://doi.org/10.3743/KOSIM.2015.32.2.193
초록보기
초록

온톨로지의 평가는 잘 구축된 기존 온톨로지와 비교하는 방법, 활용될 애플리케이션에 적용해보는 방법, 원천데이터와의 적합성․관련성을 판단해보는 방법을 통해 이뤄지고 있다. 이와 같은 방법론은 온톨로지를 통해 얻게 된 결과에 치중되어 온톨로지의 체계, 의미표현, 상호운용성과 같은 내재적인 영역의 평가에 어려움이 있다. 본 연구는 온톨로지 전문가를 통해 온톨로지 품질평가를 위한 항목을 도출하였다. 문헌조사를 통해 온톨로지의 내재적 평가를 위한 범주를 추출하였고, 각 범주에 대한 평가항목을 델파이조사를 통해 전문가들에게 수집한 뒤, 수집된 평가항목을 재검증하였다. 그 결과, 처음 수집된 70개의 평가 항목에서 최종적으로 53개의 평가항목을 선정하였다. 또한 수집된 평가항목을 온톨로지 평가에 활용하여 봄으로써 평가항목의 신뢰도를 측정하였다.

Abstract

The focus of traditional evaluations of ontologies is largely performance-based. A comparison of a new ontology with well-established ones, testing of ontologies in different applications, as well as any judgment of an ontology’s appropriateness and relatedness to source data heavily rely on what results that ontology seems to manifest. This study, on the other hand, is an attempt to evaluate the quality of a particular ontology as manifested by its structure, representation, and interoperability. To that end, major categories of quality evaluations were first identified through an extensive survey of literature. Evaluation questions were formulated from these categories using the Delphi method and were validated by ontology experts. The entire process produced a set of 53 evaluation questions, which was then employed to test the quality of a newly-developed smartphone ontology.

22
육지희(연세대학교 일반대학원 문헌정보학과) ; 송민(연세대학교) 2018, Vol.35, No.2, pp.63-88 https://doi.org/10.3743/KOSIM.2018.35.2.063
초록보기
초록

본 연구는 LDA 토픽 모델과 딥 러닝을 적용한 단어 임베딩 기반의 Doc2Vec 기법을 활용하여 자질을 선정하고 자질집합의 크기와 종류 및 분류 알고리즘에 따른 분류 성능의 차이를 평가하였다. 또한 자질집합의 적절한 크기를 확인하고 문헌의 위치에 따라 종류를 다르게 구성하여 분류에 이용할 때 높은 성능을 나타내는 자질집합이 무엇인지 확인하였다. 마지막으로 딥 러닝을 활용한 실험에서는 학습 횟수와 문맥 추론 정보의 유무에 따른 분류 성능을 비교하였다. 실험문헌집단은 PMC에서 제공하는 생의학 학술문헌을 수집하고 질병 범주 체계에 따라 구분하여 Disease-35083을 구축하였다. 연구를 통하여 가장 높은 성능을 나타낸 자질집합의 종류와 크기를 확인하고 학습 시간에 효율성을 나타냄으로써 자질로의 확장 가능성을 가지는 자질집합을 제시하였다. 또한 딥 러닝과 기존 방법 간의 차이점을 비교하고 분류 환경에 따라 적합한 방법을 제안하였다.

Abstract

This research evaluated differences of classification performance for feature selection methods using LDA topic model and Doc2Vec which is based on word embedding using deep learning, feature corpus sizes and classification algorithms. In addition to find the feature corpus with high performance of classification, an experiment was conducted using feature corpus was composed differently according to the location of the document and by adjusting the size of the feature corpus. Conclusionally, in the experiments using deep learning evaluate training frequency and specifically considered information for context inference. This study constructed biomedical document dataset, Disease-35083 which consisted biomedical scholarly documents provided by PMC and categorized by the disease category. Throughout the study this research verifies which type and size of feature corpus produces the highest performance and, also suggests some feature corpus which carry an extensibility to specific feature by displaying efficiency during the training time. Additionally, this research compares the differences between deep learning and existing method and suggests an appropriate method by classification environment.

23
Yang, Kiduk(경북대학교) ; Lokman Meho(American University of Beirut, Lebanon) 2011, Vol.28, No.2, pp.79-96 https://doi.org/10.3743/KOSIM.2011.28.2.079
초록보기
초록

Abstract

Despite the widespread use, critics claim that citation analysis has serious limitations in evaluating the research performance of scholars. First, conventional citation analysis methods yield one-dimensional and sometimes misleading evaluation as a result of not taking into account differences in citation quality, not filtering out citation noise such as self-citations, and not considering non-numeric aspects of citations such as language, culture, and time. Second, the citation database coverage of today is disjoint and incomplete, which can result in conflicting quality assessment outcomes across different data sources. This paper discuss the findings from a citation analysis study that measured the impact of scholarly publications based on the data mined from Web of Science, Scopus, and Google Scholar, and briefly describes a work-in-progress prototype system called CiteSearch, which is designed to overcome the weaknesses of existing citation analysis methods with a robust citation-based quality assessment approach.

24
감미아(연세대학교 문헌정보학과) ; 이지연(연세대학교 문헌정보학과) 2023, Vol.40, No.1, pp.121-148 https://doi.org/10.3743/KOSIM.2023.40.1.121
초록보기
초록

본 연구는 ‘우수한 성능의 메타데이터 속성 유사도 기반의 학술 문헌추천시스템’을 제안하는 데에 목적을 두고 있다. 본 연구에서는 정보조직에서 다루는 메타데이터의 활용과 계량정보학에서 다루고 있는 동시인용, 저자-서지결합법, 동시출현 빈도, 코사인 유사도의 개념을 활용한 문헌정보학 기반의 학술 문헌 추천기법을 제안하고자 하였다. 실험을 위해 수집한 ‘불평등’, ‘격차’ 관련 총 9,643개의 논문 메타데이터를 정제하여 코사인 유사도를 활용한 저자, 키워드, 제목 속성 간의 상대적 좌표 수치를 도출하였고, 성능 좋은 가중치 조건 및 차원의 수를 선정하기 위해 실험을 수행하였다. 실험 결과를 제시하여 이용자의 평가를 거쳤으며, 이를 이용해 기준노드와 추천조합 특성 분석 및 컨조인트 분석, 결과 비교 분석을 수행하여 연구질문 중심의 논의를 수행하였다. 그 결과 전반적으로는 저자 관련 속성을 제한 조합 혹은 제목 관련 속성만 사용하는 경우 성능이 뛰어난 것으로 나타났다. 본 연구에서 제시한 기법을 활용하고 광범위한 표본의 확보를 이룬다면, 향후 정보서비스의 문헌 추천 분야뿐 아니라 사회의 다양한 분야에 대한 추천기법 성능 향상에 도움을 줄 수 있을 것이다.

Abstract

The purpose of this study is to propose a scholarly paper recommendation system based on metadata attribute similarity with excellent performance. This study suggests a scholarly paper recommendation method that combines techniques from two sub-fields of Library and Information Science, namely metadata use in Information Organization and co-citation analysis, author bibliographic coupling, co-occurrence frequency, and cosine similarity in Bibliometrics. To conduct experiments, a total of 9,643 paper metadata related to “inequality” and “divide” were collected and refined to derive relative coordinate values between author, keyword, and title attributes using cosine similarity. The study then conducted experiments to select weight conditions and dimension numbers that resulted in a good performance. The results were presented and evaluated by users, and based on this, the study conducted discussions centered on the research questions through reference node and recommendation combination characteristic analysis, conjoint analysis, and results from comparative analysis. Overall, the study showed that the performance was excellent when author-related attributes were used alone or in combination with title-related attributes. If the technique proposed in this study is utilized and a wide range of samples are secured, it could help improve the performance of recommendation techniques not only in the field of literature recommendation in information services but also in various other fields in society.

25
김원만(연세대학교) ; 이지연(연세대학교) 2010, Vol.27, No.1, pp.165-183 https://doi.org/10.3743/KOSIM.2010.27.1.165
초록보기
초록

본 연구는 법학전문도서관이 제 역할과 기능을 할 수 있도록 실질적인 평가 내용을 다루어 법학전문도서관의 역할과 나아가야 할 방향을 제시하였다. 특히 법학전문도서관 사서들을 대상으로 그들의 의견을 수렴하여, 평가항목을 도출하였고, 법학전문도서관의 주 이용계층인 법학전문대학원 학생들을 대상으로 그들의 요구를 조사하고 분석하였다. 특히 독립적이고, 전문적으로 법학전문도서관을 위한 평가를 지향하였다는 점에서 그 의의를 찾을 수 있으며, 법학전문도서관의 건물과 시설 그리고 소장자료의 양과 함께 소장자료의 질, 법학도서관 사서의 기능과 역할 그리고 이용자의 만족도를 증진시키며, 외적인 면과 함께 법학전문도서관의 내실을 갖추는 것을 목적으로 하였다.

Abstract

This study investigated factors and issues for law school library evaluation. Also, this study suggested the roles and guidelines for law school libraries to perform its own role and function. To carry out the research, surveys were conducted with the law librarians. Then surveys were conducted to investigate law school students' demands and behaviors. Especially this study evaluated law libraries which were not carried out independently and professionally until now and meaningful as it thoroughly investigated users' demands and behavior with law school libraries and function and roles of law librarians. To facilitate law school library services and functions, quality of the collections, librarians' role, and users' needs should be considered as well as buildings and physical facilities. Particularly, users' needs assessment and librarians' opinion survey will be imperative in implementing evaluation.

26
김수연(연세대학교) ; 정영미(연세대학교) 2006, Vol.23, No.3, pp.147-165 https://doi.org/10.3743/KOSIM.2006.23.3.147
초록보기
초록

이 연구에서는 전체 문헌집단으로부터 초기 질의어에 대한 연관용어 선정 시 사용할 수 있는 최적의 기법을 찾기 위해 연관규칙 마이닝과 용어 클러스터링 기법을 이용하여 연관용어 선정 실험을 수행하였다. 연관규칙 마이닝 기법에서는 Apriori 알고리즘을 사용하였으며, 용어 클러스터링 기법에서는 연관성 척도로 GSS 계수, 자카드계수, 코사인계수, 소칼 & 스니스 5, 상호정보량을 사용하였다. 성능평가 척도로는 연관용어 정확률과 연관용어 일치율을 사용하였으며, 실험결과 Apriori 알고리즘과 GSS 계수가 가장 좋은 성능을 나타냈다.

Abstract

In this study, experiments for selection of association terms were conducted in order to discover the optimum method in selecting additional terms that are related to an initial query term. Association term sets were generated by using support, confidence, and lift measures of the Apriori algorithm, and also by using the similarity measures such as GSS, Jaccard coefficient, cosine coefficient, and Sokal & Sneath 5, and mutual information. In performance evaluation of term selection methods, precision of association terms as well as the overlap ratio of association terms and relevant documents' indexing terms were used. It was found that Apriori algorithm and GSS achieved the highest level of performances.

27
박주현(신가초등학교) ; 장우권(전남대학교) 2014, Vol.31, No.3, pp.331-351 https://doi.org/10.3743/KOSIM.2014.31.3.331
초록보기
초록

이 연구는 OECD PISA에 참여한 우리나라 학생, 학부모와 학교장의 설문자료와 읽기․수학․과학소양의 성취도를 분석하여 학교도서관변인이 학업성취도에 미치는 영향력을 파악하고자 하였다. 이를 통해 학교도서관의 교육적 영향력과 책무성에 대한 기초자료를 얻고 학교도서관 교육을 개선하기 위한 시사점을 도출하고자 하였다. 분석결과, 첫째, 학생들이 독서를 즐겁게 생각할수록 학생들의 학업성취도가 높았다. 둘째, 가정에 책이 많고 이용할 수 있는 독서자원이 많을수록 학생들의 학업성취도가 높았다. 셋째, 인터넷을 사용하기 위해 학교도서관을 방문할수록 학업성취도가 낮았다. 넷째, 학교도서관 직원이 부족할수록 학생들의 학업성취도가 낮았다. 즉 학교도서관 직원이 학생들의 학업성취도에 긍정적인 영향을 미치고 있었다. 다섯째, 독서 사교육에 대한 경험은 읽기․과학소양성취도에 부정적인 영향을 미치고 있었다. 여섯째, 독서가 좋아서 학교도서관에서 대출하는 것과 국어교과 관련 학교도서관 수업은 학업성취도에 영향을 미치지 않는 것으로 나타났다.

Abstract

This study analyzed students’, parents of student, and school master’ survey materials and reading, math, and science knowledge performance based on OECD PISA 2009 Koreana data. Also, school library level variables grasped the impacts of academic achievement. Through this study looked for suggestion to improvement, educational accountability and leverage of school library. The results, first, when they use reading more pleasantly thought, they achieve higher scores in academic performance. Second, when they use more books and reading resources in housekeeping, they achieve higher scores in academic performance. Third, when they were more visits school library for exploit internet, they achieve higher lower scores in academic performance. Fourth, when the member of the staff in the school library are more lack of people, they achieve lower scores in academic performance. Fifth, private education’s experience in reading have a negative influence in reading achievement and science achievement. Sixth, school library’s visiting and library application study about national language curriculum in the impacts of academic performance would not change statistical evaluation significantly.

초록보기
초록

지적구조 분석을 위해 가중 네트워크를 시각화해야 하는 경우에 패스파인더 네트워크와 같은 링크 삭감 알고리즘이 널리 사용되고 있다. 이 연구에서는 네트워크 시각화를 위한 링크 삭감 알고리즘의 적합도를 측정하기 위한 지표로 NetRSQ를 제안하였다. NetRSQ는 개체간 연관성 데이터와 생성된 네트워크에서의 경로 길이 사이의 순위 상관도에 기반하여 네트워크의 적합도를 측정한다. NetRSQ의 타당성을 확인하기 위해서 몇 가지 네트워크 생성 방식에 대해 정성적으로 평가를 했었던 선행 연구의 데이터를 대상으로 시험적으로 NetRSQ를 측정해보았다. 그 결과 품질이 좋게 평가된 네트워크일수록 NetRSQ가 높게 측정됨을 확인하였다. 40가지 계량서지적 데이터에 대해서 4가지 링크 삭감 알고리즘을 적용한 결과에 대해서 NetRSQ로 품질을 측정하는 실험을 수행한 결과, 특정 알고리즘의 네트워크 표현 결과가 항상 좋은 품질을 보이는 것은 아니며, 반대로 항상 나쁜 품질을 보이는 것도 아님을 알 수 있었다. 따라서 이 연구에서 제안한 NetRSQ는 생성된 계량서지적 네트워크의 품질을 측정하여 최적의 기법을 선택하는 근거로 활용될 수 있을 것이다.

Abstract

Link reduction algorithms such as pathfinder network are the widely used methods to overcome problems with the visualization of weighted networks for knowledge domain analysis. This study proposed NetRSQ, an indicator to measure the goodness of fit of a link reduction algorithm for the network visualization. NetRSQ is developed to calculate the fitness of a network based on the rank correlation between the path length and the degree of association between entities. The validity of NetRSQ was investigated with data from previous research which qualitatively evaluated several network generation algorithms. As the primary test result, the higher degree of NetRSQ appeared in the network with better intellectual structures in the quality evaluation of networks built by various methods. The performance of 4 link reduction algorithms was tested in 40 datasets from various domains and compared with NetRSQ. The test shows that there is no specific link reduction algorithm that performs better over others in all cases. Therefore, the NetRSQ can be a useful tool as a basis of reliability to select the most fitting algorithm for the network visualization of intellectual structures.

초록보기
초록

정보시대의 도래로 정보량은 기하급수적으로 증가하게 되었고, 이러한 대량의 정보로부터 이용자 개개인에게 적합한 정보를 적시에 제공할 수 있는 방법으로 SDI 서비스가 연구개발되어 왔지만, 현실적으로 그 활용도는 매우 낮은 것으로 조사되었다. 이에 본 논문에서는 그 원인을 분석하고 SDI 시스템의 성능을 개선시킬 수 있는 적합성 피드백 기반 SDI 시스템을 개발하고자 하였다. 본 연구의 실험을 위해 개발된 실험시스템은 이용자 최소개입 피드백기반 SDI 시스템, 완전자동 피드백기반 SDI 시스템, 그리고 이용자 최대개입 피드백 기반 SDI 시스템이며, 새로 개발된 3개 시스템의 성능 개선정도를 평가하기 위해 네 번째 시스템으로서 전통적인 SDI 서비스에서 사용하고 있는 방법으로 시스템을 개발하였다. 실험결과 이용자 최대개입 피드백 기반 SDI 시스템이 가장 높은 성능을 보여 주었고, 완전자동 피드백 기반, 이용자 최소개입 피드백기반, 전통적 SDI 시스템 순으로 나타났으며, 피드백 기반 시스템들은 피드백이 진행될수록 그 성능이 향상되는 것으로 나타났다.

Abstract

As the Internet facilitates the rapid increase of information availability, the study on SDI service that provides users with relevant document in a timely manner has been developed. However, the practical use of this service has been low. This thesis aims at analyzing the reasons for this and developing relevance feedback based SDI system to improve the performance of the existing SDI system. Experimental systems that are developed for this study are SDI system based on users' minimum intervention feedback, SDI system based on perfect automation feedback, and SDI system based on users' maximum intervention feedback. The fourth system that utilizes the traditional SDI system is also studied to evaluate the level of performance improvement of the newly developed three types of SDI system. As a result of this study, SDI system based on users' maximum intervention feedback showed greatest performance improvement. The next performance improvement happened in order of SDI system based on perfect automation feedback, SDI system based on users' minimum intervention feedback, and the traditional SDI system. Feedback based systems showed greater performance improvement as they went through more feedback processes.

초록보기
초록

본 연구는 최근 7년간 문헌정보학분야에 게재된 논문 1,752건을 대상으로 빈도 분석과 네트워크텍스트 분석을 실시하여 다양한 주제 개념의 분포와 그 관계성을 도출하였다. 더불어 보다 최근의 연구 경향을 분석하고 변화 양상을 살펴보기 위해, 최근 2년 사이에 연구된 482건을 추출하여 2차 분석을 실시하였다. 분석 결과, 최근 7년간 문헌정보학 분야는 “공공도서관”과 “대학도서관” 개념을 중심으로 하는 연구가 가장 높은 출현 빈도를 보였으며, “평가”, “교육”, “웹”은 가장 높은 연결 중심성을 나타내 다양한 문헌정보학의 주제 개념들과 관련을 맺고 연구되고 있는 개념으로 파악할 수 있었다. 최근 2년간을 대상으로 한 2차 분석 결과에서는 “웹”, “분류” 개념이 종전보다 높은 상대 빈도를 보였으며, 네트워크 텍스트 분석 결과에서는 “이용자” 연구와 “공공도서관” 개념이 종전보다 더 다양한 주제 개념들과 관련을 맺고 수행되고 있음을 확인할 수 있었다.

Abstract

In this study, Network Text Analysis was performed on 1,752 articles which had been published in recent 7 years and drew the subject concept distribution and their relations in Library and Information Science research areas. Furthermore, for analyzing more recent trends and changing aspects, this study performed secondary analysis based on 482 articles published in recent 2 years. Results show that “public library”, and “academic library” concepts were most frequently studied in the field and “evaluation”, “education”, and “web” concepts showed the highest-degree centrality during the recent 7 years. In the result of recent two years analysis, “web”, and “classification” concepts showed high frequency and “user”, and “public library” showed an improvement in high degree centrality.

정보관리학회지