- 권한신청
- P-ISSN1013-0799
- E-ISSN2586-2073
- KCI
초록
본 연구는 도서관 정보서비스 환경에서 도서 이용자의 도서추천에 영향을 미치는 선호요인을 파악하기 위해 전 세계 도서 이용자의 참여로 이루어지는 사회적 목록 서비스인 Goodreads 리뷰 데이터를 대상으로 내용분석하였다. 이용자 선호의 내용을 보다 세부적인 관점에서 파악하기 위해 샘플 선정 과정에서 평점 그룹별, 도서별, 이용자별 하위 데이터 집합을 구성하였으며, 다양한 토픽을 고루 반영하기 위해 리뷰 텍스트의 토픽모델링 결과에 기반하여 층화 샘플링을 수행하였다. 그 결과, ‘내용’, ‘캐릭터’, ‘글쓰기’, ‘읽기’, ‘작가’, ‘스토리’, ‘형식’의 7개 범주에 속하는 총 90개 선호요인 관련 개념을 식별하는 한편, 평점에 따라 드러나는 일반적인 선호요인은 물론 호불호가 분명한 도서와 이용자에서 드러나는 선호요인의 양상을 파악하였다. 본 연구의 결과는 이용자 선호요인의 구체적 양상을 파악하여 향후 추천시스템 등에서 보다 정교한 추천에 기여할 수 있을 것으로 보인다.
Abstract
This study analyzed the contents of Goodreads review data, which is a social cataloging service with the participation of book users around the world, to identify the preference factors that affect book users’ book recommendations in the library information service environment. To understand user preferences from a more detailed point of view, sub-datasets for each rating group, each book, and each user were constructed in the sample selection process. Stratified sampling was also performed based on the result of topic modeling of review text data to include various topics. As a result, a total of 90 preference factors belonging to 7 categories(‘Content’, ‘Character’, ‘Writing’, ‘Reading’, ‘Author’, ‘Story’, ‘Form’) were identified. Also, the general preference factors revealed according to the ratings, as well as the patterns of preference factors revealed in books and users with clear likes and dislikes were identified. The results of this study are expected to contribute to more sophisticated recommendations in future recommendation systems by identifying specific aspects of user preference factors.
초록
본 연구는 여성의 건강과 밀접한 관련이 있는 모바일 월경주기 측정 애플리케이션을 대상으로 토픽모델링 기법과 함께 다양한 텍스트 마이닝 기법을 도입하여 사용자 경험 평가를 실시하였으며 그 결과를 허니콤(Honeycomb)모델과 결합하여 분석하였다. 월경주기측정 애플리케이션 리뷰에서 드러난 사용자 경험을 평가하기 위해 월경주기측정 애플리케이션의 한국어 리뷰 47,117개를 수집하였다. 리뷰에서 드러난 사용자 경험에 관한 전체적인 담론 확인을 위해 토픽모델링 분석을 실시하였고, 각 토픽 별 구체적인 경험을 확인하고자 동시출현 네트워크 관계로 구축한 텍스트 네트워크 분석을 실시하였다. 또한 사용자의 정서적 경험을 파악하기 위해 감정분석(Sentiment Analysis)을 실시하였다. 이를 기반으로 월경주기측정 애플리케이션의 개발 전략을 정확도, 디자인, 모니터링, 데이터관리 및 사용자관리 측면에서 제시하였다. 연구 결과, 애플리케이션의 월경주기측정 정확도 및 모니터링 기능을 개선해야 함이 확인되었으며 다양한 디자인적 시도가 필요함이 관찰되었다. 또한 개인정보와 사용자의 생체 데이터 관리방법에 대한 보완의 필요성도 확인되었다. 본 연구는 월경주기측정 애플리케이션의 사용자 경험(UX)을 심층적으로 탐색하여 이용자들이 경험한 다양한 요인을 밝히고 더 나은 경험을 제공하기 위한 실질적인 개선점을 제시하였다. 또한 사용자 경험을 평가하는 과정에서 방대한 양의 리뷰 데이터를 연구자가 면밀하게 파악할 수 있도록 토픽모델링과 텍스트 네트워크 분석 기법을 결합하여 방법론을 제시하였다는 점에서 의의가 있다.
Abstract
This study conducted user experience evaluation by introducing various text mining techniques along with topic modeling techniques for mobile menstrual cycle measurement applications that are closely related to women’s health and analyzed the results by combining them with a honeycomb model. To evaluate the user experience revealed in the menstrual cycle measurement application review, 47,117 Korean reviews of the menstrual cycle measurement application were collected. Topic modeling analysis was conducted to confirm the overall discourse on the user experience revealed in the review, and text network analysis was conducted to confirm the specific experience of each topic. In addition, sentimental analysis was conducted to understand the emotional experience of users. Based on this, the development strategy of the menstrual cycle measurement application was presented in terms of accuracy, design, monitoring, data management, and user management. As a result of the study, it was confirmed that the accuracy and monitoring function of the menstrual cycle measurement of the application should be improved, and it was observed that various design attempts were required. In addition, the necessity of supplementing personal information and the user’s biometric data management method was also confirmed. By exploring the user experience (UX) of the menstrual cycle measurement application in-depth, this study revealed various factors experienced by users and suggested practical improvements to provide a better experience. It is also significant in that it presents a methodology by combines topic modeling and text network analysis techniques so that researchers can closely grasp vast amounts of review data in the process of evaluating user experiences.
초록
전통적인 학술 커뮤니케이션 체제의 문제점을 해결하기 위한 대안으로 오픈액세스 패러다임에 대한 국제적 관심과 확산이 지속되고 있다. 하지만 데이터 기반의 정량적인 방법을 통해 오픈액세스 분야의 글로벌한 동향이나 성장 추세를 파악하려는 노력은 아직까지 부족한 실정이다. 본 연구는 오픈액세스 분야의 학술논문 데이터에 토픽 모델링을 적용하여 세부 연구토픽을 식별하고, 성장곡선을 적합하여 각 연구토픽의 성숙도와 예상 잔여수명을 계산한다. 본 연구는 오픈 사이언스의 세 가지 핵심요소인 오픈액세스, 오픈데이터, 오픈협업과 관련된 14개 토픽들을 식별하였으며, 오픈액세스 분야가 앞으로 약 65년간 꾸준히 성장할 것으로 예상하였다. 본 연구의 분석 결과는 연구자들과 정책 의사결정자들이 오픈액세스 분야의 동향과 성장 추세를 이해하는 데 도움을 줄 수 있을 것으로 기대된다.
Abstract
To solve the problems of the traditional scholarly communication system, global interest in the open access paradigm continues. Nevertheless, there is still a lack of research to understand global research and growth trends in the field of open access through data-based quantitative methods. This study aims to identify which sub-fields exist in open access and analyze how long each research field will grow in the future. To this end, topic modeling and growth curve analysis were applied to global academic papers in the field of open access. This study identified 14 research topics related to open access, open data, and open collaboration, which are three key elements of open science, and foresaw that the field of open access will grow over the next 65 years. The results of this study are expected to support researchers and policymakers in understanding global research trends of open access.
초록
우울증은 전 세계적으로 많은 사람들이 겪고 있으며, 최근 다양한 분야에서 꾸준히 우울증에 대한 연구가 수행되고 있다. 특히 사람들이 본인의 스트레스나 감정 상태에 대해 소셜미디어에 공유한 글을 통해 그들의 심리나 정신건강에 대해 파악해보고자 하는 맥락에서 소셜미디어를 활용한 연구 역시 유의미하게 받아들여지고 있다. 이에 본 연구에서는 우울 경향의 이용자와 그렇지 않은 이용자들의 2016년부터 2019년 2월까지의 트위터 데이터를 수집하여 어떤 주제적, 어휘 사용의 특성을 보이는지 보고자 하였으며, 우울 경향의 시기별로도 어떤 차이를 보이는지 살펴보기 위해 우울 경향 관측 날짜를 기준으로 하여 이전(before) 시기와 이후(after) 시기를 구분하여 실험을 수행하였다. 토픽모델링, 동시출현 단어분석, 감성분석 방법을 통해 우울 경향과 비(非)우울 경향 이용자의 텍스트의 주제적 차이를 살펴보았고, 감성 반응에 따라 사용한 어휘에 대해서도 살펴봄으로써 어떠한 특성이 있는지 확인해 보았다. 데이터 수집 단계에서 ‘우울’ 표현을 포함한 텍스트 데이터 수집방법을 통해 비교적 긴 기간, 많은 양의 데이터를 수집할 수 있었고, 또한 우울 경향의 여부와 시기적 구분에 따른 관심 주제에 대한 차이도 확인할 수 있었다는 점에서 유의미하다고 볼 수 있다.
Abstract
Depression is a serious psychological disease that is expected to afflict an increasing number of people. And studies on depression have been conducted in the context of social media because social media is a platform through which users often frankly express their emotions and often reveal their mental states. In this study, large amounts of Korean text were collected and analyzed to determine whether such data could be used to detect depression in users. This study analyzed data collected from Twitter users who had and did not have depressive tendencies between January 2016 and February 2019. The data for each user was separately analyzed before and after the appearance of depressive tendencies to see how their expression changed. In this study the data were analyzed through co-occurrence word analysis, topic modeling, and sentiment analysis. This study’s automated data collection method enabled analyses of data collected over a relatively long period of time. Also it compared the textual characteristics of users with depressive tendencies to those without depressive tendencies.
초록
본 연구에서는 국내 블록체인 연구의 전반적인 동향 및 시간에 따른 주제를 파악하기 위해 대학 및 기관 협력 네트워크 분석, 키워드 동시출현 네트워크 분석, 다이나믹 토픽모델링 기법을 활용한 시계열 주제 분석을 실시하였다. 대학 및 기관 협력 네트워크 분석 결과, 숭실대학교, 순천향대학교, 고려대학교, 한국과학기술원 등이 블록체인 연구의 주요 대학으로 나타났으며 대학 이외의 기관으로는 국방부, 한국철도기술연구원, 삼일회계법인, 한국전자통신연구원 등이 주요 연구기관으로 나타났다. 키워드 동시출현 네트워크 분석 결과, 가상자산(암호화폐, 비트코인, 이더리움, 가상화폐), 블록체인 기술(분산원장, 분산원장기술), 금융(스마트계약), 정보보안(보안, 프라이버시, 개인정보) 등에 대한 키워드들이 주요하게 나타났으며, 모든 네트워크 중심성 지표에서 스마트계약이 가장 높은 수치를 나타내어 주요한 주제임을 확인할 수 있었다. 마지막으로 시계열 주제분석 결과, 블록체인기술, 블록체인생태계, 블록체인 적용분야1(무역, 온라인투표, 부동산), 블록체인 적용분야2(식품, 관광, 유통, 미디어), 블록체인 적용분야3(경제, 금융) 등 다섯 개의 주요 주제들을 도출하였으며, 각 주제별 대표 키워드들의 비율변화를 통해 주제별 변화를 관찰할 수 있었다. 본 연구는 기존의 국내 블록체인 연구동향 연구들과 크게 세 가지 관점(데이터, 방법론, 해석)에서 차이점을 나타내고 있다. 1) 최근 2년 사이 급증한 블록체인 연구를 포함하였고, 2) 대학 및 기관 네트워크 분석과 시계열 주제분석이라는 새로운 분석기법 및 연구방법을 활용하였으며, 3) 이를 통해 블록체인 연구를 주도하는 대학 및 기관을 식별하고 국내 블록체인 연구 트렌드를 파악하였다. 끝으로, 연구결과가 블록체인 관련 연구 협력 및 정책 수립과 관련 기술 개발 계획에 활용될 수 있다는 점에서 실질적인 함의를 시사한다.
Abstract
This study aims to explore research trends in Blockchain studies in South Korea using dynamic topic modeling and network analysis. To achieve this goal, we conducted the university & institute collaboration network analysis, the keyword co-occurrence network analysis, and times series topic analysis using dynamic topic modeling. Through the university & institute collaboration network analysis, we found major universities such as Soongsil University, Soonchunhyang University, Korea University, Korea Advanced Institute of Science and Technology (KAIST) and major institutes such as Ministry of National Defense, Korea Railroad Research Institute, Samil PricewaterhouseCoopers, Electronics and Telecommunications Research Institute that led collaborative research. Next, through the analysis of the keyword co-occurrence network, we found major research keywords including virtual assets (Cryptocurrency, Bitcoin, Ethereum, Virtual currency), blockchain technology (Distributed ledger, Distributed ledger technology), finance (Smart contract), and information security (Security, privacy, Personal information). Smart contracts showed the highest scores in all network centrality measures showing its importance in the field. Finally, through the time series topic analysis, we identified five major topics including blockchain technology, blockchain ecosystem, blockchain application 1 (trade, online voting, real estate), blockchain application 2 (food, tourism, distribution, media), and blockchain application 3 (economy, finance). Changes of topics were also investigated by exploring proportions of representative keywords for each topic. The study is the first of its kind to attempt to conduct university & institute collaboration networks analysis and dynamic topic modeling-based times series topic analysis for exploring research trends in Blockchain studies in South Korea. Our results can be used by government agencies, universities, and research institutes to develop effective strategies of promoting university & institutes collaboration and interdisciplinary research in the field.
초록
본 연구는 높은 접근성과 간결성으로 인해 방대한 양의 텍스트를 생산하는 트위터 데이터를 분석하여 토픽의 변화 시점 및 패턴을 파악하였다. 먼저 특정 상품명에 관한 키워드를 추출한 후, 동시출현단어분석(Co-word Analysis)을 이용하여 노드와 에지를 통해 토픽과 관련 키워드를 직관적으로 파악 가능한 네트워크로 표현하였다. 이후 네트워크 분석 결과를 검증하기 위해 출현빈도 기반의 시계열 분석과 LDA 토픽 모델링을 실시하였다. 또한 트위터 상의 토픽 변화와 언론 기사 검색결과를 비교한 결과, 트위터는 언론 뉴스에 즉각적으로 반응하며 부정적 이슈를 빠르게 확산시키는 것을 확인하였다. 이를 통해 기업은 대중의 부정적 의견을 신속하게 파악하고 이에 대한 즉각적인 의사결정 및 대응을 위한 도구로 본 연구방법을 활용할 수 있을 것으로 기대된다.
Abstract
This study identified topic shifts and patterns over time by analyzing an enormous amount of Twitter data whose characteristics are high accessibility and briefness. First, we extracted keywords for a certain product and used them for representing the topic network allows for intuitive understanding of keywords associated with topics by nodes and edges by co-word analysis. We conducted temporal analysis of term co-occurrence as well as topic modeling to examine the results of network analysis. In addition, the results of comparing topic shifts on Twitter with the corresponding retrieval results from newspapers confirm that Twitter makes immediate responses to news media and spreads the negative issues out quickly. Our findings may suggest that companies utilize the proposed technique to identify public’s negative opinions as quickly as possible and to apply for the timely decision making and effective responses to their customers.
초록
사회․정치적 패러다임의 변화에 따라 공공기관의 기관업무 및 직제는 시시각각 신설되거나 통합 또는 폐지된다. 효과적인 기록관리 관점에서는 이러한 변화를 반영하여 이전에 구축된 기록물 분류체계와 현행 업무 맥락이 적정한지 검토할 필요가 있다. 그러나 대부분 기관에서는 분류체계 재정비 과정이 실무담당자나 기관 기록물 담당자의 실무 경험적 판단에 의존한 수작업으로 진행되고 있어, 기업의 변화가 적시에 반영되거나 전체 큰 맥락을 통합적으로 파악하기가 어렵다. 이에 본 연구는 이러한 문제를 보완하고 나아가 기록의 효율적인 관리를 위해 자동화 및 지능화 기술을 활용한 기록물 분류체계 재정비 방안을 제안한다. 또한 제안된 방법론을 실제 공공기관에 적용하고, 도출된 결과물을 기관의 기능분류 담당 실무자와 면담을 수행하여 그 실효성과 한계점을 검증하였다. 이를 통해 재정비한 기록물 분류체계의 정확도와 신뢰도를 높여 기록물 관리의 표준화 실현을 도모하고자 한다.
Abstract
As social and political paradigms change, public institution tasks and structures are constantly created, integrated, or abolished. From an effective record management perspective, it is necessary to review whether the previously established record classification schemes reflect these changes and remain relevant to current tasks. However, in most institutions, the restructuring process relies on manual labor and the experiential judgment of practitioners or institutional record managers, making it difficult to reflect changes in a timely manner or comprehensively understand the overall context. To address these issues and improve the efficiency of record management, this study proposes an approach using automation and intelligence technologies to restructure the classification schemes, ensuring records are filed within an appropriate context. Furthermore, the proposed approach was applied to the target institution, its results were used as the basis for interviews with the practitioners to verify the effectiveness and limitations of the approach. It is, aiming to enhance the accuracy and reliability of the restructured record classification schemes and promote the standardization of record management.
초록
본 연구에서는 대한민국 정부가 지정한 국가전략기술 사업인 반도체, 이차전지, 바이오 산업에 대한 여론을 파악하고 여론의 변화와 주가 흐름의 연관성을 분석하기 위해 각 산업별 대표 기업에 대한 기사의 댓글을 분석하였다. 반도체 산업에서 ‘삼성전자’, ‘SK하이닉스’, 이차전지 산업에서 ‘삼성SDI’, ‘LG화학’, 바이오 산업에서 ‘삼성바이오로직스’, ‘셀트리온’을 선정하여 이를 제목에 포함하고 있는 2020년 1월 1일부터 2020년 12월 31일까지 발행된 네이버 뉴스 기사의 댓글 47,452개를 수집하고 분석하였다. 먼저, 해당 댓글을 긍정, 중립, 부정의 감성으로 나누고 각 감성 그룹에서의 시간의 흐름에 따른 댓글의 동적인 주제를 분석하여 각 산업별 여론의 트렌드를 파악하였다. 분석 결과 반도체 산업 분야의 경우 투자, 코로나19관련 이슈, 삼성전자라는 대기업에 대한 신뢰, 정부 정책 변화로 인한 타격에 대한 언급이 주제 토픽으로 나타났다. 이차전지 산업체의 경우 투자, 배터리, 기업 이슈에 대한 언급이 주제 토픽으로 나타났다. 바이오 산업체의 경우 투자, 코로나19 관련 이슈 및 기업 이슈에 대한 언급이 주제 토픽으로 나타났다. 다음으로, 댓글의 감성이 실제 주가와 연관성이 있는지를 알아보고자 각 대표 기업 별 주가의 변화와 댓글의 감성 점수 변화를 시각적 분석기법을 이용하여 비교 분석하였다. 분석 결과, 댓글의 감성 점수와 주가의 변화 흐름이 매우 유사하게 나타남을 통해 여론의 감성 점수 변화와 주가의 흐름에는 연관성이 있음을 확인하였다. 본 연구는 주가와의 연관성이 높은 뉴스 기사 댓글을 분석했다는 점, 수집 시기를 코로나19로 선정하여 코로나19라는 특수한 상황에서의 여론 트렌드 변화를 파악했다는 점, 국가전략기술제도에 속하는 산업 기업에 대한 여론을 분석하여 정부기관의 관련 정책 제정에 객관적인 근거를 제공하였다는 점에서 의의를 지닌다.
Abstract
In this study, we analyzed comments on news articles of representative companies of the three industries (i.e., semiconductor, secondary battery, and bio industries) that had been listed as national strategic technology projects of South Korea to identify public opinions towards them. In addition, we analyzed the relationship between changes in public opinion and stock price. ‘Samsung Electronics’ and ‘SK Hynix’ in the semiconductor industry, ‘Samsung SDI’ and ‘LG Chem’ in the secondary battery industry, and ‘Samsung Biologics’ and ‘Celltrion’ in the bio-industry were selected as the representative companies and 47,452 comments of news articles about the companies that had been published from January 1, 2020, to December 31, 2020, were collected from Naver News. The comments were grouped into positive, neutral, and negative emotions, and the dynamic topics of comments over time in each group were analyzed to identify the trends of public opinion in each industry. As a result, in the case of the semiconductor industry, investment, COVID-19 related issues, trust in large companies such as Samsung Electronics, and mention of the damage caused by changes in government policy were the topics. In the case of secondary battery industries, references to investment, battery, and corporate issues were the topics. In the case of bio-industries, references to investment, COVID-19 related issues, and corporate issues were the topics. Next, to understand whether the sentiment of the comments is related to the actual stock price, for each company, the changes in the stock price and the sentiment values of the comments were compared and analyzed using visual analytics. As a result, we found a clear relationship between the changes in the sentiment value of public opinion and the stock price through the similar patterns shown in the change graphs. This study analyzed comments on news articles that are highly related to stock price, identified changes in public opinion trends in the COVID-19 era, and provided objective feedback to government agencies’ policymaking.
초록
본 연구는 코로나바이러스감염증-19 (이하 코로나19)로 인해 생겨난 코로나19 반시민성 주제와 코로나19 혐오 정서를 파악하기 위해 소셜 미디어 중 하나인 트위터의 코로나19 관련 게시물을 분석하였다. 2019년 12월 1일부터 2021년 8월 31일까지 21개월 동안 작성된 코로나19 관련 혐오 대상별(지역, 공공시설 혐오, 특정 인구 집단 혐오, 종교 혐오) 게시물 수집 및 전처리를 진행하여 총 63,802개의 게시물을 분석하였다. 혐오 대상별 빈도 분석, 다이나믹 토픽 모델링, 키워드 동시 출현 네트워크 분석 기법을 통하여 혐오 대상별 반시민성 주제와 혐오 키워드를 파악하였다. 첫째, 빈도 분석 결과, 지역, 공공시설 혐오는 상대적으로 증가하는 추세를 보이고 특정 인구 집단과 종교 혐오는 상대적으로 감소하는 추세를 확인할 수 있었다. 둘째, 다이나믹 토픽 모델링 분석 결과, 지역, 공공시설 혐오는 ‘대구, 경북지방 혐오’, ‘지역 간 혐오’, ‘공공시설 혐오’로 나타났고, 특정 인구 집단 혐오는 ‘중국 혐오’, ‘바이러스 전파자’, ‘실외(야외)활동 제재’로 나타났으며, 종교 혐오는 ‘신천지’, ‘기독교’, ‘종교 내 감염’, ‘방역 의무 거부’, ‘확진자 동선 비난’으로 나타났다. 셋째, 키워드 동시 출현 네트워크 분석 결과, 지역, 공공시설 혐오(코로나, 대구, 확진자, 신천지, 경북, 지역), 특정 인구 집단 혐오(코로나바이러스, 우한폐렴, 우한, 중국, 중국인, 사람, 입국, 금지), 종교 혐오(신천지, 코로나, 교회, 대구, 확진자, 감염) 등을 핵심 키워드로 확인할 수 있었다. 본 연구는 소셜 미디어를 활용한 국내 코로나19 혐오 대상 및 키워드 파악을 통해 코로나19 관련한 대중의 반시민성 여론을 파악하고자 하였다. 특히 기존의 선행연구에서 시도하지 않았던 주제인 코로나19 관련 혐오에 데이터 마이닝 기법을 이용하여 소셜 미디어에서 표출하는 대중의 반시민성 주제와 혐오 정서 탐색은 대중들의 여론을 파악하는 것이 의의가 있다. 더불어 본 연구 결과는 포스트 코로나 시대를 대비하는 문화적 소통 방안의 제도 및 정책 수립 기여를 위한 기본 자료에 기초할 수 있다는 점에서 실질적 함의를 시사한다.
Abstract
This study aims to understand topics of incivility related to COVID-19 from analyzing Twitter posts including COVID-19-related hate speech. To achieve the goal, a total of 63,802 tweets that were created between December 1st, 2019, and August 31st, 2021, covering three targets of hate speech including region and public facilities, groups of people, and religion were analyzed. Frequency analysis, dynamic topic modeling, and keyword co-occurrence network analysis were used to explore topics and keywords. 1) Results of frequency analysis revealed that hate against regions and public facilities showed a relatively increasing trend while hate against specific groups of people and religion showed a relatively decreasing trend. 2) Results of dynamic topic modeling analysis showed keywords of each of the three targets of hate speech. Keywords of the region and public facilities included “Daegu, Gyeongbuk local hate”, “interregional hate”, and “public facility hate”; groups of people included “China hate”, “virus spreaders”, and “outdoor activity sanctions”; and religion included “Shincheonji”, “Christianity”, “religious infection”, “refusal of quarantine”, and “places visited by confirmed cases”. 3) Similarly, results of keyword co-occurrence network analysis revealed keywords of three targets: region and public facilities (Corona, Daegu, confirmed cases, Shincheonji, Gyeongbuk, region); specific groups of people (Coronavirus, Wuhan pneumonia, Wuhan, China, Chinese, People, Entry, Banned); and religion (Corona, Church, Daegu, confirmed cases, infection). This study attempted to grasp the public’s anti-citizenship public opinion related to COVID-19 by identifying domestic COVID-19 hate targets and keywords using social media. In particular, it is meaningful to grasp public opinion on incivility topics and hate emotions expressed on social media using data mining techniques for hate-related to COVID-19, which has not been attempted in previous studies. In addition, the results of this study suggest practical implications in that they can be based on basic data for contributing to the establishment of systems and policies for cultural communication measures in preparation for the post-COVID-19 era.