krwordrank를 이용한 주요 뉴스 분석

impl.py

## pip3 install krwordrank
import krwordrank

from krwordrank.sentence import summarize_with_sentences
from typing import List

## initialize
period = '1D'
category = 'cyber security'

## fetch로 가져온 후 preprocess를 통해 list or str 로 만들기
# db에서 기간, 카테고리를 필터로 id, title 열만 가져오기. 
# e.g., (1, "2021년 상반기 사이버 위협 동향보고서")
raw_docs = fetch_from_db(period, category, cols=['id', 'title']) 

docs: List[str] = preprocess(raw_docs)

## [!] 이 정보들을 이용해서 시각화 
keywords, sents = summarize_with_sentences(texts, num_keywords=100, num_keysents=10)
sorted_keywords = sorted(keywords.items(), key=lambda x:-x[1])

## 그리고 위에서 얻은 주요 문장들(sents)로 주요 기사 id 가져오기
# 이 정보로 db에서 기사 본문을 가져와 summarize후 시각화
indices = [raw_docs.index(sent) for sent in sents]


"""sents : list of str
['여운이 크게남는영화 엠마스톤 너무 사랑스럽고 라이언고슬링 남자가봐도 정말 매력적인 배우인듯 영상미 음악 연기 구성 전부 좋았고 마지막 엔딩까지 신선하면서 애틋하구요 30중반에 감정이 많이 메말라있었는데 오랜만에 가슴이 촉촉해지네요',
 '영상미도 너무 아름답고 신나는 음악도 좋았다 마지막 세바스찬과 미아의 눈빛교환은 정말 마음 아팠음 영화관에 고딩들이 엄청 많던데 고딩들은 영화 내용 이해를 못하더라ㅡㅡ사랑을 깊게 해본 사람이라면 누구나 느껴볼수있는 먹먹함이 있다',
 '정말 영상미랑 음악은 최고였다 그리고 신선했다 음악이 너무 멋있어서 연기를 봐야 할지 노래를 들어야 할지 모를 정도로 그리고 보고 나서 생각 좀 많아진 영화 정말 이 연말에 보기 좋은 영화 인 것 같다',
 '무언의 마지막 피아노연주 완전 슬픔ㅠ보는이들에게 꿈을 상기시켜줄듯 또 보고 싶은 내생에 최고의 뮤지컬영화였음 단순할수 있는 내용에 뮤지컬을 가미시켜째즈음악과 춤으로 지루할틈없이 빠져서봄 ost너무좋았음',
 '처음엔 초딩들 보는 그냥 그런영화인줄 알았는데 정말로 눈과 귀가 즐거운 영화였습니다 어찌보면 뻔한 스토리일지 몰라도 그냥 보고 듣는게 즐거운 그러다가 정말 마지막엔 너무 아름답고 슬픈 음악이 되어버린',
 '정말 멋진 노래와 음악과 영상미까지 정말 너무 멋있는 영화 눈물을 흘리면서 봤습니다 영화가 끝난 순간 감탄과 동시에 여운이 길게 남아 또 눈물을 흘렸던내 인생 최고의 뮤지컬 영화',
 '평소 뮤지컬 영화 좋아하는 편인데도 평점에 비해 너무나 별로였던 영화 재즈음악이나 영상미 같은 건 좋았지만 줄거리도 글쎄 결말은 정말 별로 6 7점 정도 주는게 맞다고 생각하지만 개인적으로 후반부가 너무 별로여서',
 '오랜만에 좋은 영화봤다는 생각들었구요 음악도 영상도 스토리도 너무나좋았고 무엇보다 진한 여운이 남는 영화는 정말 오랜만이었어요 연인끼리 가서 보기 정말 좋은영화 너뮤너뮤너뮤 재밌게 잘 봤습니다',
 '음악 미술 연기 등 모든 것이 좋았지만 마지막 결말이 너무 현실에 뒤떨어진 꿈만 같다 꿈을 이야기하는 영화지만 과정과 결과에 있어 예술가들의 현실을 너무 반영하지 못한 것이 아닌가하는 생각이든다 그래서 보고 난 뒤 나는 꿈을 꿔야하는데 허탈했다',
 '마지막 회상씬의 감동이 잊혀지질않는다마지막 십분만으로 티켓값이 아깝지않은 영화 음악들도 너무 아름다웠다옛날 뮤지컬 같은 빈티지영상미도 최고']
 """

"""sorted_keywords : List[Tuple[str, float]]
[('영화', 201.02402099523516),
 ('너무', 81.53699026386887),
 ('정말', 40.53709233921311),
 ('음악', 40.43446188536923),
 ('마지막', 38.598509495213484),
 ('뮤지컬', 23.198810378709844),
 ('최고', 21.810147306627464),
 ('사랑', 20.638511587426862),
 ('꿈을', 20.43744237599688),
 ('아름', 20.324710458174806)]
"""