01. 통계 기반 자연어 처리 절차

데이터 수집 -> 텍스트 전처리 -> 텍스트 분석 -> 시각화

아마 내가 학부생때 배웠던 자연어처리는 이거인듯 하다 

주로 R로 작성했고 특별한 이론이 없었던것 같은 느낌

과제로 대한항공 후기 댓글 분석, 영화댓글 분석 하는것 함

이번 과정은 딥러닝 적용도 해보겠읍니다

 

데이터 수집

크롤링 과정,open API 수집 

텍스트 전처리

포스트 내용을 일관된 포맷으로 정리, 토큰화(분석이 가능한 단위로 분리), stopword 처리, 품사 부착, 원형 복원 (표준화 과정)

텍스트 분석

포스트 내용을 긍정/부정/중립 판단, 토픽모델링, 감성분석(주관성 분석), 문서 요약 (문서 내 중요한 내용 찾아 요약)

시각화 

wordcloud, EDA 등등

 

출처: https://github.com/insightcampus/sesac-nlp