노션 공유 페이지 : https://good-booth-b7d.notion.site/Text-preprocessing-Lexical-Analysis-7cb95682f76c4ae99a47534db72c49ef

0. 자연어 분석 4단계

• 어휘분석 : 입력된 문자열을 분석하여 형태소로 분리하는 단계 (품사 태깅 포함)
• 구문분석 : 문장의 구조를 분석하여 파싱(Parsing) 하는 단계
• 의미분석 : 구문 분석 결과 생성된 통사 구조에 의해 문장의 의미를 밝혀내는 작업을 수행하는 단계
• 화용분석 : 언어의 사용에 관련된 지식을 통해 문장을 해석함으로써 화자의 의도를 파악하는 작업
• 예시)

https://ratsgo.github.io/natural language processing/2017/03/22/lexicon/

• 어휘분석을 진행하기 전에 텍스트 전처리 진행

1. 텍스트 전처리 (Text preprocessing)

0)비정형 데이터란?

<aside> 💡 비정형 데이터 : 일정한 규격이나 형태를 지닌 숫자 데이터(Numeric data)와 달리 그림이나 영상, 문서처럼 형태와 구조가 다른 구조화 되지 않은 데이터

</aside>

비정형 데이터 예시) 음성정보, 동영상정보, 시각 정보 등

• 텍스트는 대표적인 비정형 데이터
• 비정형 데이터인 텍스트(raw data)를 정형화된 Feature 형태로 나타내도록 전처리 해줘야 함