Embedding Embedding 층은 수많은 단어 또는 데이터를 벡터 형태로 표현할 수 있기 때문에 텍스트 분류를 위해 사용하는 가장 기본에 해당하는 츨 사전 학습 모델을 불러와 사용할 수 있음 토큰, 토큰화, 텍스트 분류에 해당하는 기본적 용어를 알고 사용해보자 토큰 (Token) 문법적으로 더 이상 나눌 수 없는 언어 요소 이를 수행하는 작업을 토큰화(Tokenizer)라고 함 텍스트 데이터를 신경망에 입력하기 위해서 일반적으로 토큰화 작업을 수행하고 정의된 토큰에 고유 인덱스를 부여한 뒤 인코딩을 통해 적절한 형태로 바꿔주는 전처리 작업 과정을 거치게 됨 원핫 인코딩, 이진 인코딩 워드 임베딩(Word Embedding) 토큰화 작업 수행하기 tensorflow.keras.preprocessin..
