skip-gram model

미리 학습된 언어 모델https://ratsgo.github.io/nlpbook/docs/lmBERT, GPT가 주목받는 이유 -> 이전에 있었던 모델보다 성능이 좋기 때문공통점 : 미리 학습된 언어 모델(pretrained language model) -> 전이학습 언어 모델단어 시퀀스에 확률을 부여하는 모델단어 시퀀스를 입력받아 해당 시퀀스가 얼마나 그럴듯한지 확률을 출력하는 모델순방향 언어 모델임의의 단어 시퀀스가 해당 언어에서 얼마나 자연스러운지 이해하고 있는 모델 구축조건부 확률에따라 언어 모델의 계산 로직을 이전 단어들(context)가 주어졌을 때 다음 단어 맞추기로 정해도 목표 달성 가능문장 앞부터 뒤로, 사람이 이해하는 순서대로 계산하는 모델GPT가 이같은 방식으로 pretrain 수행G..