자연어처리 - 임베딩

0. 단어 임베딩(Word Embedding)이란?

- 단어의 의미를 고려하여 좀 더 조밀한 차원에서 단어를 벡터로 표현하는 것 

 

 

1. 단어 수준 임베딩

 

 

 

2. 문장 수준 임베딩

2.1 ELMO 

-  ELMo(Embeddings from Language Model)  - 미국 연구기관 앨런 에이아이와 미국 워싱턴 대학교 공동 연구팀이 발표한 문장 임베딩 기법

- 전이학습(Transfer learning)을 자연어 처리에 접목 (전이학습? 이미 학습된 모델을 다른 딥러닝 모델의 입력값 또는 부분으로 재사용하는 기법)

 

* ELMo는 크게 3가지 요소로 구성되어 있다. 

 

 

1. Convolutional Neural Network

- 각 단어 내 문자들 사이의 의미적, 문법적 관계를 도출한다.

 

 

 

 

2. LSTM 레이어

- Bi-directional LSTM Layer 

- 단어들 사이의 의미적, 문법적 관계를 추출해내는 역할을 함

 

 

 

3. ELMo 레이어

- ELMo 레이어는 프리 트레인이 끝난 이후 구체적인 다운 스트림 태스크를 수행하는 과정에서 학습함

- (1) 문자 단위 컨볼루션 신경망 벡터

- (2) 양방향 LSTM 레이어의 출력 벡터 등을 가중합 시킴 -> 가중치들을 다운스트림 태스크의 학습 손실을 최소화하는 방향으로 조금씩 업데이트 되면서 학습