자연어처리 - 임베딩 파인튜닝

1. 프리트레인과 파인튜닝

- 프리트레인

- 파인튜닝? 프리트레인 이후 추가 학습을 시행해 임베딩을 다운스트림 태스크에 맞게 업데이트 하는 것

 

 

 

 

2. 단어 임베딩 활용

- 단어 수준 임베딩

- Word2Vec, FloVe, FastText, Swivel 네트워크에서 사용할 수 있음

 

(1) 단어임베딩

(2) Bi-LSTM

(3) 어텐션(attention) 

- 딥러닝 모델이 특정 벡터에 주목하게 만들어 모델의 성능을 높이는 기법 

 

(4) 피드포워드 뉴럴 네트워크

 

(5) 소프트맥스 

 

 

 

 

 

 

 

* 파인튜닝? 임베딩까지 모두 업데이트하는 기법

* 피처베이스(Feature-Based)? 임베딩은 그대로 두고 그 위의 레이어만 학습하는 방법 

 

 

 

3. 문장 임베딩 활용 -  ELMo 활용 

 

- ELMo가지고 파인튜닝 해보기 

 

 

 

출처

1. 한국어 임베딩, 이기창 지음

2. https://arxiv.org/pdf/1810.04805.pdf

3.

4.

5.