추론 기반 기법

---

추론 기반 기법의 개요

추론 기반 기법은 통계 기반 기법과 달리 단어에서 문맥 또는 문맥에서 단어를 예측하는 방법이다.

 

You ? goodbye and I say hello.

 

You say ? and I say hello.

 

You say goodbye ? I say hello.

 

You say goodbye and ? say hello.

 

You say goodbye and I ? hello.

 

You say goodbye and I say ?.

CBOW(continous bag-of-words)모델

CBOW 모델은 맥락으로부터 target을 추측하는 용도의 신경망이다.

CBOW 모델

입력층에는 추론할 단어의 맥락의 원핫 벡터이다.

은닉층에서는 평균을 구한다.

정답 레이블은 추론할 단어의 원핫 벡터이다.

편향과 활성화 함수가 없는 것이 특징이다.

 

은닉층의 가중치(Win)의 각 행은 해당 단어의 분산 표현이다.

 

 

 

CBOW 모델의 계산그래프는 아래와 같다.

CBOW 모델의 계산 그래프

skip-gram 모델

skip-gram 모델은 중앙 단어로부터 맥락을 추측하는 모델이다.

 

? say ? and I say hello.

 

You ? goodbye ? I say hello.

 

You say ? and ? say hello.

 

You say goodbye ? I ? hello.

 

You say goodbye and ? say ?.

 

You say goodbye and I ? hello.

 

중앙 단어로부터 맥락을 추측하는 것은 꽤 어려운 문제이다.

skip-gram 모델은 더 어려운 문제에 도전한다고 볼수있다.

더 어려운 상황에서 단련하는 만큼 skip-gram 모델이 내어주는 단어의 분산 표현이 더 뛰어날 가능성이 커진다.

말뭉치가 커질수록 저빈도 단어나 유추문제의 성능 면에서 skip-gram 모델이 더 뛰어난 경향이 있다.