딥러닝 LSTM (Long Short-Term Memory)

LSTM

 

의미 있는 데이터와 의미 없는 데이터를 구분하고, 정보가 많아지면 기울기의 소실이 생기는데 이를 막기 위해 나온 개념이다. 

 

 

기본 RNN에서 Cells이라는 개념이 추가된다. Cells란 정보를 임시적으로 저장하는 소자이고 이 정보를 망각, 입력, 출력 게이트를 이용하여 전달한다.

이렇게 정보가 많이 생기니 파라미터가 훨씬 많아지는 단점이 있다.

 

 

 

망각 게이트

 

 

시그모이드를 적용하여 결과가 크면 이전의 상태 값을 많이 통과시키고,

작으면 조금만 통과시키는 동작을 하는 부분인데 만약 0이라면 거의 0으로 입력을 받는 즉, 망각하는 동작을 수행한다.

 

이렇듯 망각 게이트는 과거의 데이터를 얼마나 받아들이냐를 결정한다.

 

 

입력 게이트

 

망각 게이트로부터 들어온 애와 더해주는데 입력단을 얼마나 받아들일지 결정한다.

 

 

출력 게이트

 

얼마나 출력으로 내보낼지 결정한다.