- LSTM (Long-short-term network)
- http://colah.github.io/posts/2015-08-Understanding-LSTMs/
- 因為RNN會有隨時間記憶遞減的現象, 因此有LSTM作為解法
- 可以 記得 or 忘記 or Input or Output
- Forget gate
- Input gate
- Output gate
- Memory network
- 用storage section儲存資料,用NN做分類讀取資料區
- 可應用在類似閱讀測驗
- 存起每個句子, 透過一個score function篩選出對問題最有用的句子
- Attention
- More…
- Neural Tuning Machine
- Neural Programmer
- Diffentail Neural computer
沒有留言:
張貼留言