2016/10/19 meeting_deep learning

慶祝老師10/20生日~~
可是我真的吃不下炸雞, 只吃得下冰淇淋蛋糕
感覺昨天跑的又全都吃回來惹QQ

- - -
今日講題: CNN (Convolutional neural network)

• Background
• Local connectivity: 以image processing來說, 每個neuron不是抓大picture, 而是抓local的一個局部區域, 看在此局部區域內有沒有出現我們要找的feature, 每個neuron彼此再形成一個layer
• Shared weight: neuron間彼此share weight 可以節省neuron
• Architecture
• 原本的一個image, 經過convolution處理, 長寬一次比一此窄, 但一次比一次厚
• 厚度每一層就代表一個feature, 該layer上的數值即代表該feature的強度
• Pooling layer: 把每個局部feature map中最大數值挑出來就好(因為只管有/沒有該feature)
• Residual Nets
• Deep Residual Learning for Image Recognition (Residual Net ICML)
• 由底層直接將Gredient直接傳到output層, 容易實作, 且不會有太多層無法training的問題
• Identity Mappings in Deep Residual Networks
• Application

- - -