Штучний інтелект

Анотація: В статті описано новий метод регуляризації column drop для навчання згорткових нейронних мереж для класифікації, що робить їх інваріантними до вибору підзображення. Використання такої регуляризації відкидає необхідність в розширенні навчальної вибірки зображень за допомогою вибору випадкових підзображень, за певних умов на архітектуру мережі. Застосування column drop до pooling шарів мережі призводить до покращення точності класифікації на тестовій вибірці у порівнянні з використанням методу dropout для pooling шарів.

Ключові слова:

Посилання:

1. Goodfellow I, Bengio Y, Courville A (2016)Deep Learning. MIT Press, http://www.deeplearningbook.org
2. Srivastava N, Hinton G, Krizhevsky A, Sutskever I,Salakhutdinov R (2014) Dropout: A simple way toprevent neural networks from overfitting. Journal ofMachine Learning Research 15:1929–1958.
3. A. Krizhevsky, I. Sutskever, and G. E. Hinton.Imagenet classification with deep convolutionalneural networks. In NIPS, 2012.
4. Huang G, Liu Z, van der Maaten L, WeinbergerKQ (2017) Densely connected convolutionalnetworks. In: Proceedings of the IEEEConference on Computer Vision and PatternRecognition
5. Bishop C.M. Pattern Recognition and MachineLearning. – Springer Science + Business Media2006. – 703 p.
6. Krizhevsky A., Learning Multiple Layers offeatures from tiny images, 2009.
7. S. Ioffe and C. Szegedy. Batch normalization:Accelerating deep network training by reducinginternal covariate shift. In ICML, 2015
8. X. Glorot, A. Bordes, and Y. Bengio. Deep sparserectifier neural networks. In AISTATS, 2011.