NeuralTalk это приложение, работающее по принципу нейронных сетей, и основанное на разработках Стендфордского Университета и Google.
Программист Кайл Макдональд из США немного модифицировал исходный код оригинального NeuralTalk и использовал NeuralTalk2 для того, чтобы компьютер описывал все, что он видит на улицах Амстердама.
Обработка изображения идет в реальном времени и для этого используется обычная веб-камера на Macbook Pro 2013 года выпуска. Сам поток обрабатывается видеокартой NVIDIA 750M с 2 ГБ памяти.
Результат распознавания не идеален, но во многих случаях нейронная сеть обычным человеческим языком на удивление корректно, и действительно в режиме реального времени, распознает и комментирует то, что она видит через веб-камеру.