CaptionBot работает не только с готовым набором изображений, но позволяет загружать свои фотографии, а также давать прямые веб-ссылки на них.
После нескольких секунд анализа бот выдает описание, и в случае с простыми фотографиями большая часть описания как правило верна. Прямо сейчас сайт может выдавать ошибку из-за большой нагрузки.
CaptionBot объединяет в себе две нейронные сети. Одна анализирует изображения, а другая составляет описание с помощью природного человеческого языка. Как видно, эмоции человека CaptionBot пытается описать не с помощью слов, а с помощью эмодзи.