Рубрики Статьи

Процессор Tensor от Google: шаг в будущее и отрыв от конкурентов или провал? Разбираемся в особенностях чипа

Опубликовал
Юрий Грисюк

Осенью 2021 года «корпорация добра» представила новый флагман Google Pixel 6 Pro. Его уже традиционно нельзя купить официально в Украине, но оттого устройство не становится менее интересным. Посмотреть там есть на что. Это первые устройства, где Google использовал процессор собственной разработки вместо Snapdragon. Давайте выясним, вышел ли первый блин комом.

Архитектура ARM и необычная компоновка: что из себя представляет Tensor в техническом плане

Начнем с хорошего. Если смотреть объективно на рынок потребительской электроники, то Pixel были телефонами для гиков еще начиная с линейки Nexus. Google нашел своего покупателя, умело балансируя между доступной ценой и мощным железом.

Киллер-фичей всех смартфонов от Google всегда был чистый Android. Но с недавних пор появилась и вторая фича: собственный процессор. Google Tensor – это не очередная попытка повторить достижения Samsung, Huawei, Qualcomm и даже Apple. Google ни много ни мало замахнулся на создание стандарта индустрии для мобильных чипов.

Уже появились слухи, что началась разработка Google Pixel 7 с Tensor 2

На первый взгляд Tensor ничем не превосходит процессоры конкурирующих компаний. Tensor не самый быстрый, не самый энергоэффективный, далеко не такой вертикально интегрированный, как A15, ведь в процессорах Apple, в отличие от Google, свой дизайн ядер, своя графика и вообще все свое, кроме модема.

В основе процессора – архитектура ARM. Снова ничего необычного. По их лицензии создают свои чипы Samsung, Huawei, Mediatek и теперь Google.

Курс English For IT: Communication від Enlgish4IT.
Почни легко працювати та спілкуватися з мультикультурними командами та міжнародними клієнтами. Отримайте знижку 10% за промокодом ITCENG.
Інформація про курс

Отдельно хочу обратить внимание на то, что ARM дает рекомендации по оптимальной комбинации ядер. Давайте разберемся, что это значит, на практике.

Стандартная компоновка процессора

Стандарт индустрии на сегодня – это трехкластерная компоновка 1 + 3 + 4, где есть одно огромное ядро Cortex X1, три мощных ядра Cortex A78 и четыре энергоэффективных Cortex A55.

Такая компоновка используется в Snapdragon 888. Exynos 2100 и другие производители делают примерно то же самое. Особенность Google в том, что решили создать свой рецепт всем известного пирога.

Компоновка ядер, которую используют в Google Tensor

Google Tensor в качестве энергоэффективных ядер, как и у всех, использует четыре ядра Cortex A55, но вместо одного альфа-ядра тут сразу два Cortex x1, а вместо актуальных на текущий момент Cortex A78 они используют два ядра Cortex A76 образца 2018 года.

Какая в этом логика, если в использовании старых ядер нет ни экономической выгоды, ни технического обоснования?

Если сравнивать ядра A76, A77 и A78 по производительности, потребляемой энергии и площади, то при использовании одинакового 7 нм техпроцесса выходит, что A76 из этой троицы самые компактные и самые энергоэффективные.

Google уже использовал два огромных мощных ядра Х1, они банально не могут поставить им в пару практически такие же мощные А78. Процессор будет перегреваться, как делает Snapdragon 888 с одним ядром Х1. Поэтому в Google взяли Cortex A76 как самые оптимальные средние ядра, и за счет этого у них получилась куда более честная трехкластерная компоновка 2 + 2 + 4.

Более того, Cortex А76 в Google Tensor – это не те же самые ядра, что используют в Pixel 4. Тогда процессор разрабатывался по техпроцессу 7 нм, сейчас же Google использует новый 5 нм техпроцесс, что позволило сделать ядра еще меньше и еще энергоэффективнее.

Процессор Google в бенчмарках не чемпион, но и не аутсайдер. Стоит признать, что Snapdragon 888 объективно быстрее.

Сравнение Google Tensor и Snapdragon 888 в бенчмарках
Google Tensor Snapdragon 888 Exynos 2100
CPU 2x Arm Cortex-X1 (2.80GHz)
2x Arm Cortex-A76 (2.25GHz)
4x Arm Cortex-A55 (1.80GHz)
1x Arm Cortex-X1 (2.84GHz, 3GHz for Snapdragon 888 Plus)
3x Arm Cortex-A78 (2.4GHz)
4x Arm Cortex-A55 (1.8GHz)
1x Arm Cortex-X1 (2.90GHz)
3x Arm Cortex-A78 (2.8GHz)
4x Arm Cortex-A55 (2.2GHz)
GPU Arm Mali-G78 MP20 Adreno 660 Arm Mali-G78 MP14
RAM LPDDR5 LPDDR5 LPDDR5
ML Tensor Processing Unit Hexagon 780 DSP Triple NPU + DSP
Media Decode H.264, H.265, VP9, AV1 H.264, H.265, VP9 H.264, H.265, VP9, AV1
Modem 4G LTE
5G sub-6Ghz & mmWave
4G LTE
5G sub-6Ghz & mmWave
7.5Gbps download
3Gbps upload
(integrated Snapdragon X60)
4G LTE
5G sub-6Ghz & mmWave
7.35Gbps download
3.6Gbps upload
(integrated Exynos 5123)
Process 5nm 5nm 5nm

Технические характеристики Google Tensor, Snapdragon 888 и Exynos 2100. Источник: androidauthority.com

И что? Вот это все, над чем Google работал все четыре года? Зачем все эти эксперименты с компоновкой? Ответ кроется в искусственном интеллекте, где Google поработал лучше всех. Давайте разбираться, что это такое.

Что умеет Tensor processing unit и над чем в Google работали последние годы

Google Tensor – это собственный нейронный движок. Tensor Processing Unit – этот блок с искусственным интеллектом – результат разработки Google, которую они представили в 2017 году. В честь этого нейронного модуля и назван сам процессор. Этот нейромодуль показывает трехкратную скорость по сравнению с конкурентами, например, в области обработки изображений. Это не просто небольшое преимущество, это, по сути, разница в несколько поколений устройств.

Начнем с фотографий и камеры. В одном из недавних обновлений Google представил HDR+ с функцией брекетинга для камеры на телефонах Pixel. В основе обновления «под капотом» работает функция, которая объединяет HDR+ и брекетинг. Объясняю, что это.

Для примера GIF-изображение с фотографиями, на которых используется HDR+ (красный контур) и HDR+ с брекетингом (зеленый контур). Хотя характерный вид HDR+ остается прежним, брекетинг улучшает качество изображения, особенно в тенях, с более естественными цветами, улучшенными деталями и текстурой, а также уменьшенным шумомmore
Использование серий снимков для улучшения качества изображения. HDR+ начинается с серии необработанных изображений с полным разрешением, каждое из которых недоэкспонировано на одинаковую величину (слева). В зависимости от условий от 2 до 15 изображений выравниваются и объединяются в вычислительное и необработанное изображение (в центре). Объединенное изображение имеет уменьшенный шум и увеличенный динамический диапазон, что приводит к более качественному конечному результату (справа) more

Для примера, на первом фото GIF-изображение с фотографиями, на которых используется HDR+ (красный контур) и HDR+ с брекетингом (зеленый контур). Хотя характерный вид HDR+ остается прежним, брекетинг улучшает качество изображения, особенно в тенях, с более естественными цветами, улучшенными деталями и текстурой, а также уменьшенным шумом

На втором фото: использование серий снимков для улучшения качества изображения. HDR+ начинается с серии необработанных изображений с полным разрешением, каждое из которых недоэкспонировано на одинаковую величину (слева). В зависимости от условий от 2 до 15 изображений выравниваются и объединяются в вычислительное и необработанное изображение (в центре). Объединенное изображение имеет уменьшенный шум и увеличенный динамический диапазон, что приводит к более качественному конечному результату (справа)

Эта функция работает так: объединяет изображения, снятые с разным временем экспозиции, и улучшает качество изображения (особенно в тенях), что делает более естественными цвета, улучшает детали и текстуру, а также снижает шум. Но почему так сложно снимать HDR-фотографии?

К сожалению HDR+ никак не решает проблему шума на фотографиях с очень большим количеством мелких элементов

По сути, HDR+ – это быстрые серии фотографий, которые сняты с минимальной выдержкой, после чего их объединяют и визуализируют так, чтобы сохранить детали во всем диапазоне тонов. Съемки HDR-сцен затруднены из-за физических ограничений датчиков изображения в сочетании с ограничением светосилы матрицы в тени. Мы можем правильно выставить либо тени, либо светлые участки, но не то и другое одновременно.

Одна и та же сцена снята с разными настройками экспозиции и тона с одинаковой общей яркостью. Слева вверху: экспозиция, установленная для светлых участков. Ярко-голубое небо сохранилось, но тени очень шумные. Справа внизу: экспозиция для теней. Шум в тенях уменьшен, но небо обрезано (белое)

Добавление брекетинга в HDR+ потребовало изменения стратегии захвата изображения. Захват осложняется нулевой задержкой срабатывания затвора, которая обеспечивает быстрый захват на Pixel.

Кадры, которые появляются в видоискателе до нажатия кнопки спуска затвора, это кадры, которые мы используем для объединения серий HDR+. Для брекетинга мы снимаем дополнительный кадр с длинной выдержкой после нажатия кнопки спуска затвора, который не отображается в видоискателе.

Вверху обычный метод HDR+ который захватывает короткие выдержки до нажатия кнопки спуска затвора. Внизу: HDR+ с брекетингом захватывает пять коротких экспозиций до нажатия кнопки затвора и одну длинную экспозицию после нажатия кнопки затвора

Google был пионером в области вычислительной фотографии на смартфонах и обеспечил лучшее в отрасли качество обработки смазанных изображений. Компания продолжила развивать этот аспект с помощью последних камер Pixel 6 и Pixel 6 Pro и разработки того, что она называет технологией эксклюзивных камер.

В компании устранили то, что в народе называли «расовым предубеждением в камерах смартфонов» – когда темные оттенки кожи могут выглядеть размытыми. Сейчас в Google выделяют Pixel 6 и Pixel 6 Pro из всех камер-конкурентов, поскольку они могут точно и естественно захватывать оттенки кожи людей всех рас. Это достигается за счет коррекции рассеянного света, который размывает более темные тона кожи.

Левое изображение снято фронтальной камерой Pixel 6 11,1 МП, а правое – фронтальной камерой iPhone 13 Pro Max 12 МП. Разница между двумя фотографиями разительна. Мало того, что изображение Pixel лишено рассеянного света, из-за которого изображение iPhone выглядит размытым, оно также использует машинное обучение в чипе Tensor для повышения резкости лица с помощью замера движения. Учитывая, как Apple продвигает политику расового разнообразия как внутри компании, так и публично, будет очень интересно посмотреть, как она отреагирует. Сможет ли Apple добавить эту возможность в серию iPhone 13 в качестве обновления программного обеспечения или пользователям придется подождать до выхода iPhone 14, который ожидается в октябре этого года?

Изображение слева, снятое на Pixel 6, обеспечивает более четкие, ровные и естественные оттенки кожи. Изображение справа, снятое на iPhone 13 Pro Max, по сравнению с ним выглядит более размытым

Из чего состоит Google Tensor

Давайте углубимся в то, из чего состоит Google Tensor. А состоит он из семи логических узлов. TPU – расшифровывается как Tensor Processing Unit – самый важный элемент процессора, блок с искусственным интеллектом, который обрабатывает человеческую речь и фотографии с молниеносной скоростью. В его честь и назван сам процессор.

ISP – процессор сигналов изображения, который запускает алгоритм HDR, что является ключевой причиной, по которой Pixel 6 и Pixel 6 Pro могут более эффективно обрабатывать видео HDR+ 4K в реальном времени со скоростью 60 FPS.

Security – это подсистема на базе ЦП, которая изолирована от процессора и предназначена для выполнения важных задач и элементов управления. Он работает со специальным чипом безопасности Titan M2, который не является частью Tensor, но Google рекламирует его как устойчивый к продвинутым атакам, таким как электромагнитный анализ, скачки напряжения и разблокировка с помощью сканера отпечатков пальца.

Titan M работает вместе с программным обеспечением, чтобы предотвратить откат вашего телефона к более старой версии Android, которая может иметь уязвимости в системе безопасности. Он также предотвращает разблокировку загрузчика и проверяет пароль экрана блокировки.

Content Hub – сопроцессор, который обеспечивает «машинное обучение в сфере сверхнизкого энергопотребления». Это позволяет постоянно включенному дисплею Always in Display и другим функциям работать все время, не разряжая батарею.

Чтобы обеспечить такую высокую скорость обработки фотографий, Google представил то, что называется гетерогенными вычислениями. Это значит, когда камера делает серию снимков или происходит видеозапись, в подходах конкурентов вся нагрузка уходит на центральный процессор. А в Google Tensor на процессор идет средняя нагрузка вместо максимальной. Благодаря такой схеме обрабатывать фотографии получается быстрее за счет того, что одновременно с центральным процессором тут на полную трудится сигнальный процессор – ISP, который постоянно считывает и обрабатывает данные с матрицы, а также графический сопроцессор.

Распределение одной задачи для выполнения на всех нужных логических блоках – это и называется гетерогенными вычислениями.

На этой схеме показано, как во время фотосъемки система на чипе по очереди включает и передает задачу к следующему узлу

Поэтому нейронный движок в режиме реального времени распознает и сегментирует изображение 60 FPS, и вот именно под такие средние гетерогенные нагрузки и спроектирован Google Tensor.

Фил Кармак – один из руководителей проекта Google Tensor

«В задачах с довольно высокой нагрузкой мы используем два ядра X1 на пониженных частотах, что делает их ультраэффективными. При условиях, в которых вы бы привычно использовали пару Cortex A76, выжатых на максимум, пара Cortex X1 будет едва напрягаться»

Недостатки и проблемные места

Но вернемся с небес на землю, потому что всегда на бочку меда найдется ложка дегтя. Смартфон – это не только «железная» часть, но еще и софтверная, и обе должны работать как швейцарские часы. Если что-то сбоит, то устройство будут нещадно критиковать. Так и получилось с Google, где «софтовая» часть снова оказалась проблемной. Судя по всему, с последними флагманскими смартфонами Google возникают три проблемы. И все они относятся к дисплею.

Телефоны Pixel 6 мерцают, если нажать на кнопку питания, когда они выключены. Хотя это не мешает людям нормально использовать свои устройства, это ненормальное поведение. Некоторые пользователи предполагают, что проблема может быть в результате статического заряда.

Вторая проблема – Pixel 6 Pro поставляется с двойной дырочкой камеры. Как вообще можно выпускать устройство с такими проблемами? Что делает их отдел по качеству и, в конце концов, по тестированию?

Наконец, у некоторых устройств серии Pixel 6 зеленый оттенок, как показано на фотографии ниже. Стоит признать, что зеленые оттенки характерны для дисплеев AMOLED и OLED, но почему производитель не проверил устройства перед тем, как выпускать в продажу?

Последняя из проблем – когда приходит сообщение, экран самостоятельно тухнет и включается через долю секунды. На данный момент проблема с подергиванием дисплея кажется самой частой из трех.

Зеленый оттенок при включении черного цвета
Зеленый оттенок при включении черного цвета

Зеленый оттенок при включении черного цвета

Никто не застрахован от провала, даже Google. Все они, скорее всего, решаются очередными обновлениями, которые выйдут в ближайшее время. Поэтому все желающие могут ознакомиться с проблемами и методами их решения по ссылкам: 1, 2, 3, 4.

Я верю, что у Pixel 6 есть будущее и огромный потенциал. Что Android как операционная система будет развиваться только в правильном направлении. А Pixel перекочует из ниши «гиковских» телефонов в законодателя мод для других вендоров.

Disqus Comments Loading...