Нейронные сети ИИ вскоре смогут тренироваться на смартфонах

Благодаря новому изобретению от IBM, машинное обучение может перестать быть таким энергоемким.

Глубокое изучение печально известно тем, что эта область является энергоемкой и имеет ограниченное применение (глубокое обучение – это подмножество машинного обучения, где искусственные сети (нейронные) и алгоритмы изучают огромные объемы данных, вдохновленных человеком). Но что, если эти модели могут работать с более высокой энергоэффективностью? Этот вопрос задают многие исследователи, и, возможно, новая команда IBM нашла ответ на него.

Энергоэффективное глубокое обучение

Новые исследования, представленные на этой неделе на NeurIPS (Neural Information Processing Systems - крупнейшая ежегодная конференция по исследованиям в области ИИ), демонстрируют процесс, который вскоре может уменьшить количество битов, необходимых для представления данных в глубоком изучении, с 16 до 4 без потери точности.

Подписывайтесь на наш youtube канал!

"В сочетании с ранее предложенными решениями для 4-битного квантования тензоров веса и активации, 4-битное обучение показывает незначительную потерю точности во всех прикладных областях при значительном аппаратном ускорении (>7× cверх уровня современных систем FP16)", - пишут исследователи в своей аннотации.

Исследователи IBM провели эксперименты, используя свой новый 4-битный тренинг для различных моделей глубокого обучения в таких областях, как компьютерное зрение, речь и обработка естественного языка.  Они обнаружили, что, по сути, была ограничена потеря точности в производительности моделей, в то время как процесс был более чем в семь раз быстрее и в семь раз эффективнее с точки зрения потребления энергии.

Таким образом, данное нововведение позволило более чем в семь раз сократить затраты на энергозатраты на проведение глубокого обучения, а также позволило обучать модели искусственного интеллекта даже на таких небольших устройствах, как смартфоны. Это значительно улучшит конфиденциальность, так как все данные будут храниться на локальных устройствах.

Как бы захватывающе это ни было, мы все еще далеки от 4-битного обучения, так как в статье моделируется только такой подход. Для воплощения 4-битного обучения в реальность потребовалось бы 4-битное аппаратное обеспечение, которого пока нет.

Однако вскоре оно может появиться. Кайлаш Гопалакришнан (Kailash Gopalakrishnan), сотрудник IBM и старший менеджер, возглавляющий новое исследование, рассказал MIT Technology Review, что он предсказывает, что разработает 4-битное аппаратное обеспечение через три-четыре года. Теперь это то, о чем стоит задуматься!опубликовано econet.ru по материалам interestingengineering.com

Подписывайтесь на наш канал Яндекс Дзен!

P.S. И помните, всего лишь изменяя свое потребление - мы вместе изменяем мир! © econet