Развитие искусственного интеллекта привело к появлению новых требований к вычислительной инфраструктуре. Если еще несколько лет назад главным вызовом считалось обучение больших нейронных сетей, то сегодня все больше внимания уделяется инференсу — процессу выполнения уже обученных моделей. Именно инференс лежит в основе работы чат-ботов, интеллектуальных помощников, систем автоматического перевода, генераторов изображений и множества других сервисов, которыми…