Специалисты из лаборатории исследований искусственного интеллекта Tinkoff Research создали эффективный алгоритм для обучения и адаптации ИИ. Новый метод назван ReBRAC (Revisited Behavior Regularized Actor Critic). Он представляет собой пересмотренный актор‑критик с контролируемым поведением. По словам создателей, алгоритм обучает ИИ в четыре раза быстрее и на 40% качественнее существующих мировых аналогов в области обучения с подкреплением (Reinforcement Learning, RL), адаптируя его к новым условиям на ходу. Об этом информационной службе Хабра рассказали в пресс‑службе «Тинькофф».
Результаты исследования были представлены на научной конференции в области ИИ по машинному обучению и нейровычислениям NeurIPS (The Conference and Workshop on Neural Information Processing Systems). В этом году конференция проходила в Новом Орлеане (США) с 10 по 16 декабря 2023 года.
Специалисты Tinkoff Research идентифицировали четыре компонента, представленные в алгоритмах последних лет. Они считались второстепенными и не подвергались детальному анализу. Список изучаемых компонентов:
Глубина нейронных сетей. Параметр увеличения глубины сети помогает ей лучше понимать сложные закономерности в данных;
Регуляризация актора и критика. В ИИ‑агентах есть два компонента: «актор», предпринимающий действия, и «критик», оценивающий эти действия. Учёные использовали совместную регуляризацию обоих компонентов, чтобы актор избегал нежелательных действий, а критик более эффективно оценивал их;
Увеличение эффективного горизонта планирования. Этот параметр позволяет модели балансировать между краткосрочными и долгосрочными аспектами задачи и улучшает ее способность принимать решения;
Использование нормализации слоёв (LayerNorm). Это параметр стабилизирует процесс обучения нейронных сетей.
Tinkoff Research интегрировала эти компоненты в алгоритм‑предшественник BRAC (Behavior Regularized Actor Critic — актор‑критик с контролируемым поведением) 2019 года и провели исследование, поочерёдно варьируя каждый из них. Правильная совокупность этих компонентов дала этому подходу высокую производительность среди существующих аналогов.
Тестирование на робототехнических симуляторах показало, что алгоритм обучает ИИ в четыре раза быстрее и на 40% качественнее всех существующих в офлайн‑бенчмарках. Ранее лидерство принадлежало алгоритму SAC‑RND, также созданному учёными из Tinkoff Research.
Как утверждают специалисты Tinkoff Research, ReBRAC эффективнее существующих аналогов решает проблему дообучения искусственного интеллекта, который обычно медленно адаптируется к новым условиям. Например, если робот, изначально обученный передвигаться по траве, упадет, переместившись на лед, то ReBRAC позволит роботу лучше учиться на ходу и адаптироваться.
