В преддверии старта нового потока курса «Machine Learning Pro + Deep Learning», делимся с вами переводом интервью MIT Technology Review с профессором Джеффри Хинтоном, который в 2012 году со своими студентами победил на ImageNet, применив глубокое обучение и добившись таким образом невероятного отрыва от соперников. В своё время его взгляды были противоположны взглядам большинства. Теперь всё иначе. Что профессор думает о развитии искусственного интеллекта, о различных подходах к нему? Об этом под катом.
Современная революция искусственного интеллекта началась с незаметного конкурса исследований. Это случилось в 2012 году, на третий год проведения соревнования ImageNet. Перед командами стояла следующая проблема: нужно было построить решение, которое распознало бы тысячу изображений, от животных и людей до ландшафтов.
В первые два года лучшие команды не добивались точности больше 75 %. На третий год команда исследователей — профессор и его студенты — внезапно пробила этот потолок. Они победили в соревновании с ошеломляющим отрывом в 10,8 %. Профессора звали Джеффри Хинтон, а его методом было глубокое обучение.
Хинтон работал с глубоким обучением с 1980-х годов, но эффективность ограничивалась недостатком данных и вычислительной мощности. Его стойкая вера в метод в в конечном счете принесла огромные дивиденды. На четвертый год соревнования почти каждая команда применяла глубокое обучение, достигая чудесного прироста точности. Вскоре глубокое обучение начали применять в разных отраслях, причем не только в задачах распознавания изображений.
В прошлом году Хинтона наряду с пионерами искусственного интеллекта Яном Лекуном и Джошуа Бенжио наградили премией Тьюринга за основополагающий вклад в эту область науки.
Я действительно верю, что глубокое обучение сможет сделать всё, но я думаю, что должно быть довольно много концептуальных прорывов. Например, в 2017 году Ашиш Васвани и его коллеги ввели трансформеры, которые выводят действительно хорошие векторы, представляющие значения слов. Это был концептуальный прорыв. Теперь он используется почти во всех самых лучших обработках естественного языка. Нам понадобится еще куча таких прорывов.
Да. Особенно прорывы, связанные с тем, как вы получаете большие векторы нейронной активности для реализации таких вещей, как мышление. Но также нам нужен огромный масштаб. Человеческий мозг имеет около ста триллионов параметров или синапсов. Действительно большой моделью мы сейчас называем GPT-3 со 175 миллиардами параметров. Это в тысячу раз меньше мозга. GPT-3 теперь может генерировать довольно правдоподобный текст, но она все еще крошечная по сравнению с мозгом.
И то, и другое. Есть несоответствие между тем, что происходит в компьютерных науках, и тем, то происходит у людей. У людей огромное количество параметров в сравнении с объёмом получаемых данных. Нейронные сети удивительно хорошо справляются с гораздо меньшим количеством данных и большим количеством параметров, но люди — еще лучше.
Я согласен, что это одна из самых важных вещей. Я также думаю, что очень важен контроль над движениями, и сети глубокого обучения сегодня становятся хороши в этом. В частности, некоторые недавние работы Google показали, что возможно комбинировать мелкую моторику и речь таким образом, чтобы система могла открыть ящик стола, вынуть блок и на естественном языке сказать, что она сделала.
Для таких вещей, как GPT-3, которая генерирует замечательные тексты, ясно, что она должна понимать многое, чтобы генерировать текст, при этом не совсем понятно, как много она понимает. Но, когда нечто открывает ящик, вынимает блок и говорит: «Я только что открыло ящик и вынуло блок», трудно сказать, что оно не понимает того, что делает.
В когнитивистике очень давно шли дебаты между двумя школами мышления. Лидер первой школы, Стивен Косслин, считал, что когда мозг оперирует визуальными изображениями, речь идёт о пикселях и их перемещениях. Вторая школа больше соответствовала традиционному ИИ. Ее приверженцы говорили: «Нет, нет, это нонсенс. Речь идет об иерархических, структурных описаниях. У разума есть определенная символическая структура, мы управляем именно этой структурой».
Я думаю, обе школы совершили одну и ту же ошибку. Косслин думал, что мы манипулируем пикселями, потому что внешние изображения состоят из пикселей и пиксели — это то представление, которое мы понимаем. Во второй школе думали, что, поскольку мы манипулируем символическим представлением и представляем вещи через символы, именно символьное представление — то, что мы понимаем. Я думаю, эти ошибки равнозначны. Внутри мозга находятся большие векторы нейронной активности.
Совершенно верно. У меня есть хорошие друзья, например, Гектор Левеск, который действительно верит в символический подход и проделал в этом смысле большую работу. Я не согласен с ним, но символический подход — вполне разумная вещь, чтобы попробовать его. Однако я думаю, что в конце концов мы осознаем, что символы просто существуют во внешнем мире, а мы выполняем внутренние операции над большими векторами.
Что ж, моя проблема заключается в том, что эти противоположные взгляды были у меня, а спустя пять лет они стали мейнстримом. Большинство моих противоположных взглядов из 1980-х годов теперь получили широкое признание. Сейчас довольно сложно найти людей, которые с ними не согласны. Так что да, мои противоположные взгляды в некотором роде были подорваны.
Кто знает, может ваши взгляды и методы работы с ИИ тоже будут в андеграунде, а через несколько лет станут отраслевым стандартом. Главное — не останавливаться в своем прогрессе. А мы с удовольствием поможем вам в этом, даря специальный промокод HABR, который добавит 10 % к скидке на баннере.
Современная революция искусственного интеллекта началась с незаметного конкурса исследований. Это случилось в 2012 году, на третий год проведения соревнования ImageNet. Перед командами стояла следующая проблема: нужно было построить решение, которое распознало бы тысячу изображений, от животных и людей до ландшафтов.
В первые два года лучшие команды не добивались точности больше 75 %. На третий год команда исследователей — профессор и его студенты — внезапно пробила этот потолок. Они победили в соревновании с ошеломляющим отрывом в 10,8 %. Профессора звали Джеффри Хинтон, а его методом было глубокое обучение.
Хинтон работал с глубоким обучением с 1980-х годов, но эффективность ограничивалась недостатком данных и вычислительной мощности. Его стойкая вера в метод в в конечном счете принесла огромные дивиденды. На четвертый год соревнования почти каждая команда применяла глубокое обучение, достигая чудесного прироста точности. Вскоре глубокое обучение начали применять в разных отраслях, причем не только в задачах распознавания изображений.
В прошлом году Хинтона наряду с пионерами искусственного интеллекта Яном Лекуном и Джошуа Бенжио наградили премией Тьюринга за основополагающий вклад в эту область науки.
Вы думаете, что глубокого обучения будет достаточно, чтобы воспроизвести весь человеческий интеллект. Что делает вас таким уверенным?
Я действительно верю, что глубокое обучение сможет сделать всё, но я думаю, что должно быть довольно много концептуальных прорывов. Например, в 2017 году Ашиш Васвани и его коллеги ввели трансформеры, которые выводят действительно хорошие векторы, представляющие значения слов. Это был концептуальный прорыв. Теперь он используется почти во всех самых лучших обработках естественного языка. Нам понадобится еще куча таких прорывов.
И если у нас будут такие прорывы, мы приблизим искусственный интеллект к человеческому с помощью глубокого обучения?
Да. Особенно прорывы, связанные с тем, как вы получаете большие векторы нейронной активности для реализации таких вещей, как мышление. Но также нам нужен огромный масштаб. Человеческий мозг имеет около ста триллионов параметров или синапсов. Действительно большой моделью мы сейчас называем GPT-3 со 175 миллиардами параметров. Это в тысячу раз меньше мозга. GPT-3 теперь может генерировать довольно правдоподобный текст, но она все еще крошечная по сравнению с мозгом.
Говоря о масштабе вы имеете в виду большие нейронные сети, данные или и то, и другое?
И то, и другое. Есть несоответствие между тем, что происходит в компьютерных науках, и тем, то происходит у людей. У людей огромное количество параметров в сравнении с объёмом получаемых данных. Нейронные сети удивительно хорошо справляются с гораздо меньшим количеством данных и большим количеством параметров, но люди — еще лучше.
Многие специалисты в области искусственного интеллекта считают, что здравомыслие ИИ — способность, которой нужно заниматься в дальнейшем. Вы согласны?
Я согласен, что это одна из самых важных вещей. Я также думаю, что очень важен контроль над движениями, и сети глубокого обучения сегодня становятся хороши в этом. В частности, некоторые недавние работы Google показали, что возможно комбинировать мелкую моторику и речь таким образом, чтобы система могла открыть ящик стола, вынуть блок и на естественном языке сказать, что она сделала.
Для таких вещей, как GPT-3, которая генерирует замечательные тексты, ясно, что она должна понимать многое, чтобы генерировать текст, при этом не совсем понятно, как много она понимает. Но, когда нечто открывает ящик, вынимает блок и говорит: «Я только что открыло ящик и вынуло блок», трудно сказать, что оно не понимает того, что делает.
Специалисты ИИ всегда смотрели на человеческий мозг, как на неиссякаемый источник вдохновения, и различные подходы к ИИ проистекали из различных теорий когнитивистики. Вы считаете, что мозг действительно строит представление о мире, чтобы понять его, или это только полезный способ мышления?
В когнитивистике очень давно шли дебаты между двумя школами мышления. Лидер первой школы, Стивен Косслин, считал, что когда мозг оперирует визуальными изображениями, речь идёт о пикселях и их перемещениях. Вторая школа больше соответствовала традиционному ИИ. Ее приверженцы говорили: «Нет, нет, это нонсенс. Речь идет об иерархических, структурных описаниях. У разума есть определенная символическая структура, мы управляем именно этой структурой».
Я думаю, обе школы совершили одну и ту же ошибку. Косслин думал, что мы манипулируем пикселями, потому что внешние изображения состоят из пикселей и пиксели — это то представление, которое мы понимаем. Во второй школе думали, что, поскольку мы манипулируем символическим представлением и представляем вещи через символы, именно символьное представление — то, что мы понимаем. Я думаю, эти ошибки равнозначны. Внутри мозга находятся большие векторы нейронной активности.
Есть люди, которые до сих пор считают, что символическое представление — это один из подходов к ИИ
Совершенно верно. У меня есть хорошие друзья, например, Гектор Левеск, который действительно верит в символический подход и проделал в этом смысле большую работу. Я не согласен с ним, но символический подход — вполне разумная вещь, чтобы попробовать его. Однако я думаю, что в конце концов мы осознаем, что символы просто существуют во внешнем мире, а мы выполняем внутренние операции над большими векторами.
Какой взгляд на ИИ вы считаете самым противоположным по отношению к другим?
Что ж, моя проблема заключается в том, что эти противоположные взгляды были у меня, а спустя пять лет они стали мейнстримом. Большинство моих противоположных взглядов из 1980-х годов теперь получили широкое признание. Сейчас довольно сложно найти людей, которые с ними не согласны. Так что да, мои противоположные взгляды в некотором роде были подорваны.
Кто знает, может ваши взгляды и методы работы с ИИ тоже будут в андеграунде, а через несколько лет станут отраслевым стандартом. Главное — не останавливаться в своем прогрессе. А мы с удовольствием поможем вам в этом, даря специальный промокод HABR, который добавит 10 % к скидке на баннере.
- Продвинутый курс «Machine Learning Pro + Deep Learning»
- Курс «Математика и Machine Learning для Data Science»
- Курс по Machine Learning
- Обучение профессии Data Science
- Обучение профессии Data Analyst
- Онлайн-буткемп по Data Analytics
- Курс по JavaScript
- Профессия Веб-разработчик
- Профессия Java-разработчик
- Курс «Python для веб-разработки»
- SQL для анализа данных
- C++ разработчик
- Курс по аналитике данных
- Курс по DevOps
- Профессия iOS-разработчик с нуля
- Профессия Android-разработчик с нуля
Рекомендуемые статьи
- Как стать Data Scientist без онлайн-курсов
- 450 бесплатных курсов от Лиги Плюща
- Как изучать Machine Learning 5 дней в неделю 9 месяцев подряд
- Сколько зарабатывает аналитик данных: обзор зарплат и вакансий в России и за рубежом в 2020
- Machine Learning и Computer Vision в добывающей промышленности
