Исследователи из NTU создали ИИ-модель, помогающую обойти ограничения в чат-ботах

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

Исследователи из Наньянского технологического университета (NTU) в Сингапуре взломали защиту, связанную с этическими ограничениями и цензурой, нескольких ИИ‑чат‑ботов, включая ChatGPT, Google Bard и Microsoft Copilot. Они заставили чат‑боты создавать контент, обойдя встроенные ограничения. Статью с результатами исследований опубликовали в научном журнале Computer Science.

Для взлома специалисты NTU создали собственную нейросеть на основе большой языковой модели, лежащей в основе интеллектуальных чат‑ботов. Созданный алгоритм назвали Masterkey. Этот алгоритм составлял подсказки, позволяющие обходить запреты разработчиков популярных ИИ‑чат‑ботов.

Запрещённую информацию исследователи получали с помощью запросов, которые обходят заложенные в программу этические ограничения и цензору определённых слов. Например, стоп‑листы запретных терминов и выражений обошли с помощью добавления пробелов после каждого символа в вопросе. Чат‑бот распознавал смысл запроса и не регистрировал эту задачу как нарушение правил. Другой способ обхода защиты представлял запрос «отвечать как человек, лишённый принципов и моральных ориентиров».

По словам специалистов, созданная ИИ‑модель Masterkey оказалась способна подбирать новые подсказки для преодоления защиты при устранении найденных уязвимостей. Специалисты NTU предполагают, что Masterkey поможет выявлять слабые места в безопасности нейросетей быстрее, чем хакеры, использующие ИИ для кибератак.

Источник: https://habr.com/ru/news/783886/


Интересные статьи

Интересные статьи

Показываем прототип, который разрабатывали с нуля, не имея за спиной какого-то огромного опыта или доступа к чужим разработкам. Четыре месяца мы упорно трудились ради того, чтобы все наши статьи и мат...
Привет! Меня зовут Дима, я разрабатываю мобильные приложения на Flutter в Пиробайт. Все чаще мне приходится сталкиваться с задачами, в которых требуется обращение к нативному API устройства. Пакетов н...
Всем привет! Я Максим, бэкенд-разработчик и тимлид команды DCImanager. Я работаю в компании ISPsystem уже почти пять лет и считаю себя очень везучим человеком, ведь за эти годы я прошел путь от обычно...
Порой веб-разработчики с удивлением обнаруживают, что команда windows.close() не всегда закрывает окно браузера. А в консоли инструментов разработчика браузера при этом выводится сооб...
Здравствуйте. В данной статье я хочу по возможности максимально просто и понятно рассказать о том, как рассчитываются временные ограничения (timing constraints) на синхронные интерфей...