Эксперты научились обманывать ИИ, перефразируя одинаковые реплики
Фразы с одинаковым значением, но отличающиеся формулировкой искусственный интеллект воспринимал, как совершенно разные.
06-04-2019
#новости
Время чтения: 2 минуты
Отраслевой портал ib-bank.ru на минувшей неделе сообщил о том, что специалисты IBM, Amazon и Техасского университета совместно разработали атаку на алгоритмы обработки естественного языка (Natural Language Processing, NLP). Ее назвали «атака перефразирования», результатом ее стало изменение модели поведения искусственного интеллекта.

1 апреля ученые рассказали о ней на конференции по вопросам ИИ в Стэнфордском университете. Суть «атаки перефразирования» в изменении вводимого текста таким образом, чтобы в нем сохранялся изначальный смысл, но при этом искусственный интеллект воспринимал его по-другому.

Таким образом, например, можно обмануть ИИ, который анализирует электронные письма и определяет, спам это или нет. Существует возможность так изменить текст спам-сообщения, чтобы искусственный интеллект не распознал его и пропустил. А для читателя смысл текста останется прежним.

Ранее исследователи IBM, Amazon и Техасского университета «обманывали» ИИ, меняя только по одному слову в предложениях. Это действительно работало и алгоритм воспринимал их по-другому, но и людям было тяжело этот текст читать – он утрачивал смысл и звучал неестественно. Вторым шагом как раз стало то, что ученые стали перефразировать предложения целиком, внимательно следя при этом, чтобы читабельность и смысл – для людей – сохранялся.
Раз в месяц мы делаем рассылку с анонсом новых кейсов и статей, опубликованных на сайте.
Подпишитесь на обновления.
Гарантируем - никакого спама. Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой в отношении обработки персональных данных.
Читать еще:
Материалы, которые могут вас заинтересовать.