Британский национальный центр кибербезопасности (NCSC) предостерегает компании от интеграции чат-ботов, работающих на базе искусственного интеллекта, поскольку исследования показали, что их можно обмануть, чтобы выполнить вредоносные действия.
В опубликованных сообщениях в блоге NCSC указал, что специалисты пока не оценили все потенциальные проблемы безопасности, связанные с алгоритмами, способными создавать человекоподобные взаимодействия – так называемыми большими языковыми моделями (LLM).
Инструменты на базе искусственного интеллекта рано начинают использоваться в качестве чат-ботов, которые, по мнению некоторых, заменят не только поиск в Интернете, но и работу по обслуживанию клиентов и звонки по продажам.
NCSC предупредил о рисках, особенно если такие модели будут интегрированы в другие бизнес-процессы компании. Исследователи установили, что чат-боты можно обмануть, подав на вход вредоносные команды или обходя их встроенные механизмы защиты. Например, чат-бот, используемый банком, может быть обманут для проведения несанкционированной операции.
NCSC в одном из своих постов утверждает: «Организации, разрабатывающие услуги на базе LLM, должны проявлять осторожность, как если бы они использовали продукт или библиотеку кода на стадии бета-тестирования. Нужно подходить к LLM с такой же осмотрительностью».
