На саммите DataGrail 2024 лидеры отрасли выступили с резким предупреждением о быстро растущих рисках, связанных с искусственным интеллектом.

Автор: Майкл Нуньес, VentureBeat
 
Дейв Цао, директор по информационной безопасности Instacart, и Джейсон Клинтон, CISO Anthropic, подчеркнули острую необходимость в надежных мерах безопасности, чтобы не отставать от экспоненциального роста возможностей ИИ. Эксперты обсудили как захватывающий потенциал, так и об угрозы существования, исходящие от моделей ИИ последнего поколения.
 
Экспоненциальный рост ИИ опережает развитие системы безопасности
 
Джейсон Клинтон, чья компания Anthropic работает на переднем крае разработки искусственного интеллекта подчеркивает неуклонное расширение возможностей ИИ. «Каждый год в течение последних 70 лет, с тех пор как в 1957 году появился перцептрон, общий объем вычислений, затрачиваемых на обучение моделей ИИ, увеличивался в 4 раза по сравнению с предыдущим годом», — поясняет он. «Мы должны предвидеть, что через год нейронная сеть потребует в четыре раза больше вычислительных ресурсов, а через два года — в 16 раз больше».
 
Клинтон предупреждает, что такой стремительный рост выводит возможности искусственного интеллекта на неизведанную территорию, где сегодняшние средства защиты могут устареть. «Если вы планируете использовать модели и чат-ботов, которые существуют сегодня, и не планируете использовать архитектуру агентов и субагентов, среды оперативного кэширования и все то, что появляется, вы будете сильно отставать», — добавляет он. «Мы движемся по экспоненциальной кривой, а планировать развитие по экспоненциальной кривой очень и очень сложно».
 
Галлюцинации ИИ и риск для доверия потребителей
 
Для Дэйва Цао из Instacart эти проблемы являются неотложными. Он следит за безопасностью огромных объемов конфиденциальных данных клиентов и ежедневно сталкивается с непредсказуемым характером больших языковых моделей (LLMs). «Мы понимаем, что даже если настроим эти модели так, чтобы они отвечали только определенным образом, и потратим достаточно времени на то, чтобы подсказывать им, исправлять их, подталкивать их, все равно могут найтись способы что-нибудь нарушить», — говорит Цао.
 
Он отмечает яркий пример того, как контент, созданный с помощью искусственного интеллекта, может привести к реальным последствиям. «Некоторые исходные изображения различных ингредиентов были похожи на хот-дог, но это был не совсем хот-дог — это было похоже на инопланетный хот-дог», — говорит он. Такие ошибки, по его мнению, могут подорвать доверие потребителей или, в более экстремальных случаях, нанести реальный вред. «Если рецепт, возможно, был галлюцинацией, вы же не хотите готовить то, что на самом деле может навредить».
 
На протяжении всего саммита выступающие подчеркивали, что быстрое внедрение технологий искусственного интеллекта, обусловленное привлекательностью инноваций, опережает развитие важнейших систем безопасности. И Клинтон, и Цао отмечают, что компаниям необходимо инвестировать в системы безопасности ИИ не меньше, чем в сами технологии искусственного интеллекта.
 
Цао призывает компании сбалансировать свои инвестиции. «Пожалуйста, старайтесь вкладывать как можно больше средств в ИИ — как в системы безопасности ИИ, так и в системы рисков и требования к конфиденциальности», — советует он, подчеркивая «огромный импульс» в различных отраслях к тому, чтобы извлечь выгоду из преимуществ производительности ИИ. Он предупреждает, что без должного внимания к минимизации рисков компании могут столкнуться с катастрофой.
 
Подготовка к неизвестному: будущее ИИ ставит новые задачи
 
Клинтон говорит о будущем, которое требует бдительности. Он описывает недавний эксперимент с нейронной сетью в Anthropic, выявивший сложности поведения искусственного интеллекта.
 
«Мы обнаружили, что в нейронной сети можно точно идентифицировать нейрон, связанный с каким-либо понятием», — говорит он. И модель, обученная ассоциировать определенные нейроны с мостом Золотые ворота, не могла перестать говорить о мосте, даже в тех контекстах, где это было совершенно неуместно. «Если вы спросите сеть... «скажи мне, знаешь ли ты, что можешь перестать говорить про мост Золотые ворота», она на самом деле признает, что не может перестать говорить о нем», — говорит он, отмечая нервирующие последствия такого поведения.
 
Клинтон предполагает, что это исследование указывает на фундаментальную неопределенность в отношении того, как эти модели работают внутри — «черный ящик», который может таить в себе неизвестные опасности. «По мере нашего продвижения вперед… все, что происходит сейчас, станет намного более мощным через год или два», — говорит он. «У нас есть нейронные сети, которые уже в некотором роде распознают, когда их нейронная структура не соответствует тому, что они считают нужным».
 
По мере того, как системы искусственного интеллекта все глубже интегрируются в критически важные бизнес-процессы, возрастает вероятность катастрофических сбоев. Клинтон рисует будущее, в котором агенты ИИ, а не просто чат-боты, смогут самостоятельно выполнять сложные задачи, что создаст угрозу принятия ИИ-решений с далеко идущими последствиями. «Если вы планируете использовать модели и чат-ботов, которые существуют сегодня… вы сильно отстанете», — повторяет он, призывая компании подготовиться к будущему управлению с помощью ИИ.
 
Дискуссионные площадки саммита DataGrail в целом дали четкий сигнал: революция в области ИИ не замедляется, как и меры безопасности, разработанные для ее контроля. «Интеллект — самый ценный актив в организации», — отмечает Клинтон, выражая мнение, которое, вероятно, будет определять развитие инноваций в области искусственного интеллекта в следующем десятилетии. Но, как ясно дали понять и он, и Цао, интеллект без безопасности — путь к катастрофе.
 
В то время как компании стремятся использовать возможности ИИ, им приходится сталкиваться с отрезвляющей реальностью, заключающейся в том, что эти возможности сопряжены с беспрецедентными рисками. Руководители и члены советов директоров должны прислушаться к этим предупреждениям и убедиться, что их организации не просто находятся на волне инноваций в области ИИ, но и готовы преодолевать опасные препятствия.
 
Ссылка на источник