20.05.2023 10:10

Новости

Администратор

Автор:

Администратор

Большие языковые модели: 6 подводных камней, которых следует избегать

От проблем безопасности и конфиденциальности до дезинформации и предвзятости — большие языковые модели несут в себе и риски, и выгоды.


Автор: Эойн Уикенс, старший научный сотрудник HiddenLayer  и Марта Янус, главный исследователь HiddenLayer
 
В последнее время наблюдается невероятный прогресс в области искусственного интеллекта (ИИ), в основном благодаря достижениям в разработке больших языковых моделей (LLM). Это бьющееся сердце инструментов генерации текста и кода, таких как ChatGPT, Bard и Copilot от GitHub.
 
Эти модели находятся в процессе внедрения во всех секторах. Но сохраняются серьезные опасения по поводу того, как они создаются и используются, и как ими можно злоупотреблять. Некоторые страны решили применить радикальный подход и временно запретить определенные LLM до тех пор, пока не будут приняты надлежащие нормативные акты.
 
Давайте рассмотрим некоторые реальные негативные последствия инструментов, основанных на LLM, и некоторые стратегии их смягчения.
 
1. Вредоносный контент
 
LLM могут повысить производительность многими способами. Их способность интерпретировать наши запросы и решать довольно сложные проблемы означает, что мы можем переложить рутинные, отнимающие много времени задачи на нашего любимого чат-бота и просто проверить результаты на здравомыслие.
 
Но, конечно, с большой властью приходит и большая ответственность. В то время как LLMs могут создавать полезные материалы и ускорять разработку программного обеспечения, они также могут обеспечить быстрый доступ к вредоносной информации, ускорить рабочий процесс злоумышленников и даже генерировать вредоносный контент, такой как фишинговые электронные письма и вредоносные программы. Термин «скрипт-кидди» приобретает совершенно новое значение, когда входной барьер так же низок, как написание хорошо составленной подсказки для чат-бота.
 
Хотя существуют способы ограничить доступ к объективно опасному контенту, они не всегда осуществимы или эффективны. Что касается размещенных сервисов, таких как чат-боты, фильтрация контента может помочь, по крайней мере, замедлить работу неопытного пользователя. Внедрение надежных фильтров контента должно быть обязательным, но они не являются пуленепробиваемыми.
 
2. Быстрое внедрение
 
Специально созданные подсказки могут вынудить LLM игнорировать фильтры содержимого и создавать недопустимые выходные данные. Эта проблема характерна для всех LLM, но вскоре будет усиливаться по мере того, как эти модели будут подключаться к внешнему миру; например, в качестве плагинов для ChatGPT. Это может позволить чат-ботам «оценивать» сгенерированный пользователем код, что может привести к выполнению произвольного кода. С точки зрения безопасности оснастить чат-бот такой функциональностью очень проблематично.
 
Чтобы избежать этого, важно понимать возможности вашего решения на базе LLM и то, как оно взаимодействует с внешними конечными точками. Определите, подключен ли оно к API, имеет ли учетную запись в социальных сетях или взаимодействует с вашими клиентами без присмотра, и соответствующим образом оцените свою потоковую модель.
 
Хотя в прошлом быстрое внедрение могло показаться несущественным, сейчас эти атаки могут иметь вполне реальные последствия, поскольку они начинают выполнять сгенерированный код, интегрироваться во внешние API и даже читать вкладки вашего браузера.
 
3. Конфиденциальность данных/нарушение авторских прав
 
Обучение больших языковых моделей требует огромных объемов данных, причем некоторые модели насчитывают более полутриллиона параметров. При таком масштабе понимание происхождения, авторства и статуса прав является гигантской — если не невозможной — задачей. Непроверенный обучающий набор может привести к утечке личных данных, неправильному присвоению цитат или плагиату защищенного авторским правом контента.
 
Законы о конфиденциальности данных, касающиеся использования LLM, также очень туманны. Стоит помнить, что если мы просим чат-бота найти ошибку в нашем коде или написать конфиденциальный документ, мы отправляем эти данные третьей стороне, которая в конечном итоге может использовать их для обучения модели, рекламы или получения конкурентного преимущества. Утечка данных с помощью подсказок искусственного интеллекта может быть особенно опасной в бизнес-среде.
 
Поскольку сервисы на базе LLM интегрируются с инструментами повышения производительности труда, такими как Slack и Teams, крайне важно внимательно ознакомиться с политикой конфиденциальности поставщиков, понять, как можно использовать подсказки искусственного интеллекта, и соответствующим образом регулировать использование LLM на рабочем месте. Что касается защиты авторских прав, нам необходимо регулировать сбор и использование данных с помощью согласия или специального лицензирования, не препятствуя открытому и в значительной степени бесплатному Интернету в том виде, в каком он есть сегодня.
 
4. Дезинформация
 
Несмотря на то, что они могут убедительно симулировать интеллект, LLMs на самом деле не «понимают», что они производят. Вместо этого их валютой являются вероятностные отношения между словами. Они не могут отличить факт от вымысла — некоторые результаты могут казаться очень правдоподобными, но на поверку оказываются уверенно сформулированной ложью. Примером этого является ChatGPT, фальсифицирующий цитаты и даже целые статьи, как недавно обнаружил один пользователь сети.
 
К результатам работы инструментов LLM всегда следует относиться с долей скептицизма. Эти инструменты могут оказаться невероятно полезными в широком спектре задач, но люди должны быть вовлечены в проверку точности, преимуществ и общей разумности их ответов. В противном случае нас ждет некоторое разочарование.
 
5. Вредные советы
 
При онлайн-общении становится все труднее определить, с кем вы разговариваете, с человеком или с машиной, и у некоторых субъектов может возникнуть соблазн воспользоваться этим. Ранее в этом году, например, компания, занимающаяся технологиями в области психического здоровья, признала, что некоторые из ее пользователей, обратившиеся за онлайн-консультацией, неосознанно взаимодействовали с ботом на базе GPT3 вместо человека-добровольца. Это вызвало этические опасения по поводу использования LLMs в психиатрической помощи и в любых других условиях, основанных на интерпретации человеческих эмоций.
 
В настоящее время практически отсутствует нормативный надзор, гарантирующий, что компании не смогут использовать искусственный интеллект таким образом с явного согласия конечного пользователя или без него. Более того, злоумышленники могут использовать убедительных ботов с искусственным интеллектом для шпионажа, мошенничества и других незаконных действий.
 
У искусственного интеллекта нет эмоций, но его реакции могут задеть чувства людей или даже привести к более трагическим последствиям. Безответственно предполагать, что решение с искусственным интеллектом может адекватно интерпретировать эмоциональные потребности человека и реагировать на них ответственно и безопасно.
 
Использование больших языковых моделей в здравоохранении и других чувствительных приложениях должно строго регулироваться, чтобы предотвратить любой риск причинения вреда пользователям. Поставщики услуг, основанных на LLM, должны всегда информировать пользователей о масштабах вклада искусственного интеллекта в сервис, и взаимодействие с ботом всегда должно быть выбором, а не по умолчанию.
 
6. Предвзятость
 
Решения на основе искусственного интеллекта хороши настолько, насколько хороши данные, на основе которых они обучаются. Эти данные часто отражают наши человеческие предубеждения по отношению к политическим партиям, этническим группам, полам или другим демографическим показателям. Предвзятость приводит к негативным последствиям для затронутых групп, когда модель принимает несправедливое решение, которое может быть как незаметным, так и потенциально трудным для устранения. Модели, обученные на непроверенных данных из Интернета, всегда будут отражать человеческие предубеждения; модели, которые постоянно учатся на взаимодействии с пользователем, также подвержены преднамеренным манипуляциям.
 
Чтобы снизить риск дискриминации, поставщики услуг LLM должны тщательно оценивать свои наборы обучающих данных на предмет любых дисбалансов, которые могут привести к негативным последствиям. Модели машинного обучения также следует периодически проверять, чтобы гарантировать, что прогнозы остаются справедливыми и точными.
 
Ссылка на источник
 
 


0


Нет комментариев. Ваш будет первым!
Загрузка...