Следующее поколение фреймворка OpenAI - GPT-4 - может изменить облик языкового моделирования, считает Рене Миллман в своей статье на сайте ITPro. Масштабы и возможности искусственного интеллекта (ИИ) растут в геометрической прогрессии, и предприятия все чаще получают доступ к множеству передовых инструментов для внедрения в своих организациях. OpenAI, некоммерческий исследовательский институт искусственного интеллекта, является центром этих инноваций, а недавно выпущенная платформа для создания изображений DALL-E 2 показывает, насколько мощными становятся инструменты искусственного интеллекта. В течение многих лет OpenAI также работал над генерацией текста в форме Generative Pre-trained Transformer (GPT) и разработки авторегрессионной языковой модели, которая использует глубокое обучение для создания текста, похожего на человеческий, и ее последняя итерация, GPT-4, находится на грани запуска.

Прошло два года с тех пор, как был запущен GPT-3, и эта нейронная сеть применяет машинное обучение к потокам интернет-данных для генерации любого типа текста в очереди. Поразительно, но для создания большого количества соответствующего и высокоуровневого машинного текста требуется лишь небольшое количество вводимого текста. Поскольку OpenAI сделала свою модель искусственного интеллекта GPT-3 доступной для всех в конце прошлого года, мысли теперь обратились к ее преемнику. В центре внимания теперь находится следующее поколение языковой модели, известной как GPT-4, и огромный потенциал, который она представляет как для бизнеса, так и для более широкого сообщества.

Модель использует более 175 миллиардов параметров машинного обучения, которые работают как взвешивания; они являются частью модели, которая извлекается из вводимых в нее обучающих данных. Это затмевает GPT-2, который использует 1,5 миллиарда. Согласно Towards Data Science, GPT-4 будет иметь чудовищные 100 триллионов параметров. Вы можете сравнить это с человеческим мозгом, в котором насчитывается около 100 миллиардов нейронов, что, по крайней мере, иллюстрирует масштаб модели. Хотя мы и не предполагаем, что GPT-4 будет таким же мощным, как человеческий мозг, у него могут быть применения, выходящие за рамки подхода GPT-3. Например, Оливер Фокерд, серверный разработчик в Hallam, говорит, что в дополнение к этим триллионам параметров ввод позволит “использовать больше символов (грубо говоря, считать как слова), так что будут использоваться и генерироваться гораздо большие объемы текста”.

Между тем, согласно интервью с главным научным сотрудником OpenAI Ильей Суцкевером, такие языковые модели начнут осознавать визуальный мир. “Сам по себе текст может передать много информации о мире, но он неполон, потому что мы тоже живем в визуальном мире. Следующее поколение моделей будет способно редактировать и генерировать изображения в ответ на ввод текста, и, надеюсь, они будут лучше понимать текст из-за множества изображений, которые они видели”, - говорит он.

Что означает GPT-4 для языкового моделирования

OpenAI никогда не объявляла заранее даты запуска и всегда была довольно скрытной в отношении функций или новых выпусков GPT-X. По словам Питера ван дер Путтена, директора Лаборатории искусственного интеллекта Pegasystems и доцента кафедры искусственного интеллекта Лейденского университета, языковые модели становятся все больше и больше. Хотя GPT-3 имеет около 175 миллиардов параметров, более новые плотные модели, такие как Megatron Turing NLG и PaLM от Google, имеют более 500 миллиардов параметров. “Больше не всегда лучше, - продолжает он, - и GPT-4 может быть более сфокусирован на более эффективном использовании ресурсов и обеспечении лучшей функциональности".

Безопасен ли искусственный интеллект?

OpenAI уже выпустила улучшенные версии GPT-3. Например, модели InstructGPT лучше понимают намерения пользователя – задачу, которую пользователь хочет выполнить, – и следуют более четким инструкциям. Он также выпустил Codex, модель на основе GPT, которая генерирует исходный код, а также новые функции для редактирования или вставки содержимого в код или текст. “Кроме того, были сделаны инвестиции в безопасность ИИ, например, за счет улучшения маркировки и создания потенциально токсичного контента", - продолжает Ван Дер Путтен. "Итак, я бы на самом деле ожидал, что развитие основных технологий будет больше соответствовать этим направлениям, чем просто публикация еще одной более крупной языковой модели".

GPT-4 против GPT-3

Самое непосредственное и удивительное отличие GPT-4 от его предшественника заключается в том, что он использует 100 триллионов параметров машинного обучения против 175 миллиардов, используемых в текущей модели. Хотя GPT-4 будет иметь гораздо больше параметров, чем GPT-3, технология уходит от принципа “чем больше, тем лучше”. Глава отдела искусственного интеллекта и машинного обучения Finastra Адам Либерман говорит, что он надеется увидеть менее значительное увеличение параметров и размера модели в будущем.

“Мы действительно ожидаем увеличения объема вычислений, но надеемся увидеть улучшенную многозадачность за счет обучения с несколькими выстрелами. С GPT-3 сообщество добилось большого успеха с помощью надежных подсказок, и мы надеемся, что GPT-4 будет более устойчив к ошибкам, допущенным человеком при подсказках”, - добавляет он. Фокерд соглашается с этим и говорит, что, хотя GPT-3 позволяет пользователям вводить естественный язык, все же требуется немного мастерства, чтобы создать подсказку таким образом, чтобы она давала хорошие результаты. “GPT-4 будет намного лучше определять намерения пользователей”, - добавляет он.

OpenAI также надеется, что многие недостатки GPT-3 будут устранены в следующем поколении его модели. Например, GPT-3 когда-то считался слишком опасным, чтобы быть обнародованным, потому что менее зрелая версия была поймана на создании поддельных новостей. Модель также была обвинена в проявлении расизма в отношении определенных религий и полов. Более поздняя версия, выпущенная ранее в этом году, использует обучение с подкреплением на основе обратной связи с человеком (RLHF), в котором используются помощники-люди, называемые labellers, для оказания помощи ИИ в обучении. Почти нет сомнений в том, что такие и другие методы используются при разработке GPT-4, чтобы гарантировать, что он избежит той же критики, которой подвергались более ранние версии этого предшественника.

Каковы преимущества GPT-4 для бизнеса?

Либерман говорит, что начиная с завершения кода и заканчивая поиском налоговых вычетов, GPT-3 показал сообществу, что это серьезно. Появление GPT-4 будет способствовать растущему пониманию того, что искусственный интеллект становится менее неуклюжим и более гуманным. “С новой и улучшенной версией нашей языковой модели GPT мы ожидаем увидеть расширенные варианты использования во многих различных областях, используя возможности языкового моделирования. Варианты использования, в которых GPT-3 выполнялся неоптимально, имеют второй шанс, и мы рады видеть все новые варианты использования, которые появятся”, - добавляет он.

Что касается мнения Фокерда, он считает, что с появлением GPT-4 пользователи Интернета, скорее всего, увидят гораздо больше контента, созданного искусственным интеллектом. “Это уже происходит, но, скорее всего, произойдет взрыв его использования, чему будут способствовать лучшие результаты. Киберпреступники неизбежно начнут использовать и эту технологию, что затруднит разграничение определенных сообщений”. Для бизнеса преимущества будут заключаться в сокращении времени, необходимого для повседневного создания контента, а также в возможности создания ранее невозможных или очень сложных копий, таких как эссе и полные статьи.

“Множество доступных приложений для помощи авторам текста сможет снять большую нагрузку с них, но обратная сторона этого заключается в том, что плагиат будет труднее обнаружить или доказать: со всеми этими автоматическими копиями, «летающими» повсюду, Это сделает более востребованной работу корректора, чем копирайтера”, - добавляет Фокерд.

Ван дер Путтен сказал, что первоначальные высокие ожидания от автоматизации творческой деятельности могут в большей степени сместиться с ИИ на вспомогательный, дополненный интеллект, очень похожий на то, как системы ИИ используются в кибербезопасности. Это приведет к более тесной совместной работе алгоритма с человеком, ИИ не только поможет быстрее писать код или создавать более качественные электронные письма, но и поможет людям получить лучшие идеи, предоставляя предложения.

“Это будет гораздо лучше, чем использовать выходные данные GPT-3 каким-то автоматизированным способом; мы держим человека в курсе событий. Это облегчит нашу жизнь и сократит наши усилия - оба фактора, которые, как было доказано, имеют решающее значение при внедрении любой новой технологии”, - добавляет он.