Сегодняшние возможности ИИ опираются на огромные объемы данных, в результате чего специалисты по работе с данными переосмысливают свои роли на предприятиях.

Автор: Джозеф де Вриз, главный специалист по разработке продуктов EnterpriseDB
 
Революция в области искусственного интеллекта, в которую мы вовлечены сегодня, развивается с такой головокружительной скоростью, что 77% руководителей компаний уже беспокоятся, что упускают преимущества, согласно опросу Salesforce, проведенному в ноябре 2023 года.
 
Но с учетом практически безграничной применимости ИИ, на чем организации следует сосредоточиться в первую очередь? На самом ценном товаре, которым обладает предприятие, — его данных — и должностях, наиболее тесно связанных с их хранением, манипулированием и потреблением. В конце концов, результат знаменитых сегодня моделей генеративного ИИ зависит от того, насколько хороши огромные объемы данных, на которых они обучены. Необходимы способные управляющие этим массивом данных.
 
ИИ заменит лишь немногие роли, связанные с данными, если таковые вообще будут. Вместо этого программное обеспечение на базе искусственного интеллекта расширит их возможности и побудит амбициозных специалистов по обработке данных перейти к приобретению новых навыков, связанных с ИИ. Вот краткая информация о том, как ИИ повлияет на роли, связанные с данными, в организациях.
 
Директора по данным (CDOs)
 
По информации Harvard Business Review, должность CDO — одна из самых сложных ролей руководителей в сфере ИТ: они сохраняют свои должности в среднем всего 2 с половиной года. Искусственный интеллект может изменить правила игры для директоров по данным, поскольку он предлагает новые возможности для повышения ценности предприятия.
 
До недавнего времени офис CDO считался центром затрат, обеспечивающим управление данными, целостность и безопасность. Искусственный интеллект повышает авторитет CDO в ключевых аспектах. Во-первых, он добавляет множество возможностей автоматизации для улучшения качества данных, производительности баз данных и анализа данных, что приводит к более высоким результатам по всем направлениям. Во-вторых, приложения с искусственным интеллектом, от чат-ботов до оптимизаторов ценообразования и предиктивной аналитики, зависят от гигантских хранилищ качественных данных — и многие из этих приложений уже приносят новый доход.
 
Но ИИ также накладывает важное новое обязательство на CDOs: они должны гарантировать, что обучающие данные ИИ не дают предвзятых результатов. Классический пример — непреднамеренная ассоциация риска с заемщиками из числа меньшинств, кандидатами на работу, деловыми партнерами и так далее. Отсутствие предвзятости в отношении ИИ также является обязанностью разработчиков приложений для ИИ, поэтому совместное тестирование должно проводиться постоянно.
 
Архитекторы данных
 
Архитекторы данных воплощают в жизнь видение, политику и инициативы CDO посредством эффективного планирования и проектирования. Это начинается с моделирования данных: сбора и анализа требований к данным и разработки логических и физических моделей для их соответствия. Моделирование данных на базе искусственного интеллекта находится на ранней стадии, но по мере развития технологии оно поможет архитекторам создавать более сложные и точные модели.
 
Архитекторы данных могут использовать инструменты с поддержкой ИИ для выявления тенденций в использовании данных с целью определения оптимального расположения данных, производительности хранилища и безопасности данных для обслуживания приложений в масштабах всей организации. Такой анализ может распространяться на предиктивное планирование емкости, чтобы архитекторы могли определить, какие данные хранить на каких платформах, сейчас и в будущем, локально или в облаке.
 
Дата-инженеры и специалисты по интеграции
 
Инженеры данных обычно управляют данными на системном, а не организационном уровне, уделяя особое внимание инфраструктуре, в то время как специалисты по интеграции данных решают извечную проблему объединения и согласования данных из нескольких хранилищ для любого количества бизнес-приложений. Эти две пересекающиеся роли уже получают преимущества от искусственного интеллекта.
 
Ключевым вопросом в этой области является управление метаданными — организация всей важной информации, описывающей данные, полезные для предприятия, независимо от их происхождения или платформы. Уже существуют инструменты искусственного интеллекта, которые помогают выявить и упорядочить схему метаданных для сопоставления и интеграции данных. Некоторые из них также автоматизируют создание конвейеров данных, которые формируют основу интеграции данных. Новые предложения с использованием ИИ могут непрерывно отслеживать качество данных по мере их прохождения через конвейеры, отмечая несоответствия в режиме реального времени.
 
Администраторы баз данных (DBAs)
 
Управление корпоративной базой данных — работа со многими аспектами, от настройки производительности до интенсивного выполнения SQL-запросов и обеспечения доступности и безопасности. Администраторам баз данных обычно необходимо сбалансировать требования различных групп пользователей, сводя к минимуму сбои в работе при масштабировании хранилищ данных и появлении новых версий программного обеспечения для баз данных. И здесь ИИ может сократить время, затрачиваемое на выполнение рутинных задач, позволяя администраторам баз данных уделять больше времени выявлению и удовлетворению потребностей заинтересованных сторон.
 
Но главный выигрыш — в оптимизации. Использование инструментов на базе искусственного интеллекта для анализа характеристик производительности позволяет DBA выявлять узкие места и предвидеть предстоящие ограничения инфраструктуры — или фактически увеличивать пропускную способность без вмешательства человека. Инструменты искусственного интеллекта, которые работают с самой базой данных, могут предлагать настройки индексации и рекомендовать изменения в запросах, которые позволяют быстрее получить лучшие результаты. 
 
Data scientists
 
Искусственный интеллект, пожалуй, приносит наибольшую пользу data scientists — специалистам, которые должны обладать продвинутыми навыками в программировании, машинном обучении (ML), математике и инструментах анализа данных. Например, автоматизированное ML (AutoML) значительно облегчает задачу разработки модели, включая выбор правильного алгоритма машинного обучения для работы. Кроме того, как и в любом программировании, data scientists, пишущие код на Python или R, могут извлечь выгоду из повышения производительности, предлагаемого ИИ-помощниками по кодированию.
 
Data scientists обладают широкими полномочиями, используя огромные объемы данных для определения долгосрочных корпоративных тенденций, рисков и возможностей — процесс, обогащенный новым набором аналитического программного обеспечения с поддержкой ИИ. Но у этой работы есть маленький грязный секрет: data scientists тратят большую часть своего времени на поиск, очистку и предварительную обработку данных. Каталогизация данных с помощью ИИ ускоряет поиск источников, а также появляются инструменты, помогающие обеспечить шесть элементов качества данных: точность, полноту, согласованность, уникальность, своевременность и достоверность. Эта основа повышает ценность анализа данных на предприятии.
 
Аналитики данных
 
Как и data scientists, аналитики данных используют новые возможности искусственного интеллекта, встроенные в новейшие аналитические инструменты. Однако аналитики данных обычно фокусируются на поддержке принятия решений в конкретной предметной области, а не на анализе общей картины. В течение многих лет ИИ обеспечивал предиктивную аналитику, но новые итеративные возможности ML улучшают распознавание шаблонов (и аномалий), позволяя получать гораздо более точные прогнозы. ИИ также может предоставлять наилучшую визуализацию для текущей задачи и даже автоматически генерировать информационные панели.
 
Вся эта автоматизация приводит к расширению доступа к аналитике данных. Интерфейсы на естественном языке позволяют тем, у кого нет навыков работы с языком запросов, выполнять собственный анализ, в то время как рекомендации, предлагаемые ИИ, помогают предотвратить ошибки новичков. Искусственный интеллект стремительно меняет аналитику, значительно расширяя возможности и оснащая все более широкий круг бизнес-аналитиков мощными инструментами самообслуживания.
 
Разработчики программного обеспечения
 
Строго говоря, разработчики программного обеспечения не являются специалистами по данным, но очевидно, что они имеют дело с огромными объемами данных в виде миллионов строк кода. В то же время многие разработчики интегрируют возможности ML в приложения, которые обрабатывают все виды корпоративных данных. В обоих случаях помощники по кодированию на основе искусственного интеллекта оказывают большое влияние на производительность разработчиков.
 
Помощники по кодированию выходят далеко за рамки простого заполнения повторяющихся строк кода. Используя запросы на естественном языке из обширных репозиториев с открытым исходным кодом, а также проприетарную кодовую базу компании, разработчикам больше не нужно героически выискивать непонятные синтаксические детали. Помощники по кодированию могут предоставить их в хорошо оформленном виде — и в соответствии с правилами кодирования, установленными организацией разработчика. В некоторых случаях помощники по программированию также рекомендуют подходящие алгоритмы машинного обучения для конкретных прикладных задач.
 
ИИ завоевывает предприятия
 
Можно с уверенностью сказать, что ни одна новая технология не оказала такого широкого влияния так быстро, как ИИ. Несмотря на то, что наибольший эффект от внедрения ИИ ощущают специалисты по обработке данных и разработчики, профессионалы в области маркетинга, разработки продуктов, сервисных операций, анализа рисков и т.д. также выигрывают от распространения искусственного интеллекта. Улучшение качества данных и аналитики уже ощущается на предприятиях. Возможно, самый удивительный факт заключается в том, что мы только начинаем.
 
Ссылка на источник