Все больше компаний используют data fabrics для решения сложных задач управления данными. Вот что нужно знать руководителям бизнеса и ИТ-отделов.

Автор: Айзек Саколик, InfoWorld
 
За последний год важность data fabrics возросла, поскольку все больше организаций стремятся использовать свои данные и интеллектуальную собственность в решениях генеративного искусственного интеллекта. Data fabrics помогают решать задачи централизации данных между бизнес-подразделениями и наборами данных, размещенными в общедоступных облаках, центрах обработки данных и SaaS-решениях. В результате все больше ИИ, моделей машинного обучения и людей могут быстрее и проще использовать данные в режиме реального времени.
 
Когда в прошлом году я писал о data fabrics, data meshes и облачных базах данных, я сосредоточился на том, как лидеры в области данных могут объяснить эти технологии руководителям бизнеса, не утопая в жаргоне. Я сочувствовал руководителям по работе с данными, столкнувшимся с противодействием со стороны владельцев бизнеса, которые вспоминают аналогичные инвестиции в большие данные, озера данных, lakehouses и облачную миграцию.
 
Для многих крупных предприятий вопрос может заключаться не в том, нужна ли им data fabric, а в том, как их оценить, какие из них отвечают потребностям бизнеса и как эффективно их внедрять. Оценка предложений новых поставщиков — непростая задача; в отчете Forrester Wave Enterprise Data Fabric за 2024 год, сообщается о двух десятках новых поставщиков, предлагающих возможности fabric с момента их оценки в 2022 году.
 
Почему крупным компаниям нужна data fabric
 
Давайте рассмотрим несколько бизнес-сценариев, в которых data fabrics могут принести пользу.
 
Во-первых, крупный мировой производитель, использующий SAP для своих финансовых целей, стремится создать комплексные операционные процессы с поддержкой genAI, используя данные из других корпоративных систем, SaaS-платформ и облачных баз данных. Компании нужен простой способ подключения этих различных источников данных для проведения аналитики в режиме реального времени и предоставления сотрудникам возможности использовать подсказки genAI для запроса информации. SAP Datasphere стала решением проблем интеграции.
 
Второй пример — государственное учреждение, которое использует платформу low-code для управления делами и межведомственными рабочими процессами, но теперь нуждается в интеграции с хранилищами данных в своих кадровых и финансовых системах. Компания изучает две платформы для автоматизации бизнес-процессов с низким уровне  кода — Appian Data Fabric и Pega Process Fabric. Обе помогают интегрировать данные и рабочие процессы между своими платформами и более широкой экосистемой корпоративных решений.
 
Другими решениями data fabric, представленными в Wave от Forrester, являются Cloudera, Informatica, Denodo, Google, Hewlett Packard Enterprise IBM, InterSystems, K2view, Microsoft, Oracle, Qlik, Solix Technologies, Teradata и TIBCO Software.
 
«Data fabric объединяет различные структурированные и неструктурированные источники данных, обеспечивая единое представление и доступ к ним в масштабе всего предприятия для ускорения бизнес-анализа», — говорит Армон Петросян, генеральный директор и соучредитель Coalesce. «При внедрении data fabric важно учитывать масштабируемость для обработки больших объемов данных, гибкость для различных типов данных и надежные меры безопасности».
 
Data fabric использует подход, ориентированный на приложения и людей, путем централизации доступа и предоставления услуг управления. Она отвечает на вопрос: как инженеры по обработке данных могут упростить стандартные шаблоны доступа для приложений-потребителей без дополнительного управления данными и лишней инженерной работы?
 
«Data fabric — решение, предназначенное для интеграции, управления и систематизации данных из различных источников и сред», — говорит Кейси Лай, основатель Promethium. «Это обеспечивает унифицированное и согласованное представление соответствующих данных на предприятии в сочетании с возможностями, позволяющими легко находить данные, интегрировать их в виртуальную среду и предоставлять информационные продукты».
 
Лай делится тремя признаками того, что организациям требуется data fabric:
* Компания сталкивается с проблемой разрозненности и фрагментации данных.
* Бизнес-пользователям требуется аналитика в режиме реального времени для немедленного принятия решений.
* Руководство хочет внедрить генеративный искусственный интеллект и расширить возможности аналитики самообслуживания для бизнес-пользователей.
 
«Когда вы решаете использовать архитектуру data fabric, вы выбираете централизованную стратегию обработки данных», — говорит Хема Рагхаван, руководитель инженерного отдела и соучредитель Kumo AI. «Если ваша компания разделена на бизнес-направления (LOBs), и данные, аналитика и модели из одного подразделения могут помочь другому, архитектура data fabric поможет вам быстро реализовать преимущества в различных подразделениях вашего предприятия».
 
Чем data fabrics отличаются от платформ интеграции данных
 
Многие организации уже инвестировали в платформы интеграции данных, которые помогают перемещать информацию между базами данных, озерами данных и другими системами. Конвейеры данных и технологии потоковой передачи данных предоставляют возможности автоматизации и обработки в режиме реального времени, а платформы интеграции как услуга (iPaaS) помогают объединить данные и рабочий процесс в разных системах.
 
Итак, чем data fabrics отличаются от платформ других типов?
 
«Data fabrics — это сочетание архитектуры данных и специализированных программных решений, которые объединяют метаданные и данные в различных ИТ-системах и бизнес-приложениях, а также управляют ими», — говорит Джей Джи Чирапурат, директор по маркетингу и решениям SAP BTP. «Внедрение стратегии data fabric позволяет пользователям данных организации получать доступ к данным в режиме реального времени, поддерживать всеобъемлющий источник коллективных знаний организации и автоматизировать процессы управления данными».
 
Таким образом, хотя интеграция данных в режиме реального времени и выполнение преобразований данных — ключевые возможности data fabrics, их определяющая способность — обеспечить централизованный, стандартизированный и регулируемый доступ к корпоративным источникам данных.
 
«При оценке data fabrics важно понимать, что они взаимосвязаны с различными корпоративными источниками данных, что обеспечивает быстрый доступ к данным и строгий контроль за ними», — говорит Саймон Марголис, младший технический директор отдела AI/ML в SADA. «В отличие от других решений для агрегации данных, функциональная data fabric служит «единым центром» для распределения данных между службами, упрощая доступ клиентов, управление и экспертный контроль».
 
Таким образом, data fabrics сочетают в себе функции других платформ управления данными и dataops. Как правило, они предлагают функции каталогизации данных, чтобы конечные пользователи могли находить и открывать для себя наборы данных организации. Многие из них помогают руководителям по управлению данными централизовать контроль доступа, предоставляя дата-инженерам инструменты для повышения качества данных и создания хранилищ основных данных. К другим отличительным возможностям относятся защита данных, функции обеспечения конфиденциальности данных и функции моделирования данных.
 
Унификация данных дает бизнес- и технические преимущества
 
Унификация данных подразумевает широкий набор возможностей для конечных пользователей и специалистов по работе с данными. Бизнес-лидеры стремятся к упрощенным возможностям самообслуживания, в то время как дата-специалисты — к возможностям автоматизации и эксплуатации для управления разрозненными наборами и типами данных в организации стандартными способами. Для организаций с большим количеством источников данных и платформ унификация может эффективно объединить надежные данные с расширенными бизнес-возможностями.
 
«Надежная структура данных революционизирует процесс обработки данных, интегрируя лучшие отраслевые практики и обеспечивая структурированные и надежные процессы», — говорит Хиллари Эштон, директор по продуктам Teradata. «Такой интеллектуальный подход повышает надежность ваших данных и, в конечном счете, — ценность для бизнеса».
 
Одним из способов оценить и обосновать инвестиции в создание структуры данных — проанализировать сложности, затраты и время, необходимые для предоставления данных в инициативах в области науки о данных. Дата-специалисты и инженеры-технологи тратят от 50% до 80% своего времени на обработку данных, а усилия по унификации данных могут помочь сократить количество повторных попыток объединения и очистки источников данных.
 
«Реальность такова, что больше половины проектов в области искусственного интеллекта не запускаются в производство из-за отсутствия надежной базы корпоративных данных», — говорит Мидхат Шахид, вице-президент по управлению продуктами data fabric в IBM. «Без единого представления о данных в разрозненных хранилищах и системах организациям сложно эффективно интегрировать свои данные и управлять ими. Архитектура data fabric необходима для раскрытия ценности данных в гибридных облачных ИТ-средах».
 
Унификация должна предоставлять ИТ-специалистам и дата-специалистам возможности для работы с различными типами данных, готовые интеграции с общими платформами, возможности автоматизации для стандартизации наборов данных, а также инструменты для интеграции с инициативами по разработке приложений и анализу данных.
 
«Унификация данных означает возможность собирать все структурированные, неструктурированные и полуструктурированные данные в виде единого каталога независимо от того, хранятся ли эти данные физически на платформе или нет», — говорит Джон Оттман, исполнительный директор Solix Technologies. «Благодаря этой возможности унификации данных специалисты могут организовать управление данными и транзакции ACID с контролем версий на протяжении всего жизненного цикла данных. Data fabricsобеспечивают ценность, позволяя преобразовывать данные, необходимые для последующих приложений, таких как машинное обучение, расширенная аналитика, генеративный искусственный интеллект и другие NoSQL-приложения, которые стремятся монетизировать корпоративные данные».
 
Проблемы внедрения data fabrics
 
Data fabrics звучат слишком хорошо, чтобы быть правдой, поэтому я попросил профессионалов поделиться некоторыми трудностями при внедрении.
 
«Многие компании, внедряющие data fabric, значительно недооценивают сложность существующей архитектуры данных и просто переходят на решение, не имея полного представления о своих хранилищах данных», — говорит Эштон из Teradata. «Вторая большая ошибка — упускать из виду важность управления данными, доверия и безопасности, которые являются главнейшими элементами обеспечения качества данных и соответствия требованиям».
 
Для успешного внедрения решения data fabric ИТ-отделы должны сформулировать концепцию, определить цели, расставить приоритеты в бизнес-потребностях и оценить технические возможности платформ. Поскольку целью является централизация и унификация, обеспечение управления и безопасности находится на переднем крае планирования внедрения data fabric.
 
Определение требований к данным и базовых моделей — одна из областей, в которую стоит углубиться. Джей Эллардайс, генеральный менеджер по данным и аналитике insightsoftware, говорит: «Несмотря на то, что многие решения data fabric предлагают стандартизированный подход, большинству из них изначально не хватает контекста конкретной предметной области».
 
Например, системы планирования ресурсов предприятия (ERP) хранят обширную информацию о финансовых показателях организации, продуктах и цепочках поставок, в то время как платформы данных о клиентах (CDP) помогают централизовать информацию о пользователях и потенциальных клиентах из нескольких систем маркетинга и продаж. В какой степени data fabrics могут представлять богатые и взаимосвязанные данные, хранящиеся в этих доменах?
 
«В конечном счете, не будет универсальной data fabric, которая отвечала бы потребностям каждого, потому что данные столь же разнообразны и уникальны, как и люди, которые их используют», — говорит Анаис Дотис-Георгиу, ведущий разработчик InfluxData. «Утверждать, что одного решения может быть достаточно для любой организации, все равно что утверждать, что одна цепочка поставок может подойти для каждого бизнеса. Независимо от вашей предметной области, вам понадобятся эксперты, способные разобраться в специфических особенностях данных, уникальных задачах, связанных с разработкой данных, и в том, как использовать эти данные для решения значимых задач».
 
Еще одна проблема для технологических команд — недостаточное внимание к управлению изменениями и внедрению решений конечными пользователями.
«Владельцы данных могут опасаться несоблюдения требований безопасности или того, что совместное использование данных может угрожать их роли в организации. Важно убедить их, что они не потеряют контроль над ситуацией, поскольку все больше людей получат выгоду от их данных», — говорит Дэвид Кассел, автор и технический директор 4V Services.
 
Определение того, какие данные следует централизовать, и внедрение передовых методов управления данными — важные этапы плана внедрения.
 
«Организациям необходимо сократить объем разрозненных данных, автоматизировав интеграцию важных данных и повысив уровень готовности метаданных, чтобы постоянно каталогизировать, профилировать и выявлять наиболее часто используемые данные», — говорит Эмили Вашингтон, старший вице-президент по управлению продуктами компании Exact. «Также крайне важно разработать надежные политики и практики управления данными, чтобы обеспечить качество данных, их безопасность и соответствие требованиям, а также создать удобные для пользователей способы обеспечения доступности этих данных для уверенного принятия решений в рамках всего бизнеса».
 
Еще одну рекомендацию дает Джерод Джонсон, старший специалист по технологиям в CData. «Вам нужно будет поработать с пользователями данных и определить, когда им нужны данные в режиме реального времени, а когда лучше использовать исторические данные, и в соответствии с этим разработать систему, политики и процессы», — советует он.
 
Кому нужна Data Fabric?
 
«Data fabrics стоят дорого, но не позволяйте этому отвлекать вас от той роли, которую данные в режиме реального времени с низкой задержкой могут сыграть в повышении качества обслуживания клиентов», — говорит Хаваджа Шамс, основатель и генеральный директор Momento.
 
Любая инициатива по унификации данных, объединяющая сотни или более платформ обработки данных, приложений, SaaS и других сервисов, не может быть простой, быстрой или недорогой. Если бы это было так, мы бы уже решали проблемы с помощью хранилищ данных, платформ больших данных, озер данных и других ресурсов для управления данными.
 
Но искусственный интеллект повышает важность унификации данных, и платформы сами в некоторой степени стремятся к унификации, объединяя интеграцию данных, операции с данными, автоматизацию, бизнес-возможности самообслуживания и управление данными в рамках единой data fabric. Организациям, которые сталкиваются с большим объемом данных и трудностями в предоставлении аналитических возможностей, следует изучить архитектуру data fabric в качестве потенциального решения.
 
Ссылка на источник