データメッシュと他のデータ管理オプションの比較

Aug 17, 2023

ゲッティイメージズ

データからより多くの価値を求める組織には、選択できる戦略が数多くあります。 適切なデータ アーキテクチャを選択するには、オプションとそれぞれの制限を必ず理解してください。

組織はツールを購入する際に、データのニーズとデータ戦略を見落とすべきではありません。 データオペレーティングシステムを提供するThe Modern Data Companyの最高経営責任者（CEO）、スルジャン・アクラ氏は、「もしそうした場合、最適とは言えないテクノロジーの選択をし、データガバナンス、セキュリティ、プライバシーを過小評価する可能性がある」と述べた。

「専門家は、データ アーキテクチャ ソリューションを実装する前に、コミュニケーションを優先し、関係者を巻き込み、組織の目的と要件を包括的に理解する必要があります」とアクラ氏は述べています。 さらに、スタッフのトレーニングとスキル開発はテクノロジー導入の重要な部分です。

データ メッシュは、データ アーキテクチャの進化の最新章です。 データ分析アーキテクチャはデータ ウェアハウスから始まり、データ レイクに進化しました。 データ メッシュは、組織が検討すべき 3 番目のバージョンです。

オープンソースの NoSQL データベース会社 Couchbase の CTO である Ravi Mayuram 氏は、「データ メッシュは、データの規模と多様性の両方のニーズに加え、これらのシステムから洞察を引き出す速度にも対応しています」と述べています。

この記事では、データ メッシュとは何か、またデータ ウェアハウス、データ レイク、データ ファブリックなどの他の一般的なアプローチとの違いについて説明します。 また、データ メッシュ アプローチを導入する組織に対して実践的なアドバイスも提供します。

データ メッシュは、複雑な組織におけるデータと分析のスケーリングの課題に対処します。 データ メッシュは、ドメインごとにデータを編成する分散型データ アーキテクチャであり、主に人とプロセスに重点を置いています。 Nextdata の CEO である Zhamak Dehghani 氏は、テクノロジー コンサルタント会社 Thoughtworks に在籍していたときに、このコンセプトの先駆者となりました。

それには 4 つの基本原則があります。

このアプローチは、データ メッシュと集中化されたデータ チームおよび構造を対比させます。 データ可観測性ソリューションベンダーのMonte Carlo Dataの最高技術責任者（CTO）であるLior Gavish氏は、これらの集中化されたチームはすべての問題を解決しようとしていると述べた。 データ メッシュは、企業がデータ チームを拡張するのに役立つはずです。 「多くの異なるチームがデータを効果的に、そして相互に独立して使用できるようにするにはどうすればよいでしょうか?」 ガビッシュ氏は語った。

データ ウェアハウスはモノリシックになる傾向があり、データを単一の環境にロードし、分析と意思決定をサポートするデータのリポジトリとして機能します。 データ メッシュにより、ビジネス価値を提供するためにデータを移動する必要がない分散環境が可能になります。 データ ウェアハウスはデータ メッシュの一部になることができるため、データ ウェアハウスとデータ メッシュは相互に排他的ではありません。

データ ウェアハウスの背後にある哲学は、真実の単一バージョンを作成し、それを IT 部門の管理下に一元化することです。 データ ウェアハウスはデータ プラットフォームです。 ユーザーがデータ製品を保存および構築する場所です。

オープン データ レイク ソリューション プロバイダーである Dremio の開発者アドボケートである Dipankar Mazumdar 氏は、「データ メッシュは、データを個々のドメインが所有する一流の製品として扱う組織的な考え方に重点を置いています」と述べています。

データ ウェアハウスのアプローチには欠点もあります。

データ パイプライン オートメーション会社 Ascend.io のフィールド CTO であるジョン オズボーン氏は、「モノリシック データは複雑な変更管理プロセスを推進し、新しい技術人材の立ち上げ時間が長くなる原因となります」と述べています。 「[また] セルフサービスであるべきリクエストを伴う、終わりのないエンジニアリング バックログが発生します。」

データ ウェアハウスと同様に、データ レイクはデータのストレージと処理を一元化しますが、データ レイクは主にファイル ストレージまたはオブジェクト ストレージに構造化データと非構造化データの両方を格納できます。 これもデータ メッシュの一部になる可能性があります。

「データ メッシュの概念は、運用データ ソースとドメイン固有のデータ レイクを織り交ぜるメッシュ レイヤーに依存しています」と Mayuram 氏は述べています。

基本的に、データ レイクまたはメッシュのアプローチ、またはその両方の組み合わせを評価する場合、データ リーダーは、分散データを管理するアーキテクチャが組織に適切であるかどうかを理解する必要があります。 複雑なアーキテクチャを持つ大規模組織は、データのサイロ化やアクセシビリティの問題に悩まされる可能性があります。 このため、さまざまなソースにわたるデータの統合が困難になっていると、コンサルティング、デジタル、マネージド サービス会社である Guidehouse のパートナーでありデータ管理リーダーの Bob Audet 氏は述べています。

「データ消費者やデータキュレーターは適切なデータを見つけることができないため、競争の先を行き、急速に変化するビジネスニーズに対応することが困難になっています」とオーデ氏は述べた。

データ ファブリックの目標は、異種のソースを統合し、組織のデータ資産の一元的かつ全体的なビューを提供することです。 これは、データ メッシュが分散型のデータ所有権とアーキテクチャに重点を置いているのとは対照的です。 どちらも、組織におけるデータの多様なユースケースをサポートすることを目的としています。

「各ドメインまたはビジネスユニットは独自のデータ製品の所有権を持ち、ローカルで管理および管理されます」とマズムダル氏はデータメッシュについて述べた。 「これは、データが製品として扱われ、ドメイン チームが独自のデータ製品の品質、ガバナンス、ライフサイクルに責任を負うことを意味します。」

データ管理に対するデータ ファブリックのアプローチにより、組織全体にわたるデータの統一された統合ビューが作成されます。 データは簡単にアクセスして発見でき、結合や分析が容易な方法で整理されるべきであるという考えに基づいて構築されています。 データ ファブリックは通常、テクノロジーの組み合わせによって実装されます。

「データ ファブリックは…アプリケーション データのサイロ化を本格的に開始する最初のテクノロジーであり、長年待ち望まれていた進歩です」と非営利団体 Data Collaboration Alliance の諮問委員で元 Dropbox CIO の Sylvie Veilleux 氏は述べています。 。 「現代のデータ エコシステムは信じられないほど複雑で、データベースからデータ レイクまであらゆる種類のパイプラインが接続されています。」

データ ファブリックでは、組織のサイロに存在するデータとメタデータ間の接続を確立するアーキテクチャが使用されていると Veilleux 氏は述べています。 データ ファブリックでは、権限ベースのシステムがデータへのアクセスを制御しますが、データ メッシュでは機能の所有者がデータとそのアクセスを制御します。 これは、中央管理当局からの許可が必要ないことを意味します。

これは「機密データであっても際限なくコピーを作成するという長年の慣行を終わらせるための重要な一歩だ」とヴェイルー氏は述べた。

単一の完全なデータ メッシュ実装は存在しません。 オズボーン氏によると、組織は単純な実装や部分的な実装でも恩恵を受けることができます。

「機能するメッシュ戦略により、より親しみやすいデータが生成され、キーボード上のより多くの指がデータを使用できるようになります」とオズボーン氏は述べた。 「アナリスト、データサイエンティスト、レポート作成者、そして場合によってはビジネスマンも参加できるようになるでしょう。計画を立ててください。」

すべてのデータ戦略には、意図どおりに機能するために真実である必要がある基礎的な前提条件があります。 回避可能な間違いを回避するには、組織はこれらの前提を理解する必要があります。 Osborn 氏によると、3 つのコア データ メッシュの前提条件は次のとおりです。

の一部: データ メッシュは正しい選択ですか?

データ メッシュは、データ管理とデータからの価値の引き出しに分散型アプローチを採用しています。 データ ウェアハウス、レイク、ファブリックと類似点がありますが、哲学が異なります。

データ メッシュは組織のデータ品質と洞察を向上させることができますが、重大な課題によりこれらの利点の達成が困難になる場合があります。

リアルタイム分析により、より迅速な意思決定と洞察が可能になります。 データの民主化の重要性が高まるにつれ、データ メッシュはすべてのユーザーのデータを分散化するのに役立ちます。