過去二十年のほとんどにおいて、データアーキテクチャは下流の関心事として扱われてきた。アプリケーションはプロセスを動かすために購入または構築され、データはそれらのアプリケーションがたまたま記録したものにすぎなかった。レポーティングは後付けで取り付けられ、統合は必要が生じるたびに個別対応で処理され、データの意味は暗黙のまま、在籍年数の長い人々の頭の中に符号化されて残された。システムの数が少なく、変化の速度が遅いうちは、これでも許容された。

その許容の余地は尽きた。今日の典型的な企業は、それぞれが顧客、製品、取引について独自のモデルを持つ大規模な software as a service アプリケーション群を運用し、それと並行して退役させられないレガシーシステムと、それらすべてを整合させることを期待されるデータプラットフォームを抱えている。あらゆる合併、あらゆる新規チャネル、あらゆる規制上の義務が、同じ対象に対する別の定義を追加していく。かつては静かに吸収されていた曖昧さのコストが、今では失敗した移行、食い違うレポート、行動の根拠として信頼できない分析結果として表面化する。

分析用途および生成用途のワークロードの到来は、さらに賭け金を引き上げた。一貫性がなく、ラベルづけされておらず、十分に理解されていないデータで学習したモデルは、大きな音を立てて失敗するわけではない。誰も精査していない土台の上に、自信に満ちた答えを生み出す。これらの技術から価値を引き出している組織は、ほぼ例外なく、自らの情報を明確に定義するという地味な作業をすでに終えていた組織である。意味はもはや文書化作業ではない。データの上に構築されるあらゆるものが信頼に足るかどうかを左右する制約であり、だからこそ情報データアーキテクチャは、後回しの位置から最前線へと移動したのである。

データアーキテクチャの基礎をなす技法はモデリングであり、モデリングは正しくは同一の対象に対する三つの異なる視点として理解される。それぞれが異なる読み手に向けられ、それぞれが異なる問いに答える。これらを一つに潰したり、上位二つを飛ばしてデータベースから始めたりすることは、この分野で最も一般的な構造的過ちである。

概念モデルは、ビジネスが意味するところを、ビジネスの言葉で記述する。中核となるエンティティ、すなわち顧客、契約、資産、出荷、そしてそれらの間の関係を、どのように格納されるかへの言及を一切せずに名づける。その目的は合意にある。ある見込み客が顧客であるかどうかを二つの部門が論じるとき、概念モデルこそがその議論を一度、記録の上で解決する場所である。それは小さく、安定しており、技術に明るくない経営幹部が読んで承認できる言葉で表現される。

論理モデルは、それら合意された概念を受け取り、精緻にする。属性、識別子、多重度、そしてそれらを統べる規則を定義する。たとえば、契約は正確に一つの所有当事者を持たなければならず、請求明細行は存在しなければならない製品を参照する。特定の技術からは独立しているため、同じ論理モデルはリレーショナルデータベース、ドキュメントストア、イベントストリームのいずれでも実現できる。これは厳密さが宿る層であり、そして最も頻繁に丸ごと欠落している層でもある。

物理モデルは実装である。テーブル、カラム、インデックス、パーティション、ファイル形式、そして性能とコストのために行われた妥協。これは意図的に最下層に置かれる。なぜなら、最も変更を受けやすい層だからである。物理的な決定が、逆にではなく論理的および概念的な理解を駆動することを許すと、企業はデータベースベンダーが都合よく見出したものを基準に、自らのビジネスを定義してしまう結果になる。この技法の要諦は、意味を構造へと流れ下らせ、構造がひそかに意味を再定義することを決して許さないことにある。

いくつかの動向がこの作業のあり方を作り変えつつあり、実質的な変化とそれを取り巻くマーケティングとを切り分けておく価値がある。最も重要なのは、純粋に中央集権的なデータ所有から連邦型モデルへの移行であり、data mesh はその最もよく知られた表現である。その洞察は健全である。ある領域を理解する人々が、その領域のデータの品質と意味について説明責任を負うべきであり、データを、名前を持つ所有者、契約、消費者を伴う製品として扱うことは、その両方を改善する。しばしば現実となる危険は、共有された意味づけを欠いた連邦化が、曖昧さを解決するのではなく単に分散させてしまうことである。連邦型の所有は、企業全体の定義の代わりにではなく、その上に立ってはじめて機能する。

第二の変化は、セマンティックレイヤーの台頭と、メタデータに対する真剣さの再興である。アクティブメタデータ、データカタログ、自動化されたリネージ取得によって、どのようなデータが存在し、それが何を意味し、どこから来たのかを、部族的知識に頼らず大規模に把握することが可能になった。これは真の進歩である。ただし、カタログが統制された成果物として扱われ、一年のうちに陳腐化していく投棄場所とならない場合に限る。

第三に、分析用途および生成用途のワークロードの要求が、データ品質とリネージを衛生管理ではなく商業上の必要事へと変えた。ある組織が規制当局に対して、あるいは自らに対して、なぜモデルが特定の判断を下したのかを説明しなければならないとき、その答えをすべての変換を経て源泉まで遡る必要がある。リネージは、見栄えのよい図から監査可能な要件へと移行した。プライバシー法から業界固有の義務に至るまで、データをめぐる規制が着実に厳格化していることも同じ点を補強する。企業は、自らがどのようなデータを保有し、それが何を意味し、どのように動くのかを正確に把握し、それを証明することを、ますます求められている。

優れた情報アーキテクチャは、述べるのは簡単だが守るのは骨の折れる、少数の原則の上に立っている。第一は、各中核概念に対する単一の信頼できる意味である。これはデータの物理的な複製を一つにすることを意味しない。それは達成可能でも望ましくもない。それは、あらゆる複製が準拠する一つの権威ある定義と、各エンティティについてどのシステムが真実の源泉であるかの明確な指定を意味する。マスターデータ管理はこの原則の実践的な表現である。顧客と製品が企業全体で共有されていることを見きわめ、各アプリケーションが独自のものを勝手に作り出すのを許すのではなく、それらのゴールデンレコードを意図的に管理することである。

第二の原則は、参照データをマスターデータおよびトランザクションデータから明確に分離することである。参照データ、すなわち国コード、通貨、ステータス、分類の統制されたリストは、小さく、変化が遅く、遍在しており、そしてそれが乖離したときには不釣り合いなほどの損害をもたらす。所有されたコードリストと管理された変更をもって中央で統制することが、静かな統合障害の大きな一群を防ぐ。

第三の原則は、データは一度モデル化され物理的には何度も実現され、それらの複製をリネージが結びつけるべきだということである。同じ論理エンティティが業務ストア、ウェアハウス、キャッシュに存在してよいが、それぞれは理解された一つの定義の投影であり、それらの間の変換は文書化され追跡可能である。第四の原則は、所有は事後に割り当てるのではなく、設計に組み込むということである。重要なデータ領域にはそれぞれ、定義と品質について説明責任を負う名前を持つスチュワードがいて、その説明責任は、対立を解決する権限を伴う実効的なものである。最後に、品質はストレージに対してではなく、意味に対して測られる。データは、それが概念モデルの述べるところを忠実に表現しているときに適合しているのであり、定義された意味づけに紐づいていない品質規則は、特に何も測っていない。

この分野における失敗の型は、名前をつけられるほど一貫している。物理層から始めることが最も一般的である。あるチームがウェアハウスやレイクハウスを立ち上げ、テーブルで直接モデリングし、十八か月後に、自らのソースシステムのあらゆる不整合を、より大きな規模とより高いコストで忠実に再現してしまったことに気づく。意味が合意される前に構造が構築され、どれほどのツールをもってしても、欠落した合意を取り戻すことはできない。

定義の氾濫が第二である。売上は財務にとって一つのものを意味し、営業にとっては別のものを、取締役会にとっては第三のものを意味し、誰もペンを握っていないため、三つすべてが存続する。あらゆるレポートが交渉となり、数字への信頼は、人々がひそかに自分自身のスプレッドシートを持ち続けるまで蝕まれていく。これはアーキテクチャが失敗したことの最も確かな兆候である。

統制されていないマスターデータの失敗がそれに続く。管理されたゴールデンレコードがなければ、同じ顧客が四つのレコードとして存在し、重複が件数を水増しし、突合が恒常的な手作業の税となる。関連する型として、誰も保守しないカタログがある。メタデータの取り組みが意気込みとともに立ち上がり、いったんは全体像を捉えるものの、二度と更新されず、一年のうちにもはや存在しないシステムを記述するようになり、誰にも信頼されなくなる。

そして装飾としてのリネージがある。フロー図が監査のために描かれるが、実際の変換を決して反映せず、そのためある数字に疑義が呈されても、依然として追跡できない。最後に、そして最も静かに損害を与えるのが、権限なきガバナンスである。会合を開き、方針を生み出すものの、いかなるチームに何かを変えさせる力も持たないガバナンス委員会。これらの失敗はいずれも根を共有している。誰かが情報を、所有者、定義、ライフサイクルを備えた管理された資産としてではなく、技術的な副産物として扱ったのである。

Nashua は技術からではなく、意味から始める。いかなるプラットフォームを推奨する前にも、私たちはビジネスとともに概念モデルを確立する。すなわち、企業が真に共有する一握りの中核エンティティと、合意され所有されなければならない定義である。これは意図的にビジネスのステークホルダーを同席させて行う。なぜなら、商業部門と財務部門の双方が承認していない顧客の定義は、定義ではなく提案にすぎないからである。意味が定まってはじめて、私たちは論理設計と物理設計へと降りていく。

そこから、私たちは実際の情勢を地図に描く。どのシステムがどのエンティティを保持しているか、各エンティティについてどれが権威ある源泉であるか、そしてデータが今日どのように実際にシステム間を動いているか、あらゆる組織が抱える文書化されていない流れを含めて。これがリネージの、そして移送の途中で意味がどこで失われ、あるいは重複しているかの、正直な全体像を生み出す。その全体像に照らして、私たちは目標像を設計する。マスターデータと参照データがどこで統制されるか、ゴールデンレコードがどのように形成され保守されるか、そして品質が都合のよい代理指標に対してではなく合意された意味づけに対してどのように測られるか。

決定的に重要なのは、Nashua がガバナンスを文書ではなく運用能力として扱うことである。私たちは、実効的な権限を持つデータ所有、データを理解する領域に位置するスチュワードシップの役割、そして、傍らで手入れされるのではなく変更のなされ方に組み込まれているがゆえに生きた成果物として保守されるカタログの確立を支援する。私たちは漸進的に働く。曖昧さがビジネスに実際の金銭的損失を与えている一つか二つの高価値領域でアプローチを実証し、それからその型を拡張する。全体を通じての狙いは、組織がこの分野を自ら運営できる状態に残されることであり、モデル、所有、ガバナンスが働き方に組み込まれ、それを維持するために私たちに依存しないことである。

この作業において Nashua を際立たせるのは、ツールの決定を、より困難な意味の技法の身代わりにすることを拒む姿勢である。多くの提供者は、カタログ、マスターデータプラットフォーム、あるいはレイクハウスを喜んで実装し、データ問題は解決したと宣言する。私たちはそうした関与を十分に見てきたので、解決されていない意味づけの上に敷かれた技術が、混乱を自動化するだけであることを知っている。私たちの貢献は、まず定義、所有、リネージという骨の折れる地味な作業を行い、技術をそれに奉仕させることである。それによって、単一の信頼できる意味が、願望ではなく現実で持続的なものとなる。

そして、この作業が前提として許されるものを変える実際的な帰結がある。ある関与が、まだ存在しない能力を必要とするとき、それは調達サイクルやベンダーのロードマップを待つ必要はない。enterprise platform は、エージェンティック・エンジニアリングを通じて、ほとんどあらゆる機能を速やかに受け入れられるよう構築されている。必要なものを平易な言葉で記述し、素早く生成するが、常に確固たるアーキテクチャ原則の枠内で、かつ厳格な品質保証のもとで行うため、速度が一貫性、セキュリティ、統制を犠牲にすることは決してない。その効果は単に便利であるにとどまらず、戦略的である。それは内製か購入かの境界線を動かし、選択肢を安価に保ち、戦略が棚にたまたまあったものに屈するのではなく、アーキテクチャが戦略に従うことを可能にする。

その組み合わせ、すなわちデータの意味づけと流れに対する深いアーキテクチャ上の厳密さと、そこから生まれた定義、所有、リネージを日々の運用へと運ぶプラットフォームとが相まって、組織がレコードを蓄積する段階から、自らについて実際に推論する段階へと移ることを可能にする。成功の尺度は静かで具体的である。ビジネスの二つの部分で問われた同じ問いが同じ答えを返し、レポート中の数字が会議を開かずに追跡でき、新たな分析用途または生成用途の作業を、意味が理解され信頼されるデータの上に構築できる。Nashua は、組織をその状態へと至らせ、そしてそれを自ら保てるように残すために存在する。