Information & Data Architecture

Sebagian besar organisasi tidak memiliki masalah data seperti yang mereka kira. Mereka memiliki ribuan tabel, puluhan aplikasi dan sebuah gudang data yang cukup memadai, namun tiga tim menjawab sebuah pertanyaan sederhana, seperti berapa banyak pelanggan yang mereka miliki, dengan tiga angka yang berbeda. Kesulitannya jarang terletak pada penyimpanan atau perkakas; melainkan pada makna. Arsitektur informasi dan data menangani hal ini secara langsung, mengatur semantik dan pergerakan data di bawah lapisan aplikasi, serta memperlakukan informasi sebagai aset yang dikelola dengan satu makna tepercaya yang berlaku di seluruh perusahaan.

What Nashua offers hereKeterlibatan yang memberikan perusahaan satu makna tepercaya untuk informasinya dan sebuah model yang terkelola di bawahnya.See the engagements

Mengapa makna kini menentukan hasil

Selama hampir dua dekade terakhir, arsitektur data diperlakukan sebagai urusan hilir. Aplikasi dibeli atau dibangun untuk menjalankan proses, dan data adalah apa pun yang kebetulan dicatat oleh aplikasi tersebut. Pelaporan ditempelkan belakangan, integrasi ditangani secara titik ke titik saat kebutuhan muncul, dan semantik data dibiarkan tersirat, tersimpan di kepala orang-orang yang paling lama berada di sana. Hal ini masih dapat ditoleransi selama jumlah sistem sedikit dan laju perubahan lambat.

Toleransi itu kini telah habis. Perusahaan pada umumnya sekarang menjalankan sejumlah besar aplikasi software as a service, masing-masing dengan modelnya sendiri tentang pelanggan, produk dan transaksi, berdampingan dengan sistem lama yang tidak dapat dipensiunkan serta platform data yang diharapkan mendamaikan semuanya. Setiap merger, setiap kanal baru dan setiap kewajiban regulasi menambahkan satu lagi definisi untuk hal yang sama. Biaya ambiguitas, yang dahulu diserap diam-diam, kini muncul sebagai migrasi yang gagal, laporan yang dipertentangkan dan analitik yang tidak cukup dapat dipercaya untuk dijadikan dasar bertindak.

Hadirnya beban kerja analitis dan generatif semakin mempertinggi taruhannya. Sebuah model yang dilatih pada data yang tidak konsisten, tidak berlabel dan kurang dipahami tidak akan gagal dengan keras. Ia menghasilkan jawaban yang penuh percaya diri yang dibangun di atas fondasi yang belum pernah diperiksa siapa pun. Organisasi yang memperoleh nilai dari teknik-teknik ini, hampir tanpa terkecuali, adalah mereka yang telah lebih dahulu mengerjakan pekerjaan yang tidak menawan namun penting, yaitu mendefinisikan informasi mereka dengan jelas. Makna bukan lagi sekadar latihan dokumentasi. Ia adalah kendala yang menentukan apakah segala sesuatu yang dibangun di atas data dapat diandalkan, dan itulah sebabnya arsitektur informasi dan data telah berpindah dari ujung belakang antrean ke barisan depan.

Konseptual, logis dan fisik: tiga sudut pandang

Disiplin fundamental dari arsitektur data adalah pemodelan, dan pemodelan sepatutnya dipahami sebagai tiga sudut pandang yang berbeda atas subjek yang sama, masing-masing melayani audiens yang berbeda dan masing-masing menjawab pertanyaan yang berbeda. Menggabungkannya, atau melewatkan dua lapisan teratas dan langsung memulai dari basis data, adalah kesalahan struktural paling umum dalam bidang ini.

Model konseptual menggambarkan apa yang dimaksudkan oleh bisnis, dalam bahasa bisnis. Ia menamai entitas inti, pelanggan, kontrak, aset, pengiriman, serta hubungan di antaranya, tanpa merujuk sama sekali pada bagaimana entitas itu disimpan. Tujuannya adalah kesepakatan. Ketika dua departemen berdebat tentang apakah seorang calon pelanggan sudah termasuk pelanggan, model konseptuallah tempat perdebatan itu diselesaikan, sekali, secara tercatat. Model ini kecil, stabil dan diungkapkan dengan istilah yang dapat dibaca dan disahkan oleh eksekutif nonteknis.

Model logis mengambil konsep-konsep yang telah disepakati itu dan membuatnya tepat. Ia mendefinisikan atribut, pengidentifikasi, kardinalitas dan aturan yang mengaturnya: sebuah kontrak harus memiliki tepat satu pihak pemilik, sebuah baris faktur merujuk pada produk yang harus ada. Model ini tidak bergantung pada teknologi tertentu, sehingga model logis yang sama dapat diwujudkan dalam basis data relasional, penyimpanan dokumen atau aliran peristiwa. Inilah lapisan tempat ketelitian berdiam, dan inilah lapisan yang paling sering hilang sama sekali.

Model fisik adalah implementasinya: tabel, kolom, indeks, partisi, format berkas serta kompromi yang dibuat demi kinerja dan biaya. Ia sengaja ditempatkan sebagai lapisan paling bawah, karena inilah lapisan yang paling rentan berubah. Ketika keputusan fisik dibiarkan mengendalikan pemahaman logis dan konseptual, bukan sebaliknya, perusahaan berakhir dengan mendefinisikan bisnisnya sendiri berdasarkan apa pun yang kebetulan dianggap nyaman oleh vendor basis datanya. Disiplinnya adalah membiarkan makna mengalir turun ke dalam struktur, dan tidak pernah membiarkan struktur diam-diam mendefinisikan ulang makna.

Single trustedmeaningConceptual modelMaster dataReference dataLineageData qualityOwnership
Every managed facet of the data estate is organised around one authoritative definition of each core concept.

Apa yang sedang berubah dalam disiplin ini

Beberapa perkembangan sedang membentuk ulang cara pekerjaan ini dilakukan, dan ada baiknya memisahkan pergeseran yang substansial dari retorika pemasaran di sekelilingnya. Yang paling signifikan adalah peralihan dari kepemilikan data yang sepenuhnya terpusat menuju model terfederasi, yang artikulasi paling terkenalnya adalah data mesh. Wawasan di baliknya masuk akal: orang yang memahami sebuah domain seharusnya bertanggung jawab atas kualitas dan makna datanya, dan memperlakukan data sebagai produk dengan pemilik bernama, sebuah kontrak dan seorang konsumen memperbaiki keduanya. Risikonya, yang sering kali menjadi kenyataan, adalah bahwa federasi tanpa semantik bersama sekadar menyebarkan ambiguitas alih-alih menyelesaikannya. Kepemilikan terfederasi hanya berhasil di atas definisi yang berlaku di seluruh perusahaan, bukan sebagai pengganti definisi itu.

Pergeseran kedua adalah bangkitnya lapisan semantik dan kembalinya keseriusan terhadap metadata. Metadata aktif, katalog data dan penangkapan silsilah data secara otomatis telah memungkinkan untuk mengetahui, dalam skala besar, data apa yang ada, apa maknanya dan dari mana asalnya, alih-alih bergantung pada pengetahuan yang beredar secara lisan. Ini adalah kemajuan yang nyata, asalkan katalog diperlakukan sebagai artefak yang diatur dan bukan tempat pembuangan yang menjadi tidak relevan dalam waktu setahun.

Ketiga, tuntutan beban kerja analitis dan generatif telah menjadikan kualitas data dan silsilah data sebagai kebutuhan komersial, bukan sekadar higiene. Ketika sebuah organisasi harus menjelaskan kepada regulator, atau kepada dirinya sendiri, mengapa sebuah model mengambil keputusan tertentu, ia perlu menelusuri jawaban itu kembali melalui setiap transformasi hingga ke sumbernya. Silsilah data telah berpindah dari sekadar diagram yang menyenangkan menjadi persyaratan yang dapat diaudit. Pengetatan regulasi yang terus berlangsung seputar data, mulai dari hukum privasi hingga kewajiban khusus sektor, memperkuat hal yang sama: sebuah perusahaan semakin dituntut untuk mengetahui secara persis data apa yang dimilikinya, apa maknanya dan bagaimana data itu bergerak, serta membuktikannya.

Prinsip-prinsip yang membuatnya menyatu

Arsitektur informasi yang baik bertumpu pada sejumlah kecil prinsip yang sederhana untuk dinyatakan namun menuntut untuk ditegakkan. Yang pertama adalah satu makna tepercaya untuk setiap konsep inti. Ini tidak berarti satu salinan fisik data, yang tidak dapat dicapai maupun diinginkan. Ini berarti satu definisi otoritatif yang menjadi acuan bagi setiap salinan, dan penetapan yang jelas mengenai sistem mana yang menjadi sumber kebenaran bagi setiap entitas. Master data management adalah perwujudan praktis dari prinsip ini: mengidentifikasi bahwa pelanggan dan produk dibagikan lintas perusahaan, dan mengelola golden record mereka secara sengaja alih-alih membiarkan setiap aplikasi menciptakan versinya sendiri.

Prinsip kedua adalah pemisahan yang jelas antara reference data dari master data dan data transaksional. Reference data, yaitu daftar terkendali berisi kode negara, mata uang, status dan klasifikasi, bersifat kecil, jarang berubah dan meresap ke mana-mana, dan ia menimbulkan kerusakan yang tidak sebanding besarnya ketika ia bergeser. Mengaturnya secara terpusat, dengan daftar kode yang dimiliki dan perubahan yang dikelola, mencegah sekelompok besar kegagalan integrasi yang berlangsung diam-diam.

Prinsip ketiga adalah bahwa data seharusnya dimodelkan satu kali dan diwujudkan secara fisik berkali-kali, dengan silsilah data yang menghubungkan salinan-salinannya. Entitas logis yang sama bisa saja berada di penyimpanan operasional, gudang data dan cache, tetapi masing-masing adalah proyeksi dari satu definisi yang dipahami, dan transformasi di antaranya didokumentasikan serta dapat ditelusuri. Prinsip keempat adalah bahwa kepemilikan dirancang sejak awal, bukan ditetapkan setelah kejadian. Setiap domain data yang penting memiliki seorang steward bernama yang bertanggung jawab atas definisi dan kualitasnya, dan tanggung jawab itu nyata, disertai wewenang untuk menyelesaikan perselisihan. Terakhir, kualitas diukur terhadap makna, bukan terhadap penyimpanan. Data dikatakan layak ketika ia dengan setia merepresentasikan apa yang seharusnya menurut model konseptual, dan aturan kualitas yang tidak berpaut pada semantik yang telah didefinisikan sesungguhnya tidak mengukur apa pun secara berarti.

Bagaimana pekerjaan ini gagal

Pola-pola kegagalan dalam disiplin ini cukup konsisten untuk dinamai. Memulai dari lapisan fisik adalah yang paling umum. Sebuah tim membangun gudang data atau lakehouse, memodelkan langsung dalam tabel dan mendapati delapan belas bulan kemudian bahwa mereka telah dengan setia mereproduksi setiap inkonsistensi sistem sumbernya, dalam skala yang lebih besar dan biaya yang lebih tinggi. Struktur dibangun sebelum makna disepakati, dan tidak ada perkakas sebanyak apa pun yang dapat memulihkan kesepakatan yang hilang itu.

Berkembang biaknya definisi adalah yang kedua. Pendapatan berarti satu hal bagi keuangan, hal lain bagi penjualan dan hal ketiga bagi dewan direksi, dan karena tidak ada yang memegang kendali, ketiganya bertahan. Setiap laporan menjadi negosiasi, dan kepercayaan terhadap angka terkikis sampai orang-orang diam-diam menyimpan spreadsheet mereka sendiri, yang merupakan tanda paling pasti bahwa arsitektur telah gagal.

Kegagalan master data yang tidak diatur menyusul dengan cepat. Tanpa golden record yang dikelola, pelanggan yang sama tercatat sebagai empat catatan, duplikat menggelembungkan penghitungan, dan rekonsiliasi menjadi beban manual yang permanen. Pola terkait adalah katalog yang tidak dipelihara siapa pun: sebuah inisiatif metadata diluncurkan dengan penuh semangat, menangkap gambaran estat sekali, dan tidak pernah diperbarui, sehingga dalam waktu setahun ia menggambarkan sistem yang sudah tidak ada lagi dan tidak dipercaya oleh siapa pun.

Lalu ada silsilah data sebagai hiasan, di mana diagram alir digambar demi keperluan audit dan tidak pernah mencerminkan transformasi yang sesungguhnya, sehingga ketika sebuah angka dipertanyakan, ia tetap tidak dapat ditelusuri. Terakhir, dan yang paling diam-diam merusak, adalah tata kelola tanpa wewenang: sebuah dewan tata kelola yang bersidang, menghasilkan kebijakan dan tidak memiliki kekuasaan untuk membuat tim mana pun mengubah apa pun. Setiap kegagalan ini memiliki akar yang sama. Seseorang memperlakukan informasi sebagai produk sampingan teknis alih-alih sebagai aset yang dikelola yang memiliki pemilik, definisi dan siklus hidup.

Bagaimana Nashua menanganinya

Nashua bermula dari makna, bukan dari teknologi. Sebelum merekomendasikan platform apa pun, kami bekerja bersama pihak bisnis untuk menetapkan model konseptual: segelintir entitas inti yang benar-benar dibagikan oleh perusahaan, dan definisi yang harus disepakati serta dimiliki. Ini sengaja dilakukan dengan menghadirkan para pemangku kepentingan bisnis di ruangan, karena definisi pelanggan yang belum disahkan bersama oleh fungsi komersial dan keuangan bukanlah sebuah definisi, melainkan sebuah usulan. Hanya setelah makna disepakati, barulah kami turun ke desain logis dan fisik.

Dari sana kami memetakan estat yang sesungguhnya: sistem mana yang menyimpan entitas mana, mana yang menjadi sumber otoritatif untuk masing-masing, dan bagaimana data sebenarnya bergerak di antara sistem-sistem itu saat ini, termasuk aliran-aliran tidak terdokumentasi yang dimiliki setiap organisasi. Ini menghasilkan gambaran yang jujur tentang silsilah data dan tentang di mana makna sedang hilang atau terduplikasi dalam perjalanannya. Berlandaskan gambaran itu kami merancang sasaran: di mana master data dan reference data akan diatur, bagaimana golden record dibentuk dan dipelihara, dan bagaimana kualitas akan diukur terhadap semantik yang disepakati alih-alih terhadap proksi yang mudah.

Yang terpenting, Nashua memperlakukan tata kelola sebagai kapabilitas operasional, bukan sebagai dokumen. Kami membantu menetapkan kepemilikan data yang memiliki wewenang nyata, peran stewardship yang berada pada domain yang memahami data, dan sebuah katalog yang dipelihara sebagai artefak hidup karena terhubung ke dalam cara perubahan dilakukan, bukan dikurasi di pinggiran. Kami bekerja secara bertahap, membuktikan pendekatan ini pada satu atau dua domain bernilai tinggi tempat ambiguitas benar-benar merugikan bisnis secara finansial, kemudian memperluas polanya. Tujuannya sepanjang proses adalah agar organisasi ditinggalkan dalam keadaan mampu menjalankan disiplin ini sendiri, dengan model, kepemilikan dan tata kelola yang tertanam dalam cara kerjanya, alih-alih bergantung pada kami untuk menjaganya tetap utuh.

Di mana Nashua membuat perbedaan

Yang membedakan Nashua dalam pekerjaan ini adalah penolakan untuk membiarkan keputusan perkakas menggantikan disiplin yang lebih sulit, yaitu makna. Banyak penyedia dengan senang hati akan mengimplementasikan sebuah katalog, platform master data atau lakehouse dan menyatakan masalah data telah terpecahkan. Kami telah menyaksikan cukup banyak keterlibatan semacam itu untuk tahu bahwa teknologi yang ditumpangkan di atas semantik yang belum terselesaikan hanya mengotomatiskan kebingungan. Kontribusi kami adalah lebih dahulu mengerjakan pekerjaan yang menuntut dan tidak menawan berupa definisi, kepemilikan dan silsilah data, serta membuat teknologi melayaninya, sehingga satu makna tepercaya menjadi nyata dan tahan lama alih-alih sekadar cita-cita.

Ada pula konsekuensi praktis yang mengubah apa yang boleh diasumsikan oleh pekerjaan ini. Ketika sebuah keterlibatan menuntut kapabilitas yang belum ada, ia tidak perlu menunggu siklus pengadaan atau peta jalan vendor. enterprise platform dibangun untuk mengakomodasi hampir semua fitur dengan cepat, melalui agentic engineering: apa yang dibutuhkan dijelaskan dalam bahasa sederhana dan dihasilkan dengan cepat, tetapi selalu dalam kerangka prinsip arsitektur yang kokoh dan di bawah jaminan kualitas yang ketat, sehingga kecepatan tidak pernah mengorbankan koherensi, keamanan atau kendali. Efeknya bersifat strategis, bukan sekadar praktis. Ia menggeser garis buat-atau-beli, menjaga opsionalitas tetap murah, dan membiarkan arsitektur mengikuti strategi alih-alih strategi menekuk mengikuti apa pun yang kebetulan tersedia di rak.

Kombinasi itu, ketelitian arsitektur yang mendalam pada semantik dan pergerakan data, dipadukan dengan platform yang membawa definisi, kepemilikan dan silsilah data yang dihasilkan ke dalam operasi harian, adalah yang memungkinkan sebuah organisasi berpindah dari sekadar menumpuk catatan menjadi benar-benar menalar tentang dirinya sendiri. Ukuran keberhasilannya bersifat sunyi dan konkret. Pertanyaan yang sama yang diajukan di dua bagian bisnis menghasilkan jawaban yang sama, sebuah angka dalam laporan dapat ditelusuri tanpa perlu rapat, dan pekerjaan analitis atau generatif baru dapat dibangun di atas data yang maknanya dipahami dan dipercaya. Nashua ada untuk membawa organisasi ke keadaan itu, dan meninggalkan mereka dalam keadaan mampu mempertahankannya.