Selama 5 tahun bekerja dengan Integrasi Data, Migrasi data slot spadegaming, dan Arsitektur Data, saya telah melihat beberapa kesalahan umum (tetapi terkadang serius) terkait dengan Manajemen Data dan Manajemen Kualitas Software. Saya berharap dengan membaca tentang mereka Anda akan dapat menghindarinya dalam proyek Integrasi Data Anda di masa mendatang.
1 Mengabaikan Arsitektur Data
Mendefinisikan Arsitektur Data dalam proyek Integrasi Data sama dengan mendefinisikan Persyaratan dalam proyek perangkat lunak normal (tidak berorientasi data). Aplikasi perangkat lunak normal (sebagian besar waktu) ditentukan oleh tindakan dan interaksinya dengan pengguna. Itulah sebabnya, dalam fase pertama pengembangan perangkat lunak (Fase Persyaratan), salah satu langkah utamanya adalah membuat Kasus Penggunaan (atau Kisah Pengguna). Di sisi lain, aplikasi Integrasi Data ditentukan oleh operasinya pada kumpulan data. Berinteraksi dengan struktur data merupakan inti dari fungsinya. Oleh karena itu, kita perlu memiliki gambaran yang jelas tentang seperti apa struktur data ini untuk menentukan operasi apa yang akan kita lakukan padanya.
Sudah diterima secara luas dalam pengembangan perangkat lunak normal bahwa memiliki persyaratan yang ditentukan dengan baik adalah kunci keberhasilan. Pepatah umum “Jika Anda tidak tahu ke mana Anda pergi, jalan apa pun akan membawa Anda ke sana” juga berlaku untuk aplikasi Integrasi Data. Jika pengembang ETL tidak memiliki definisi yang jelas tentang Arsitektur Data yang mereka kerjakan, mereka pasti akan membuat asumsi. Asumsi tersebut mungkin tidak selalu sama dengan yang Anda, atau lebih buruk lagi, yang dibuat pelanggan Anda.
Kebanyakan programmer senior Java seperti saya sangat menyadari “Null Pointer Exception” yang terkenal. Jika Anda memberi nilai null ke variabel yang tidak menerima null (tetapi Anda tidak tahu itu yang terjadi karena Anda belum pernah melihat spesifikasi arsitektur apa pun), Anda akan mendapatkan pesan error tersebut. Karena ini adalah pesan yang tidak jelas, proses debug dan menemukan akar masalah dapat memakan waktu (terutama untuk programmer junior): Anda harus membuka ETL di IDE, membuka tampilan kode, menemukan baris kode yang menyebabkan masalah (terkadang Anda bahkan mungkin harus menjalankan ETL sendiri), lalu temukan di mana letak variabel itu dalam tampilan desain IDE Anda, tambahkan perbaikan di sana, uji untuk memastikannya berfungsi, lalu terapkan dalam produksi lagi . Itu juga berarti bahwa biasanya, kesalahan ini menyebabkan aplikasi ETL berhenti berfungsi sama sekali (kecuali ada semacam penanganan kesalahan). Bergantung pada domain Anda, hal itu dapat memiliki konsekuensi serius yang mengancam jiwa (misalnya, perawatan kesehatan atau penerbangan), atau menyebabkan kerugian finansial yang besar (misalnya, e-commerce).
Mengetahui format, batasan, batasan, hubungan, dan informasi lain tentang data Anda sangat penting untuk mengembangkan aplikasi Integrasi Data berkualitas tinggi. Meluangkan waktu untuk menentukan Arsitektur Data akan mencegah banyak masalah di kemudian hari.
2 Melakukan Profil Data Dangkal
Pembuatan profil data adalah elemen kunci lain untuk mengembangkan aplikasi Integrasi Data yang baik.
Saat melakukan pembuatan profil data, sebagian besar pengembang ETL melihat kumpulan data saat ini di depannya, dan mengembangkan ETL untuk membersihkan dan memproses data dalam kumpulan data tersebut. Namun sayangnya itu belum cukup. Penting juga untuk memikirkan tentang bagaimana kumpulan data dapat berubah seiring waktu.
Misalnya, kami menemukan pelanggan di kumpulan data kami dengan kode pos di bidang kota. Kami kemudian menambahkan petunjuk di ETL ketika kami menemukan data pelanggan tertentu tersebut, untuk mengekstrak kode pos dari bidang kota dan memasukkannya ke dalam bidang kode pos. Itu berfungsi dengan baik untuk kumpulan data saat ini. (bisa jadi karena kolom kode pos hanya menerima angka dan sekarang kami mulai memiliki pelanggan Kanada, yang memiliki angka dan huruf di kode pos, sehingga pengguna mulai meletakkan kode pos di kolom kota)
Tidak memikirkan kumpulan data masa depan berarti ETL Anda hanya akan berfungsi untuk kumpulan data saat ini. Namun, kita semua tahu bahwa data dapat berubah seiring waktu (seperti yang terlihat pada contoh di atas) – dan jika dimasukkan oleh pengguna, data dapat berubah secara tak terduga. Jika Anda tidak ingin melakukan pembaruan pada ETL Anda setiap minggu atau bulan, Anda harus membuatnya cukup fleksibel untuk menangani perubahan dalam kumpulan data. Anda harus menggunakan pembuatan profil data tidak hanya untuk menganalisis data saat ini, tetapi juga untuk menyimpulkan bagaimana data tersebut dapat berubah dari waktu ke waktu.
Melakukan profil data mendalam di awal proyek berarti Anda akan menghabiskan lebih sedikit waktu untuk memperbarui bagian Pembersihan Data ETL Anda di masa mendatang.
3 Mengabaikan Tata Kelola Data
Poin ini sejalan dengan yang terakhir saya.
Seorang profesional kualitas perangkat lunak yang baik akan selalu berpikir tentang situasi “bagaimana jika” ketika merancang tes mereka (sebagai lawan menulis tes hanya untuk “memastikan itu berfungsi”). Dalam 9 tahun pengalaman pengujian perangkat lunak saya, saya tidak dapat memberi tahu Anda berapa kali saya bertanya kepada analis persyaratan “bagaimana jika pengguna melakukan / memasukkan [masukkan kombinasi aneh dari tindakan / masukan di sini]?” dan jawabannya hampir selalu “pengguna tidak akan pernah melakukan itu”. Namun kenyataannya adalah bahwa pengguna tidak dapat diprediksi, dan ada beberapa kali pengguna melakukan apa yang “tidak akan pernah mereka lakukan” dengan aplikasi yang telah saya uji.
