TechDaily.id – Para pelaku usaha kini mencari lebih banyak data untuk alasan yang baik yakni komoditas yang mendorong inovasi digital. Namun, mengubah kumpulan data besar itu menjadi sebuah insightyang dapat ditindaklanjuti masih merupakan hal yang sulit. Organisasi yang menemukan solusi untuk tantangan data yang hebat akan diposisikan lebih baik untuk mendapatkan manfaat ekonomi dari buah inovasi digital.
Dengan dasar pemikiran tersebut, berikut adalah 10 tantangan Big data yang harus diantisipasi oleh penyedia agar bisa bersaing di 2019 seperti dilansir dari laman datanami (25/1).
Data Management Masih Terasa Sulit
Ide besar dibalik analisis big data sejatinya cukup jelas, yakni menemukan pola menarik yang tersembunyi dalam sejumlah data, melatih model pembelajaran mesin untuk mengenali pola-pola tersebut dan mengimplementasikan beragam model untuk memberikan solusi yang terbaik.
Namun, kenyataan menghadirkan sebuah pemikiran dasar ke dalam sebuah solusi jauh lebih sulit dari yang dibayangkan. Sebagai permulaan, mengumpulkan data dari beberapa departemen yang berbeda masih terasa sulit dan membutuhkan keterampilan ETL berbasis data. Membersihkan dan memberi label data untuk pelatihan pembelajaran mesin juga membutuhkan banyak waktu dan uang, terutama ketika teknik pembelajaran yang mendalam digunakan. Dan akhirnya, menempatkan sistem seperti itu ke dalam skala produksi dengan cara yang aman dan andal membutuhkan serangkaian keterampilan berbeda.
Karena alasan ini, manajemen data tetap menjadi tantangan besar dan para data engineer akan terus menjadi pekerjaan yang paling dicari di tim big data.
Data ‘Silo’ Masih Berlanjut
Ini bukan prediksi yang sulit dibuat. Selama boom Hadoop lima tahun lalu, kami terpesona dengan gagasan bahwa kami dapat mengkonsolidasikan semua data kami untuk beban kerja analitis dan transaksional ke dalam satu platform.
Namun, gagasan tersebut tidak pernah benar-benar berhasil, karena berbagai alasan. Tantangan terbesar adalah bahwa tipe data yang berbeda memiliki persyaratan penyimpanan yang berbeda.
Basis data relasional, basis data grafik, basis data deret waktu, HDFS, dan penyimpanan objek lainnya memiliki kelebihan dan kekurangan masing-masing. Pengembang tidak dapat memaksimalkan kekuatan jika mereka menjejalkan semua data mereka ke dalam sebuah media yang memiliki ukuran yang sama.
Dalam beberapa kasus, mengumpulkan banyak data ke satu tempat memang masuk akal. Perusahaan data cloud seperti S3, misalnya, menyediakan penyimpanan fleksibel dan hemat biaya bagi perusahaan, dan Hadoop yang terus menjadi toko yang hemat biaya untuk penyimpanan data dan analitik yang tidak terstruktur. Tetapi bagi sebagian besar perusahaan, ini hanyalah silo tambahan yang harus dikelola.
Dengan tidak adanya kekuatan sentralisasi yang kuat, data solo akan terus berkembang biak dan menjadi semakin besar lagi.
Streaming Analytics Memiliki Tahun yang Sulit
Semakin cepat Anda bertindak berdasarkan data baru, semakin baik organisasi Anda. Itulah kekuatan pendorong di analitik realtime atau streaming. Tantangannya selalu bahwa agak sulit untuk benar-benar melakukan hal tersebut dan tentunya berdampak pada biaya yang mahal juga, tetapi itu berubah ketika tim analitik menjadi organisasi yang lebih matang dan teknologi menjadi lebih baik.
Database NewSQL, in-memory data grids, dan platform analitik streaming khusus berkumpul di sekitar kemampuan yang sama, yaitu pemrosesan data masuk yang sangat cepat, seringkali menggunakan model pembelajaran mesin untuk mengotomatisasi pengambilan keputusan.
Kombinasikan itu dengan kemampuan SQL dalam kerangka streaming open source seperti Kafka, Spark, dan Flink, dan perusahaan Anda akan memiliki resep untuk kemajuan nyata pada 2019.
Tata Kelola Data Membangun ‘Steam’
Beberapa orang menyebut data adalah “minyak bumi yang baru.” Ada juga yang menyebut “mata uang baru.” Analogi apa pun yang ingin Anda gunakan, kita semua sepakat bahwa data memiliki nilai, dan memperlakukannya dengan sembarangan akan membawa risiko.
Uni Eropa menjelaskan konsekuensi keuangan untuk tata kelola data yang buruk dengan berlakunya GDPR tahun lalu. Meskipun belum ada undang-undang serupa di Amerika Serikat, perusahaan-perusahaan Amerika masih harus mematuhi 80 lebih mandat data berbeda yang dibuat oleh berbagai negara bagian, negara, dan serikat pekerja.
Pelanggaran data membawa masalah menjadi lebih berat. Menurut survei online oleh The Harris Poll, hampir 60 juta orang Amerika dipengaruhi oleh pencurian identitas pada tahun 2018. Angka tersebut meningkat 300% dari 2017, ketika hanya 15 juta mengatakan mereka terpengaruh.
Sebagian besar organisasi telah menyadari bahwa data besar Wild West akan segera berakhir. Sementara Pemerintah AS tidak akan (belum) baik-baik saja karena cukup ceroboh dengan data atau menyalahgunakan privasi warga Amerika.
Keterampilan Bergeser saat Teknologi Berkembang
Sumber daya manusia biasanya merupakan biaya terbesar dalam proyek Big Data, karena pada akhirnya manusialah yang membangun dan menjalankannya dan menjadikan semuanya berfungsi. Menemukan orang yang tepat dengan keterampilan yang tepat sangat penting untuk mengubah data menjadi wawasan, terlepas dari teknologi atau teknik apa pun yang digunakan.
Tetapi seiring kemajuan teknologi, campuran keterampilan juga demikian. Pada tahun 2019, Anda akan melihat permintaan besar yang terus menerus bagi siapa saja yang dapat menempatkan jaringan saraf ke dalam produksi.
Di antara ilmuwan data belaka (sebagai lawan dari pakar AI yang sah), Python terus mendominasi di berbagai bahasa pemrograman.
Saat program tata kelola data berjalan, permintaan untuk pelayan data akan naik. Para programmer yang dapat bekerja dengan perangkat inti (basis data, Spark, Aliran Udara, dll.) Akan terus melihat peluang mereka untuk tumbuh.
Anda juga bisa berharap melihat permintaan pembelajaran yang cepat dari insinyur mesin. Hal-hal inilah yang akan meningkatkan biaya bagi perusahaan. Karena mereka harus meng-upgrade skill yang dimiliki oleh para karyawannya.
Pembelajaran Mendalam Mendapatkan Hasil yang Lebih Mendalam Pula
Perusahaan akan terus bereksperimen dengan kerangka kerja pembelajaran dalam seperti TensorFlow, Caffe, Keras, PyTorch, dan MXnet saat mereka berusaha untuk memonetisasi kumpulan data yang luas.
Perusahaan akan memperluas pembelajaran mendalam di luar kasus penggunaan awal, seperti visi komputer dan pemrosesan bahasa alami (NLP), dan menemukan cara-cara baru dan kreatif dalam mengimplementasikan teknologi yang kuat. Lembaga keuangan besar telah menemukan bahwa algoritma jaringan saraf lebih baik dalam menemukan kecurangan daripada pendekatan pembelajaran mesin “tradisional”, dan eksplorasi kasus penggunaan baru akan berlanjut pada 2019.
Ini juga akan menopang permintaan GPU, yang merupakan prosesor yang disukai untuk melatih model pembelajaran yang mendalam. Tidak jelas apakah jenis prosesor baru, termasuk ASIC, TPU, dan FPGA, akan tersedia. Tetapi jelas ada permintaan untuk pelatihan yang lebih cepat dan kesimpulan juga.
Namun, ekosistem pembelajaran yang dalam akan tetap relatif muda, dan kurangnya platform umum akan menjadikannya bidang bagi para pakar sejati.
Special K ‘Memperluas Footprint’
Perangkat lunak membutuhkan sesuatu untuk dijalankan. Sistem operasi yang digunakan untuk menyediakan substrat umum, tetapi sekarang pengembang menargetkan sesuatu yang sedikit lebih rendah: Kubernetes.
Dikembangkan oleh Google untuk mengelola dan mengatur wadah Linux tervirtualisasi di cloud, Kubernetes telah menjadi salah satu teknologi terpanas di ekosistem big data, bahkan industri TI secara keseluruhan. Seiring penyebaran multi-cloud dan hybrid menjadi lebih umum, Kubernetes adalah perekat yang menyatukan semuanya.
Vendor software big data yang dulu menulis perangkat lunak mereka untuk dijalankan di Hadoop sekarang menulisnya untuk berjalan di Kubernetes, yang setidaknya membuat mereka ada di pintu depan dalam hal ini. Mendukung perangkat lunak Kubernetes telah menjadi persyaratan nomor satu untuk vendor perangkat lunak – termasuk vendor Hadoop juga.
Cloud Adalah Sebuah Keniscayaan
Cloud itu besar, dan semakin besar. Pada
tahun 2018, tiga vendor cloud publik terbesar tumbuh pada tingkat mendekati 50%. Dengan berbagai perangkat big data dan teknologi, belum lagi penyimpanan murah untuk menampung semua data itu, akan sulit untuk menahan godaan Cloud.
Pada tahun 2019, usaha kecil dan startup akan tertarik dengan penyedia cloud publik utama, yang berinvestasi dalam jumlah besar dalam membangun platform big data yang siap dijalankan, penuh dengan pembelajaran mesin otomatis, database analitik, dan analitik streaming realtime.
Munculnya Teknologi Baru
Banyak kerangka kerja dan big data yang mendorong inovasi seperti yang saat ini diciptakan oleh raksasa Web di Silicon Valley, dan dirilis sebagai platform open source. Berita baiknya adalah tidak ada tanda ‘sumur’ yang mengering. Jika ada, inovasi mungkin semakin cepat.
Pada tahun 2019, praktisi big data akan melakukannya dengan baik untuk mempertahankan fleksibilitas sebanyak mungkin dalam kreasi mereka. Meskipun mungkin tergoda untuk memperkuat aplikasi Anda dengan teknologi tertentu untuk alasan kinerja, itu bisa kembali menghantui Anda ketika sesuatu yang lebih baik dan lebih cepat muncul.
Terdapat Solusi Cerdas di Setiap Industri
Sangat menggoda untuk mengabaikan pemanggang roti pintar sebagai alat lucu yang tidak memiliki tujuan praktis dalam hidup kita. Tapi hal itulah yang terjadi saat ini, dimana perangkat pintar terus-menerus hadir dan beradaptasi dengan mengumpulkan banyak data keseharian kita untuk memberikan pelayanan yang maksimal bagi para penggunanya.
Didorong oleh permintaan konsumen, perangkat pintar berkembang pesat pada tingkat yang luar biasa. Ekosistem perangkat pintar bermunculan di sekitar dua platform terkemuka, yakni Amazon Alexa dan Google Assistant yang memberi konsumen kesempatan untuk menanamkan akses jarak jauh dan kecerdasan AI ke dalam segala hal, mulai dari sistem pencahayaan dan HVAC hingga kunci dan peralatan rumah tangga.
Didukung oleh peluncuran jaringan nirkabel super cepat 5G, menjadikan segalanya menjadi mungkin. Konsumen akan dapat berinteraksi dengan banyak perangkat, memberikan tingkat personalisasi baru ke mana pun kita pergi.
Pada tahun 2019, kemajuan akan dilakukan di banyak front. Ya, ada banyak kendala teknis, hukum, dan etika yang disajikan oleh big data dan AI, tetapi potensi manfaatnya terlalu besar untuk diabaikan.
Demikianlah sederet tantangan big data di tahun ini yang sebaiknya tidak diabaikan oleh para pelaku usaha di industri ini.
