Şirketler, sundukları hizmet veya servis aracılığı ile kullanıcılardan/müşterilerden gerektiğinde anlamlandırılıp kullanılmak üzere, bilgi toplarlar. (Next, next, next diye ilerlerken iki kere düşünün) Bu bilgi havuzunun giderek genişlemesi ile son zamanlarda da popülerleşen “big data” olarak adlandırdığımız terim karşımıza çıkıyor. Örneğin, kişilerin bir ürünü nasıl kullandığına dair bilgiler, internet sayesinde elde edilen çeşitli istatistikler, web sitelerin kullanıcı istatistikleri, big data için önemli kaynaklar. Gerektiğinde ise bu bilgileri işleyip, analiz edip, ortaya çıkarılan anlamlı bilgiler ile ürünlerini geliştirmek, özellikle günümüzde, şirketler için oldukça önemli.
Dark data diye tabir edilen data, hali hazırda elimizdeki big data’nın bir alt kümesidir. Ancak bunu belirgin kılan özelliği big data’nın hacminin büyük çok büyük bir kısmını oluşturur ve genellikle şirketin belli amaçları doğrultusunda analiz edilmeye değer görülmezler.
Dark data “kullanılmayan imkanlar” olarak da tanımlanabiliyor.
Peki neden şirketler dark data’yı depolamaya devam ediyor?
Bunun tek bir sebebi yok. Şirketin farklı departmanları kendileri için bilgi toplarlar ve bu bilgilerden genelde diğer departmanların haberi olmaz.. Dolayısıyla eğer başka bir departmanın işine yarayacak olsa bile, kullanılmazlar. Bunun dışında bir organizasyon içinde, bilgi toplamak amacıyla farklı teknolojik araçlar kullanılıyor olabilir ve teknolojik bir takım yetersizliklerden dolayı bu bilgileri bir araya getirmek ve büyük resmi görmek zor olabilir.
International Data Center’a (IDC) göre işlenmemiş data’nın %90’ı asla analiz edilmiyor.
Dark data neden önemlidir?
Dark data’nın önemi ile ilgili iki fikir öne sürülüyor. Bunlardan birincisi, analiz edilmeyen data’dan aslında keşfedilmemiş, önemli bilgiler elde edilebilme ihtimalinin var olması. İkincisi ise, analiz edilmemiş bu data eğer iyi idare edilmezse hukuki açıdan ve güvenlik açısından problemler yaratabilir.
IDC’ye göre yalnızca Amerika’da üretilen ve tüketilen bitlerin toplam hacmi 2020 yılında 6.6 zetabayta* ulaşacak. Bu bilgilerin ise büyük bir hacmi dark data olarak konumlanacak.
Neler dark data olarak adlandırılabilir?
Yapılandırılmamış müşteri bilgileri, eski çalışanların bilgileri, ham anket bilgileri, maillere gelen karşılıklar, notlar, dökümanların eski versiyonları, hesap bilgileri, log dosyaları gibi bilgiler dark data’nın parçalarıdır.
- Server log bilgilerinden, web sitedeki ziyaretçilerin davranışları hakkında,
- Müşterilerin telefon görüşmesi kayıtları, onların düşünce ve duyguları hakkında,
- Konum bazlı mobil data ise trafik hakkında kullanılabilir bilgiler doğurabilir.
Data analizinin kolay bir iş olmadığı, hem insan açısından hem de maddi olarak bir yatırım gerektirdiği aşikar. Hukuki bağlamda ve güvenlik açısından da bazı sorunlar yaratabileceğinden yukarıda bahsetmiştik. Her sektörün giderek daha da rekabet merkezli olmasından dolayı, rakibiniz big data’yı kullanır da siz kullanmazsanız, gerekli aksiyonları zamanında alamayabilirsiniz. Bu da şüphesiz şirketin geleceğini uzun vadede ciddi bir şekilde etkiler. Bu yüzden, data analizi almak isteyeceğiniz bir risk olacaktır.
Apple Lattice Data adlı bir dark data şirketini satın aldığını geçen haftalarda duyurdu.
Standford Üniversitesi’nde bir araştırma projesi olarak ortaya çıkan ve sonrasında Lattice Data olarak yoluna devam eden, big data ve machine learning (yapay öğrenmesi) üzerine çalışmalar yapan şirket, 200 milyon $ dolar karşılığında Apple’a satıldı ve 20 mühendisi de Apple’ın bünyesine geçti.
Lattice Data’nın yaptığı işi özetleyecek olursak, dark data’yı yapay öğrenme yöntemiyle insan yeteneği ile ulaşılabilecek kalitede işlenmiş data haline getirmek.
Apple’ın bu hamlesindeki temel amacı ise iPhone ve iPad uygulamarında kullanıcılara eşsiz bir deneyim sunmak olarak biliniyor.
*zettabyte: 1 sekstilyona 1021 ya da 270 bayta eşit olan birim.
Yorumlar (0) Yorum Yap