Büyük Veri Nedir?

Nasıl

TarafındanRyan Dube

Son Güncelleme Tarihi:26 Mart 2020

Yıllar boyunca pek çok terim birçok endüstride moda haline gelir. Çok popüler hale gelen ve çok uzun süredir büyük veri kadar çok az şey var. Peki büyük veri tam olarak nedir?

Büyük veriler, anlamlı ve eyleme geçirilebilir sonuçlar geliştirecek şekilde analiz edilen ve filtrelenen çeşitli kaynaklardan elde edilen sanal bir bilgi okyanusunu ifade eder.

“Büyük verileri” anlamlı sonuçlara dönüştürme süreci karmaşık ve zor görünebilir. Bununla birlikte, büyük verilerin ne olduğunu ve nasıl çalıştığını anladıktan sonra, onu nasıl anlamlı hale getireceğinizi anlamak o kadar karmaşık görünmüyor.

Büyük Veri Nedir?

İnsanların “büyük veri” hakkında konuştuğunu duyduğunuzda, genellikle çok fazla el sallama ve büyük sözlerle olur. Ancak tüm abartıyı kaynattığınızda, gerçek “veri” aslında birçok çoklu veri giriş akışıdır.

Bunu anlamak için bir örnek yardımcı olabilir. Bir şemsiye imalat şirketi işlettiğinizi varsayalım. Pazarlama departmanınız, pazar talebinin ne zaman yükselmek üzere olduğunu daha iyi tahmin etmenin bir yolunu arıyor.

Büyük veri günlerinden önce pazarlamacılar pazar eğilimlerini inceleyecek, müşteri anketleri gönderecek ve daha birçok etkinlik yapacaklardı.

Tüm bu verileri toplar ve kendi şirketlerinin dahili veritabanlarında depolarlardı. Hatta birisi pazarlama araştırması verilerini yıllık veya üç ayda bir güncellemekten bile sorumlu olabilir.

Bununla birlikte, büyük verilerin ortaya çıkması, bu tür bir araştırma yapma kabiliyetini arttırır. Özellikle, büyük veriler özellikle yakın gerçek zamanlı olarak önemli eğilimleri veya olayları tanımlamada etkilidir.

Bu tür “büyük veri” analizi için veri girişleri, veri tabanına takılan kod yazarak gerçek zamanlı veri akışlarını içerebilir Uygulama Programlama Arayüzü (API) bu verileri herkese açık hale getiren birçok farklı şirketin:

• Twitter ve Facebook: İnsanların şemsiye satın almayı ne zaman ve neden tartıştıklarını belirleyin.
• Hava: Tanımlama hava koşulları veya daha yüksek şemsiye satışlarına dönüşebilecek tahminler.
• Borsa: Şemsiye üretmek için hammadde maliyetindeki mevsimsel değişiklikler.
• Müşteri Web Kullanımı: Şu kaynaktan gelen bilgileri kullanma: bilgisayar çerezleri satın alma davranışlarını anlamak için şirket kataloğunu ziyaret eden kişilerin sayısı.
• Müşteri Satın Alma Geçmişi: Perakendecilerin satış noktası trendlerinin coğrafyasını ve mevsimlerini izlemek.

Büyük verileri kullanmak için, bu şirketin pazarlama ekibinin bazı durumlarda yeni teknolojiler yüklemesi gerekir.

Büyük Veri ve İnternet

Bu, perakendecilerin tüketici davranışlarını izleyen ve raporlayan Nesnelerin İnterneti (IoT) teknolojisini içerebilir. Ya da bir programcının “şemsiye” veya şirket adından bahseden Tweet'leri filtrelemek için Twitter’ın API'sı ile arayüz oluşturmak için gerekli kodu yazmasını içerebilir.

Bu teknolojilerin her biri artık internet sayesinde kullanılabilir. İnternet, dünyanın her yerinden veri akışlarına erişebilmenizi sağlar.

Kendi örneğimizdeki kurulum bu durumda nasıl çalışabilir.

Bu diyagram, verilerin birçok farklı kaynaktan şirketin “veri gölüne” nasıl aktığını gösterir. Gelen veriler farklı yapılandırılabilir, ancak önemli olan tüm kaynaklardan mümkün olduğunca fazla veri toplamaktır.

Veri Gölü Nedir?

Belirli sütunlarda ve satırlarda düzenlenmiş yapılandırılmış veriler içeren bir veritabanından farklı olarak, bir veri gölü birçok farklı veri biçimi için büyük bir veri havuzudur.

Saklanan veriler yapılandırılmış veya yapılandırılmamış olabilir. Yani yapılandırılmış satırlara ve sütunlara sahip olabilir ya da olmayabilir. Veriler, verileri ayırmak için belirli biçimlendirme kullanan dizeler olabilir. Her veri kaynağı, bir veri gölüne istediği şekilde veri gönderebilir.

Kitaplar, mikrofişteki görüntüler ve DVD'lerde video gibi birçok medya biçimi içeren büyük bir kütüphane gibi bir veri gölünü hayal edin.

Dijital zeka ve veri analizi mühendisini bu kütüphanenin kullanıcıları olarak düşünün. Bu kullanıcılar verileri dijital olarak kitaplardan, mikrofişten ve DVD'lerden çıkarabilir ve bu verileri karıştırıp birleştirip, verilerin nasıl ilişkilendirildiğini öğrenebilir.

Bu öğrenmelerden fiili, eyleme geçirilebilir zeka gelir. Örneğimizdeki bunlardan bazıları şunları içerebilir:

• Twitter ve Facebook'taki sohbet, New York'ta yaklaşan bir fırtınayı gösteriyor ve binlerce müşteri şemsiye almayı planlıyor.
• Bilgisayar çerezi satın alma verileri ve perakende ödeme makineleri, Kaliforniya'daki alıcıların, tasarımcı şemsiyeler için Virginia'daki insanlardan daha fazla ödeme yapmaya istekli olduklarını göstermektedir.
• Büyük bir fırtına paterni, Doğu Sahili'nin çoğunun bir hafta boyunca yağmur fırtınasıyla kaplanacağını gösteriyor.

Tüm bu öğrenmeler, pazarlama ekibinin, şemsiye satış talebinin çok daha güçlü olduğu coğrafi olarak daha fazla reklama yatırım yapmasını sağlayabilir. İmalat operasyonları, üretim çabalarını, satışların tırmanma olasılığının daha yüksek olduğu yerlere dünyanın bu alanlarına kaydırabilir.

Bu şekilde, büyük veriler kullanarak herhangi bir şirket pazarlama ve operasyonlarını kolaylaştırabilir.

Hadoop Nedir?

Bir sonraki soru, şirketler bu kadar yüksek miktarda veriyi nasıl işliyor ve eğilimleri nasıl belirliyor?

Bu tür veri sıkışmaları büyük bilgisayar kaynakları gerektirir. Öyle ki, şirketler artık eskisi gibi büyük ana bilgisayarları kullanmıyorlar. Bu hizmetlerin birçoğu artık buluttan satın alımlar. Apache Hadoop gibi bulut veri istihbarat servisleri, büyük bir bulut ağında birçok bilgisayar düğümü sunar. Bu düğümlerin her biri, birden çok kaynaktan gelen büyük veri akışlarını analiz etmek için gereken işleme gücüne katkıda bulunur.

Bu tür işlem gücü, makinenin ya da dijital istihbarat ve veri analitiğinin kalbidir. Hadoop, tüm bu büyük hesaplama gücü ağını dijital istihbarat mühendisleri için gerektiği şekilde çalıştıran yazılım çerçevesidir.

Hesaplamalı motor eyleme geçirilebilir zeka ürettikten sonra, bunlar genellikle şirkete gösterge panoları veya raporlar şeklinde gönderilir.

Büyük Veri Sadece Buzzwords Değil

Gerçek şu ki, “büyük veri” sadece kurumsal dilden daha fazlasıdır. Birçok şirket verileri daha iyi kullanarak çok sayıda başarı elde edebileceklerini öğreniyor.

• Üreticiler verim, kalite ve verimlilik gibi kritik üretim metriklerini geliştirebilir.
• Perakendeciler, pazarlama, reklam ve işletme yatırımlarını pazardaki sinyallere göre daha iyi hizalayabilir.
• Distribütörler, beklenmedik durum planlarını önceden geliştirmek için bir tedarik zincirindeki potansiyel sorunları tahmin edebilirler.
• Haber kuruluşları, internetteki genel sinyalleri analiz ederek haber değeri olan olayları hızlı bir şekilde tespit edebilir.
• Siber güvenlik uzmanları İnternet'teki siber saldırıları tanımlamak için sinyalleri kullanın.

Son yıllarda büyük verilerin başardığı şeylerin çoğu halka neredeyse görünmez olsa da, büyük verilerin aslında dünyadaki insanlar için günlük yaşam üzerinde önemli bir etkisi olmuştur.