Post on 09-Sep-2020
BİLGİnin Kaçınılmaz Hükümranlığı
The Inevitable Sovereignty of INFORMATION
Atatürk Mahallesi, Ataşehir Bulvarı
Gardenya Plaza 5, Kat:10
Ataşehir - Istanbul
T:+90 216 5104930
Kaan şen
M: +90 532 288 17 70
kaan.sen@runibex.com
Kaçınılmaz Cloud Dönüşümü ve Kurumsal ÇözümlerKaan Şen
Runibex Teknoloji Grubu, İş Geliştirme Direktörü
Consulting & Managed Services
Fraud Engine
Cloud BI
Real Time Analytics
Commerce Suite
Advanced Reach
Cloud Management Platform
Veri Yönetimi Platformu - EMİRGAN 2 SALONU
Kaçınılmaz Cloud Dönüşümü ve Kurumsal Çözümler Bulutta Büyüyen Büyük Veri ve Yönetimi Panel | Akıllı Veri; Bulutta Büyüyen Veri ve Verimli Yönetimi Verinizin Büyüklüğü mü, İşlevi mi? Clonera - Solventaş Başarı Hikayesi - Felaket Anında Bulutta Veri Yönetimi 360° Analitik Vizyon Dijitalleşen İletişim Teknollojileri ile Veriyi Akıllandırma, Bulut ve Mobilite Gerçeği Veri Analizi, Dün Bugün Yarın Daha İyi Bir Müşteri Deneyimi İçin Müşteri Yolculuk Haritaları Analitiği Panel | Etik Açıdan İş Zekası ve Analitik
Büyük Veri
Öngörüsel Analitik
Yapay Öğrenme
SaaS
Bulut Bilişim
Veri ile Yükselen Kavramlar
Büyük Veri’nin, Bulut Altyapıları üzerinde, Servis olarak, ÖngörüselAnalitik ve Öğrenen sistemler ile, Karar ve Optimizasyon aracı olarakkullanılması.
Tüm bu yapının Anlık Eylem Süreçlerinde kullanılabilmesi.
Convergence Nedir?
Anlık Eylemler içinKarar veOptimizasyon
Büyük Veri
Öngörüsel Analitik
Yapay Öğrenme
SaaS
Bulut Bilişim
Anlık Eylemler içinKarar veOptimizasyon
Büyük Veri
Öngörüsel Analitik
Yapay Öğrenme
SaaS
Bulut Bilişim
• Klasik veri yönetimi teknikleri yerine yeniteknolojiler, teknikler, araçlar ve mimarilerihtiyacı
• Büyük veriyi mümkün kılan• Depolama kapasitelerinin artışı
• Işlemci gücünün artışı
• Verinin ulaşılabilir olması
Büyük Veri
Çok daha FAZLA
Çok daha HIZLI Çok daha ÇEŞİTLİ
Büyük Veri mi Büyük Çöplük mü ?
Verinin sadece adetsel olarak büyük olması değil, TAM olması amaçlanmalı.
TAM veri olunca?
Örneklemden çıkarılamayacak patternler çıkarabiliyoruz. Ör: Sumo Güreşçileri
TAM veri ile çalışıyorken ,
Örneklemdeki çok maliyetli ölçüm hassasiyeti; gerekli değil.
Örneklem yönteminde örneklemin hatası riskini almak yerine;
Ölçüm hassasiyetinden taviz vererek; TAM veriyi toplamanın ve depolamanın ucuzluğunu kullanıyoruz
Mikro seviyede kaybedilen veri doğruluğuna rağmen,
makro seviyede yeni öngörüler oluşturuyoruz.
Büyük Veri
Büyük verideki adetsel değişim, üretilen sonuçlardaki kalitatif değişimin önünü açtı. Saniyede 24 karefotoğraf ile üretilen ürüne artık “Film” diyoruz, “Fotoğraf” değil.
“Küçük” Veri: Küçük, kesin, nedensel. Büyük Veri: Kesin olmamayı tolere edebilen, daha bütünleşik, bağlantısal.
Büyük veri nedensellikle değil, bağlantısallıkla alakalı. Amaç, bağıntılara dayanan patternleriçıkarmak.
Bu sebeple, büyük veri, daha TAM veri ile, daha iyi algoritma ile olabileceğinden çok daha fazla sonuçtüretir.
Algoritma geliştirmek için varsayımlara başvurmak yerine, sofistike analizler kullanılması.
Büyük Veri
Büyük Veri Senaryolarında Kullanılan Bazı Araçlar
NoSQL
DatabasesMongoDB, CouchDB, Cassandra, Redis, BigTable, Hbase, Hypertable, Voldemort, Riak, ZooKeeper
MapReduce
Hadoop, Hive, Pig, Cascading, Cascalog, mrjob, Caffeine, S4, MapR, Acunu, Flume, Kafka, Azkaban, Oozie, Greenplum
Storage
S3, Hadoop Distributed File System
Servers
EC2, Google App Engine, Elastic Beanstalk, Heroku
Processing
R, Python, Yahoo! Pipes, Mechanical Turk, Solr/Lucene, ElasticSearch, Datameer, BigSheets, Tinkerpop
Büyük Veri
Büyük Veri Uzamı İlişkisel Veritabanları, NOSql
Arşivler, Taranmış dokümanlar, emailler, tıbbi kayıtlar, faturalar, irsaliyeler,
Doküman tipleri: xls, pdf, csv, html, json..
Iş uygulamaları: Crm, Erp, Hr, Pm..
Media: İmaj, Video, Ses..
Sosyal Ağlar: Twitter, Facebook, Google, Linkedin..
Açık Web: Wikipedia, haberler,..
Veri Barındırma: RDBMS, NoSql, Hadoop, File Systems..
Log verisi: Application logları, event logları, server verisi, tıklama log verisi..
Sensor verisi: smart elektrik ölçer, tıbbi cihazlar, sensörler, smart phones..
Büyük Veri
Büyük Verinin Kararlarda Sezgi’nin önemini azaltması
Kararların, yapısal bir yaklaşımla, veri ile yönetilen kavrama ve öngörü sistemleriaracılığı ile alınması; örneğin:
Davranış analizleri
Ürün ve Müşteri karlılığı stratejileri
Müşteri edinme ve elde tutma stratejileri
Operasyon ve performans yönetimi
Tedarik zinciri ve teslimat kanalı stratejileri
Büyük Veri
Anlık Eylemler içinKarar veOptimizasyon
Büyük Veri
Öngörüsel Analitik
Yapay Öğrenme
SaaS
Bulut Bilişim
Büyük Veri Analitiği – Öngörüsel Analitik
Örneklem Veri
Toplu İşleme (Batch)
Veri ve ölçüm kesinliği ihtiyacı
Daha iyi sonuç için Daha iyi algoritmalar
Örneklem Hatası ile önkabul
Neden-Sonuç ilişkisi
Hipotez Testi
Kompleks algortimalar
Sadece Büyük değil, Bütün Veri
Gerçez zamanlı işleme (Streaming)
Daha az kesin daha fazla veri ihtiyacı
Daha iyi sonuç için Daha çok veri
Ölçüm hatası için marj ile pattern çıkarımı
Bağlantı - korelasyon
Pattern Çıkarımı
Daha basit modelleme teknikleri
Öğrenen, İdrak eden sistemler (Yapay Öğrenme,
Derin öğrenme)
Öngörüsel Analitik
GELENEKSEL VERİ BÜYÜK VERİ
Analitik Uygulamalar
• Öngörüsel
• Çıkarım
• Yönergesel
• Tavsiye
• Teşhis edici
• Analiz
• Tanımlayıcı
• Takip
Ne oldu?Nedenoldu?
Gelecektene olabilir?
Ne yapılabilir?
• Tanımlayıcı (Descriptive)
• Teşhis Edici (Diagnostic)
• Öngörüsel (Predictive)
• Yönergesel (Prescriptive)
• Karar Verici (Decisive)
Öngörüsel Analitik
Kullanım Örnekleri
Data Discovery
Business Reporting
Real Time Intelligence
Öngörüsel Analitik
Yetenek Seviyeleri, Karmaşıklık ve Katma Değer
Katma Değer Zinciri
Amaç, her kararın ve aksiyonun (optimizasyon noktasının) verimliliğini ve efektifliğini arttırmak.
Diagnostics Analysis Predictive Prescriptive
Bilgi Geçmiş Veri Bügün Öngörü Optimizasyon
Öngörüsel Analitik
Büyük Veri
Öngörüsel Analitik
Yapay Öğrenme
SaaS
Bulut Bilişim
Anlık Eylemler içinKarar veOptimizasyon
Yapay Öğrenme
Geçmiş veri üzerinden, bir performans kriterini optimize etmek üzere model geliştirilmesi
Otomasyon inşasını otomatikleştirilmesi
Programın, kendi çıktılarının ya da yeni girdilerin, programı, modeli kendikendisine değiştirmesi
Kendi çıktılarından veya yeni, büyük veriden “öğrenmesi”
Verinin bütün işi yapmasını sağlamak. Verinin hükümranlığını ilan etmesi
Yapay Öğrenme
Yapay Öğrenme (Fraud Puanı)
Değerleme Kuralları
Geçmiş Veri
MODEL
Yeni Veri Puan / SınıfDoğru Karar Verdik mi ?
Evet
Hayır
Manuel müdahale ile değiştirilir
Veritabanlarında Bilgi Keşfi (Knowledge Discovery)
KDD – Knowledge Discovery in Databases Veri içerisindeki, geçerli, kullanışlı, yeni, potensiyel olarak faydalı ve “nihai olarak anlaşılabilir”
patternleri tespit etme.
Perakende: Sepet Analizi, Müşteri davranışları, ilişkileri, Çapraz Satış, indirim miktar ve zamanları
Finans: Kredi skoru, Dolandırıcılık tespiti, Risk Yönetimi
Üretim: Optimizasyon (Satınalma, Üretim planlama, Sevkiyat)
Tıp: Teşhis (Hastalık henüz ortaya çıkmadan)
Telekomünikasyon: İçerik özelleştirme
Sigortacılık: Underwriting
Casino: Ödül sistemleri, direkt pazarlama
Elektrik, Su, vb.: Kayıp kaçak tespiti, tahsilat analizi
…
Yapay ÖğrenmeÖngörüsel Analitik
Büyük Veri
Hepsi “Keşif” için
Yenilik Keşfi• Yeni şablonlar, ender olaylar, istisnalar, eğilim değişimleri
Sınıf Keşfi• Yeni müşteri sınıfı, yeni davranış sınıfı,
• Sınıf sınırlarını çizen kuralların ve değişimlerinin keşfi
İlinti ve Bağıntı keşfi• Aynı anda olması pek olası olmayan olayların keşfi
• Yeni patternler ve bağımlılıkların keşfi, yeni kural setlerinin ortaya çıkması
Yapay Öğrenme
Büyük Veri
Öngörüsel Analitik
Yapay Öğrenme
SaaS
Bulut Bilişim
Anlık Eylemler içinKarar veOptimizasyon
Servis Modelleri
Software / Application
Platform
Infrastructure
SaaS
PaaS
IaaS
• Software
• Platform
• Infrastructure
• Platform
• Infrastructure
• Infrastructure
SaaS
SaaS
SaaS
Büyük Veri
Öngörüsel Analitik
Yapay Öğrenme
SaaS
Bulut Bilişim
Anlık Eylemler içinKarar veOptimizasyon
Bulut Bilişim
Kabaca; Barındırılmış Servisleri Internet Üzerinden Sunma Ne Sunar?
Paylaştırılan hizmetler. Herşey Servis
Internete erişilebilir her noktadan erişebilme
Ölçeklendirebilme
Talep anında, self servis
Yüksek esneklik
Ölçülebilir hizmetler
Kaynak Havuzları
Yüksek kullanım oranı, düşük birim maliyet
Kullandıkça Öde
Elde etme süresinin kısaltılması
Bulut Bilişim
Servis olarak ‘‘Herşey’’ (Everything as a Service)
Arama
ÜretkenlikUygulamaları
Sosyal AğlarOn Demand Altyapı
Backup
Media Paylaşım İş Uygulamaları
Yönetim Uygulamaları
Mobil Servisler
Lokasyon BazlıServisler
On Demand BarındırmaOn Demand
Platform
Bulut Bilişim
Büyük Veri
Öngörüsel Analitik
Yapay Öğrenme
SaaS
Bulut Bilişim
Anlık Eylemler içinKarar veOptimizasyon
Anlık Eylemler içinKarar ve
Optimizasyon
ÖRNEKLERi
How Germany’s Otto uses artificial intelligence Tespit: 2 gün içerisinde teslim edilen siparişlerin iade ihtimali çok düşüyor.2 günden uzun
siparişler için müşteriler direkt satın alıma dönüyor ve siparişi iptal ediyor. Siparişi bölüp çoklukargo maliyetine katlanmak gerekiyor. Aynı zamanda müşteriler çoklu kargoyu sevmiyorlar.
Çözüm:
Kaynak: https://www.economist.com/news/business/21720675-firm-using-algorithm-designed-cern-laboratory-how-germanys-otto-uses
Derin Öğrenme Algoritması: 200 değişkenli 3 milyar geçmiş kayıt üzerinden
200.000 ürün için 30 gün içerisinde hangi ürünün, ne zaman ve ne kadar satılacağını, insanmüdahalesi olmadan %90 doğrulukla tahmin ediyor ve bunlara ait tüm satınalma kararlarını yine insansız olarak veriyor.
Zorunlu tutulan emniyet stoğu %20 azaldı.
Ürün iadelerinde yılda 2 milyon civarı bir azaltım sağlandı.
Ürün teslim süresi azaldı.
How Germany’s Otto uses artificial intelligence
Diğer örnekler
FareCast: Uçak bileti fiyatlama: Hangi hat için, uçuşa kaç gün kala en ucuz bilet alınır.
Sunexpress: Uçuş doluluk oranı tahmini.
Harrah’s Casino: odalar için talep tahmini, müşteri segmentasyonu, oda fiyatlama ve yerleştirme, ödül sistemi tasarımı
Teşekkürler!