Bi Technology | Lakehouse Nedir Bi Technology | Lakehouse Nedir
TR
Bi Technology | Lakehouse Nedir

13 OCA 2026

Lakehouse Nedir

Anasayfa
/
Qlik Lakehouse
/
Lakehose Nedir

Data Lakehouse

Nedir, temel özellikleri ve faydaları. Bu kılavuz, Lakehouse hakkında kapsamlı bir bakış açısı sunar; temel yapı taşlarını, üst düzey mimarisini ve kendi açık veri göl evinizi oluştururken dikkate almanız gereken önemli noktaları ele alır.

Lakehouse Rehberini İndirin
Bi Technology | Lakehouse Nedir

Data Lakehouse Nedir?

Bir Lakehouse, Data Lakes ve data warehouse’lar temel yeteneklerini tek bir platformda birleştiren bir veri yönetim mimarisidir. Düşük maliyetli depolama ve geniş veri erişimi gibi Data Lake avantajları ile veri yapısı, performans ve yönetim özellikleri gibi veri ambarının faydalarını bir araya getirir. Lakehouse’lar, esneklik ve birlikte çalışabilirlik sağlamak için Apache Iceberg, Hudi ve Delta tabloları gibi açık veri ve açık tablo formatları kullanılarak giderek daha fazla inşa edilmektedir.

Apache Iceberg üzerine kurulu Qlik Open Lakehouse hakkında daha fazla bilgi edinin

Iceberg Lakehouse’lara Giriş

Bi Technology | Lakehouse Nedir
Apache Iceberg Nedir?

Apache Iceberg, büyük ölçekli veri lakehouse’larını yönetmek ve açık veri formatları üzerinde yüksek performanslı analitik işlemleri mümkün kılmak için tasarlanmış bir açık tablo formatıdır. Dosyaların mantıksal tablo varlıkları olarak işlenmesine olanak tanıyarak, lakehouse mimarileri için oldukça uygun bir çözüm sunar.

Iceberg ile kullanıcılar, verilerini bulut nesne depolarında saklayabilir ve birden fazla farklı motor kullanarak işleyebilir/sorgulayabilir; bu da platformlar arasında esneklik ve birlikte çalışabilirlik sağlar.

Iceberg, ACID uyumluluğu, dinamik bölümleme, zaman yolculuğu ve şema evrimi gibi temel özellikleri destekleyerek yüksek performans ve veri bütünlüğünü garanti eder.

Ayrıca, Apache Iceberg güçlü bir açık kaynak topluluğu tarafından desteklenir ve bu da onu modern veri yönetimi ihtiyaçları için güvenilir, çok yönlü ve açık bir çözüm haline getirir.

Bi Technology | Lakehouse Nedir

Data Lakehouse Özellikler Ve Faydalar

Lakehouse veri platformu, veri analistlerinin ve AI mühendislerinin en güncel ve en kapsamlı veri kümelerini business intelligence, analitik, Gen AI ve makine öğrenimi için kullanabilmesini sağlar. Ayrıca, yönetmek için tek bir sisteme sahip olmak, kurumsal veri altyapısını basitleştirir ve analistlerle veri bilimcilerin daha verimli çalışmasına olanak tanır.
Burada, data lakehouse’ların temel özelliklerini ve kuruluşunuza sağladığı faydaları sunuyoruz.

Özellik

Fayda
Birçok Uygulama için Tek Depo
Lakehouse’lar, AI ve makine öğrenimi, veri bilimi, SQL ve gelişmiş analitik için temiz, entegre kaynak verilerin bulunduğu tek bir depodan doğrudan veri erişimi sağlar.
Bu, operasyonel verimliliği artırır ve yalnızca tek bir veri deposunu sürdürmeniz gerektiğinden, business intelligence, raporlama, AI, ML ve diğer iş yükleri için kaliteli veriler üzerinde birden fazla kullanım senaryosunu destekler.
Çeşitli Veri Tiplerini Destekleme
Data lakehouse’lar, yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış dahil tüm veri tiplerini işleme erişimi sağlar.
Bu, IoT verileri, metin, görüntü, ses, video, sistem logları ve ilişkisel veriler gibi geniş bir veri tipi ve uygulama yelpazesini beslemenize, depolamanıza, işlemenize, rafine etmenize ve analiz etmenize olanak tanır.
Açık ve Standart Formatlar
Lakehouse’lar, Parquet, Avro veya ORC gibi açık, standart veri formatlarını kullanır. Ayrıca Apache Iceberg, Hudi veya Delta Table gibi açık tablo formatlarını da desteklerler.
Açık formatlar, Python ve R gibi çeşitli sorgu ve işleme motorları ile programlama dilleri arasında geniş, esnek ve verimli veri tüketimini kolaylaştırır. Çoğu SQL’i de destekler.
Depolama ve İşlemenin Ayrıştırılması
Veri ambarlarının aksine, lakehouse’lar veriyi depolamak ve işlemek için ayrı motor ve kaynaklar kullanma yeteneği sağlayarak depolama ve işlemeyi gerçek anlamda birbirinden ayırır.
Apache Iceberg gibi açık tablo formatları kullanarak, açık lakehouse’lar verilerinizi uygun maliyetli bulut tabanlı nesne depolarında saklamanıza ve tüm verilerinizi işlemek ve sorgulamak için çeşitli Iceberg uyumlu motorlar kullanmanıza olanak tanır.
Uçtan Uca Akış Desteği
Data Lakehouse’lar, gerçek zamanlı akış verilerinin yanı sıra geçmiş veya toplu verileri de tek bir çerçevede işleyebilir.
Daha büyük veri kümelerine ölçeklenebilir ve daha fazla eşzamanlı kullanıcıya sahip olabilirsiniz. Artı, bu kümeler uygun maliyetli donanımlarda çalışır, bu da size tasarruf sağlar.
Çeşitli Veri Tiplerini Destekleme
Data lakehouse’lar, yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veri tiplerine erişim sağlar.
Kuruluşların hem toplu hem de akış kullanım senaryolarını desteklemek için aynı temel altyapıyı kullanmasını sağlar. Örneğin, Qlik Open Lakehouse, hem toplu hem de akış kaynaklarından veri getirmek için yüksek verimli bir besleme seçeneği sunar.
Eşzamanlı Okuma ve Yazma İşlemleri
Data lakehouse’lar birden fazla veri hattını aynı anda yönetebilir.
Birden fazla kullanıcı, veri bütünlüğünden ödün vermeden eşzamanlı olarak ACID uyumlu işlemleri okuyabilir ve yazabilir.
Yönetişim Mekanizmaları
Lakehouse’lar güçlü yönetişim ve denetim yeteneklerini destekleyebilir.
Tek bir kontrol noktasına sahip olmak, verilerin yayınlanması, paylaşılması ve kullanıcı erişimi üzerinde daha iyi kontrol sağlar.

Iceberg Data Lakehouse Yığını

Doğru Yapı Taşlarını Seçmek

Tanıtımı İndir
Bi Technology | Lakehouse Nedir

Data Lakehouse vs Data Warehouse vs Data Lake

Geçmişte, büyük veri depolama için iki ana seçeneğiniz vardı: data lake veya data warehouse. Analitik, AI, veri bilimi ve makine öğrenimini desteklemek için muhtemelen bu iki seçeneği aynı anda sürdürmek ve sistemleri birbirine bağlamak zorunda kalmışsınızdır. Bu genellikle veri çoğaltılmasına, güvenlik zorluklarına ve ek altyapı maliyetlerine yol açar. Data lakehouse’lar bu sorunların üstesinden gelmenize yardımcı olabilir.

Bi Technology | Lakehouse Nedir
Data Lakehouse Mimarisi

Bir data lakehouse tipik olarak aşağıda gösterildiği gibi altı ana katmandan oluşur: besleme katmanı (ingestion), depolama katmanı (storage), fiziksel veri katmanı (physical data), metadata katmanı (metadata), yönetişim/katalog katmanı (governance/catalog) ve bir sorgu/işleme katmanı (query/processing).

Bir Lakehouse Mimarisinin Bileşenleri

Bi Technology | Lakehouse Nedir

Aşağıdaki bölüm, Lakehouse mimarisini daha iyi anlamak için bu katmanların her birinin detaylarına dalıyor.

1. Besleme Katmanı (Ingestion Layer): Değişim veri yakalama (CDC) veya akış kullanarak toplu ve gerçek zamanlı veri hatları dahil olmak üzere, çeşitli kaynaklardan verileri lakehouse’a besleme yetenekleri sunar. Yalnızca birkaç tıklamayla yüksek hacimli verilerin gerçek zamanlı olarak kolayca beslenmesini ve lakehouse’a yüklenmesini sağlama yetenekleri sunmalıdır.

 

2. Depolama Katmanı (Storage Layer): Tüm veri türlerini (yapılandırılmış, yarı yapılandırılmış, yapılandırılmamış) genellikle AWS S3, Azure Blob Storage veya Google Cloud Storage gibi bulut tabanlı nesne depoları kullanarak tek bir birleşik platformda depolar. Veriler, gerekli dönüşüm ve temizleme ile ham, dönüştürülmüş veya temizlenmiş, işe hazır segmentlerde saklanabilir.

 

3. Fiziksel Veri Katmanı (Physical Data Layer): Açık dosya formatları, bir lakehouse’un verileri nasıl yazıp okuyacağını tanımlar. Açık dosya formatları, verilerin verimli depolanması ve sıkıştırılmasına odaklanır ve hız ile performansı önemli ölçüde etkiler. Kayıtları ve sütunları temsil eden ham baytların diskte veya Amazon S3 gibi dağıtılmış bir dosya sisteminde nasıl düzenlendiğini ve kodlandığını tanımlarlar. Lakehouse’lar için daha yaygın açık dosya formatlarından bazıları Apache Parquet, Apache Avro ve ORC’yi içerir.

 

4. Tablo Formatları/Metadata Katmanı (Table Formats/Metadata Layer): Bir Data Lake ile bir Lakehouse arasındaki ayırt edici faktör bir tablo formatı veya bir tablo metadata katmanıdır. Verileri düzenlemeyi, sorgulamayı ve güncellemeyi kolaylaştırmak için fiziksel veri katmanının üzerinde bir soyutlama katmanı sağlar. Yaygın açık tablo formatları, hangi nesnelerin bir tablonun parçası olduğu bilgisini saklayan ve SQL motorlarının bir dosya koleksiyonunu, işlemsel olarak sorgulanabilir ve güncellenebilir satırlar ve sütunlarla bir tablo olarak görmesini sağlayan Apache Iceberg, Apache Hudi ve Delta Tablolarını içerir.

 

5. Katalog Katmanı (Catalog Layer): Bir katalog, lakehouse çerçevesi içindeki tabloların metadata’sını izleyen ve yöneten merkezi bir kayıt defterini ifade eder. Esasen, şeması, bölümleri ve veri konumları dahil olmak üzere bir tablonun mevcut durumunu nerede bulacağına dair tek gerçek kaynak olarak hareket eder ve farklı işlem motorlarının lakehouse tablolarına tutarlı bir şekilde erişmesini ve bunları değiştirmesine olanak tanır. Örnekler arasında AWS Glue katalog, Snowflake açık katalog, Polaris, Unity Catalog, Hive Catalog, Project Nessie ve REST katalogları bulunur.

 

6. Sorgu/İşlem Katmanı (Query/Compute Layer): Depolama katmanında saklanan verileri analiz etmek ve sorgulamak için işlem gücü sağlar. Büyük veri kümelerini verimli bir şekilde işlemek için Apache Spark, Presto veya Hive gibi dağıtık işleme motorlarını veya diğer Bulut veri motorlarını da kullanabilir. Bu katman, kullanıcıların sorgu motorları, BI panoları, veri bilimi platformları ve SQL istemcileri gibi çeşitli araçlar ve uygulamalar kullanarak lakehouse’dan verilere erişmesine ve bunları analiz etmesine olanak tanır.

Cloud Data Lake Karşılaştırma Rehberi AWS, Azure, Google, Cloudera, Databricks ve Snowflake dahil olmak üzere tüm önemli bulut data lake satıcılarına tarafsız, yan yana bir bakış edinin.
Tanıtımı İndir
Çerez Ayarları
Bu web sitesinde, cihaz bilgilerini ve kişisel verileri işlemek için çerezler ve benzer işlevler kullanıyoruz. İşleme, içeriğin, harici hizmetlerin ve üçüncü tarafların unsurlarının entegrasyonuna, istatistiksel analiz / ölçüme, kişiselleştirilmiş reklamcılığa ve sosyal medyanın entegrasyonuna hizmet eder. İşleve bağlı olarak, veriler üçüncü taraflara aktarılır ve üçüncü taraflarca işlenir. Bu onay isteğe bağlıdır, web sitemizin kullanımı için gerekli değildir ve sol alttaki simge kullanılarak herhangi bir zamanda iptal edilebilir.
Fonksiyonel
Her Zaman Aktif
İstatistik
Pazarlama
KVKK |