Veriye dayalı, kaliteli içgörüler, şirketlerin rekabetçi kalması için giderek daha kritik hale geliyor ve bu öngörülere ulaşma hızının inanılmaz bir fark yaratıyor. Geleneksel ETL ve ELT pipeline’larının maliyetli ve zaman alıcı yapısı artık hiçbir şekilde yeterli değil. Microsoft Build 2022’de, hem SQL Server 2022 hem de Azure SQL Veritabanında SQL için Azure Synapse Bağlantısının genel önizlemeye sunulduğunu duyuruyoruz. Bu sürümle beraber, artık SQL tabanlı operasyonel depolarınızdan Azure Synapse Analytics’e az kodla ve kodsuz, neredeyse gerçek zamanlı veri replikasyonundan yararlanabilirsiniz. Bu, operasyonel mağazanız üzerinde minimum etkiyle, neredeyse gerçek zamanlı olarak operasyonel veriler üzerinde BI raporlaması çalıştırmayı kolaylaştırır.
SQL için Azure Synapse Bağlantısı nedir?
SQL için Azure Synapse Bağlantısı, işlem veritabanlarınızdan (hem SQL Server 2022 hem de Azure SQL Veritabanı) verileri Azure Synapse Analytics’te ayrılmış bir SQL havuzunda çoğaltmaya yönelik otomatik bir sistemdir. SQL verilerinizden Azure Synapse’e bir bağlantı kurma işlemi, geleneksel ETL süreçleri için saatler veya günler yerine yalnızca birkaç tıklama ve birkaç dakika alır. Yapılandırıldıktan sonra, ilk verileriniz ayrılmış hedef SQL havuzuna kopyalanır. Tablonun ilk defa oluşturulmasının sonrasında, kaynak verilerinizde yapılan değişiklikler neredeyse gerçek zamanlı olarak yansıtılır. Azure Synapse Analytics’te ayrılmış SQL havuzunun boyutunu ve ayrıca verileri almak için kullanılan çekirdek sayısını kontrol edersiniz ve kaynak sisteminiz, verileri alım için kullanıalabilir hale getirir.
Neden kullanalım?
SQL için Azure Synapse Bağlantısı, SQL Server 2022 veya Azure SQL Veritabanı’ndaki verilere sahip herhangi bir kuruluş için Azure Synapse Analytics’e veri çoğaltmayı kolaylaştırmaya yardımcı olur. Bunun geçerli olduğu birkaç örnek senaryo:
- Neredeyse gerçek zamanlı analitik: Geleneksel ETL sistemi, periyodik bir programa göre çalışır. İlk veri çekirdeği oluşturma (ki bu otomatikleştirilmiştir) tamamlandıktan sonra, SQL için Azure Synapse Bağlantısı, işlem verilerinizi neredeyse gerçek zamanlı olarak Azure Synapse Analytics’e yansıtır.
- Az kodlu/kodsuz çözümler: SQL için Azure Synapse Bağlantısı, verileri çoğaltmak için az kodlu veya kodsuz bir çözüm sağlar. ETL paketleri veya ambar şemaları oluşturmaya ve yönetmeye gerek yoktur; hangi tabloların çoğaltılacağını seçin, bir dağıtım yöntemi ve depolama mimarisi sağlayın ve bağlantıyı başlatın.
- Veri konsolidasyonu: SQL için Azure Synapse Bağlantısı, birden çok operasyonel veritabanından (hem bulut tabanlı hem de şirket içi) verileri, raporlama ve makine öğrenimi modellemesi dahil ancak bunlarla sınırlı olmamaksızın iş yükleri için kullanabileceğiniz tek bir bulut tabanlı analitik çözümde kolayca birleştirmenize olanak tanır.
- Kaynak sistemler üzerinde minimum etki: Toplu ETL ve ELT sistemleri, veri değişikliklerini sorgularken operasyonel bir sisteme fazladan yük bindirebilir. SQL için Azure Synapse Bağlantısı, değişiklikleri izleyen ve bunları ayrılmış hedef SQL havuzuna işlenmek üzere geçici bir giriş bölgesine verimli bir şekilde taşıyan ve böylece kaynak sisteminizden değişikliklerin ayıklanmasının etkisini en aza indiren yeni bir değişiklik akışı işlemcisi sunar.
Peki nasıl çalışıyor?
SQL için Azure Synapse Bağlantısı, veri hareketini basit ve verimli hale getirmek için en son teknolojiden yararlanır:
- Değişiklik akışı: Değişiklik akışı, hem SQL Server 2022’de hem de Azure SQL Veritabanında, kaynak işlem sistemi ile Azure Synapse Analytics arasında veri senkronizasyonunu desteklemek için oluşturulmuş yeni bir özelliktir.
- Azure Data Lake Storage 2: SQL için Azure Synapse Bağlantısı, kaynak sistemlerinizden gelen veriler için bir giriş bölgesi olarak Azure Data Lake Storage 2’den yararlanır. Bu “arabellek”, bağlantının kaynak veritabanı sistemleriniz üzerindeki etkisini en aza indirmeye yardımcı olur.
- Azure Synapse Analytics’te Ayrılmış SQL Havuzu: Kaynak sistemlerinizden gelen veriler için nihai hedef, Azure Synapse Analytics’teki ayrılmış bir SQL havuzudur. Bu havuzu, hem alınan veri hacminizin hem de sorgu iş yüklerinizin ihtiyaçlarını karşılayacak şekilde boyutlandırabilirsiniz.
- Alım Hizmeti: SQL için Azure Synapse Bağlantısını etkinleştirdiğinizde, arka planda verileri giriş bölgesinden ayrılmış hedef SQL havuzuna taşımak için bulut tabanlı bir alım hizmeti dağıtılır. Bu tamamen sizin için yönetilir ve verilerinizi kullanılabilir hale getirmek için arka planda çalışır.
Kurulum ve çalıştırma
SQL için Azure Synapse Bağlantısını kullanmak için önce Azure Synapse Analytics ortamınızda aşağıdaki öğeleri oluşturmanız gerekmektedir:
- Kaynak Veritabanına Bağlantılı Hizmet: Bu, standart bir Azure Synapse Analytics bağlantılı hizmetidir ve Azure SQL Veritabanı veya SQL Server 2022 için oluşturulabilir.
Azure Synapse Analytics’te Ayrılmış SQL Havuzu: Bu, çoğaltılan işlem verileriniz için hedef olarak kullanılacaktır. Kaynak veritabanınız olarak SQL Server 2022 kullanıyorsanız, aşağıdakileri de oluşturmanız gerekir (bunlar Azure SQL Veritabanı için otomatik olarak oluşturulmaktadır):
- Azure Data Lake Storage 2: Bu, giriş bölgesi olarak kullanılan depolama hesabıdır. Bu hesap sizin tarafınızdan yönetilirken, giriş bölgesindeki dosyalar, bekletme ilkesinin veya dosya biçiminin gerektiği gibi değiştirilebilmesi için yalnızca SQL için Azure Synapse Bağlantısı için kullanılabilir.
- Açılış Bölgesine Bağlı Hizmet: Azure Synapse Analytics çalışma alanında, yukarıda oluşturulan depolama hesabını gösteren bağlantılı bir hizmet oluşturmanız gerekmektedir
Şirket İçinde Barındırılan Entegrasyon Çalışma Zamanı: Aynı zamanda hem SQL Server 2022 veritabanıyla hem de Azure Synapse Analytics ortamıyla iletişim kurabilen şirket içinde barındırılan bir entegrasyon çalışma zamanı yapılandırmanız ve yüklemeniz gerekmektedir. Bu, iki ortam arasındaki komutlara aracılık etmek için kullanılır. Ön koşulları yerine getirdikten sonra Azure Synapse Analytics’te bir Azure Synapse Bağlantısı oluşturabilirsiniz. Bağlantıyı oluşturduğunuzda:
- Kaynak veritabanını,
- Kaynaktan çoğaltmak istediğiniz tabloları,
- Ve ayrılmış hedef SQL havuzunu belirtisiniz.
Bağlantıda kurduğunuz her tablo için:
- Ayrılmış hedef SQL havuzundaki tablo ve şema adlarını (bunların kaynak tablo ve şema adlarıyla aynı olması gerekmez),
- Dağıtım türünü (hepsini bir kez deneme dağıtılmış, karma dağıtılmış veya çoğaltılmış tabloları kullanabilirsiniz),
- Ve yapı türünü belirtebilirsiniz.
Bilinen mevcut sınırlamaların yanı sıra ayrıntılı talimatlar Microsoft’un resmi belgelerinde mevcuttur. İlk kurulumu tamamladıktan sonra bağlantıyı başlatabilirsiniz. Bu noktada, şunlar gerçekleşir:
- Şema ve kaynak tablolardan gelen verilerin ilk dışa aktarımı gerçekleştirilir. Bu çalışma aslında kaynak veritabanı (Azure SQL DB veya SQL Server 2022) tarafından yapılır ve veriler iniş bölgesine yerleştirilir.
- Alma hizmeti, giriş bölgesinden anlık görüntüleri alır, ayrılmış SQL havuzunda hedef tabloları oluşturur ve ardından ilk verileri yükler.
- İlk yükleme tamamlandıktan sonra, kaynak veritabanı her tablo için değişiklikleri alım hizmeti tarafından alındıkları ve ayrılmış hedef SQL havuzuna uygulandıkları iniş bölgesine sürekli olarak yayınlar.
Çalışan bir bağlantıda halihazırda bulunan tabloların konfigürasyonunda değişiklik yapamazsınız, ancak yeni tablolar ekleyebilir ve mevcut tabloları kaldırabilirsiniz.