MongoDB ye SSIS ile Data Yüklemek

Bu gün ki makalemizin ana teması, SQL Server üzerinde tuttuğunuz dataların bazılarını Mongo Db yi besleyerek onun üzerinden maliyetli işlemleri yapmak istiyorsunuz ve bunu SSIS paketlerini kullanarak nasıl yapabilirsinizi konuşacağız.

SQLTURKIYE adında bir veritabanım mevcut SQL Server üzerinde  ve ben bu veritabanım içerisinde  yer alan 3 adet tabloyu MongoDB üzerinde durmadan beslemek istiyorum ve bunuda SSIS paketi ile yapmak istiyorum .

Bu gibi durumlarda SSIs paketiniz için MongoDB Connection ı kurabileceğiniz paketleriniz olmak zorunda. Bu paketi aşağıda ki linkten edinebilirisiniz. Visual Studio Marketplace içerisinde bu Components yer almaktadır.

https://marketplace.visualstudio.com/items?itemName=CDATASOFTWARE.SSISDataFlowSourceDestinationforMongoDB

Download işlemini tamamladıktan sonra Visual Studio üzerinden Integration Services altından yeni bir sayfa açıyoruz ve SSIS Toolbox ımıza baktığımızda CData MongoDB Destination hem de CData MongoDB Source Componentlerinin indiğini görmekteyiz ve bunu artık rahat bir şekilde kullanabilir ve SQL Server üzerinden MongoDB ye ya da Mongo DB den Sql Server a data akışları planlayıp sağlayabiliriz.

 

Aşağıda ki örnek de basit SQL Server dan Mongo DB ye akış sağlanması için oluşturulmuş bir Data Flow Task içeriğini görmektesiniz.

MongoDB Source ve Destination Component lerinin konfigürasyonlarını , Componentleri alana bırakıp üzerine iki kere tıkladıktan sonra karışınıza gelecek Config ekranından yapabilrisiniz. Örnek ekran aşağıda gösterilmektedir.

 

Kolay Gelsin.

4 Replies to “MongoDB ye SSIS ile Data Yüklemek”

  1. Merhaba Yusuf Hocam güzel bir çalışma olmuş zappysys ninki ile sunucuya erişemedim ama cdatanınki sorunsuz çalıştı sağolasın, mongodb ve cassandra ile sanırım ağırlıkla türkiyede sosyalmedya datalarını tutmak için projelendiriyorlar, yapılmış yurt içi proje biliyormusunuz, bir kaç örnek verebilirmisiniz. Cdatanın facebook source tool’unu kullanamadım, callbackurl üretemedim, kullandıysanız callbackurl’yi siz nasıl ürettiniz.

      1. Selam,
        MongoDb ye yavaş data basımı konusunda bir çok noktayı kontrol etmen lazım ki ilk etap network olacaktır. Data akışını sağladığın Network hattının ne kadarını ne kadar hızla kullanabiliyorsun. Mongo DB nin Source larının durumu snein data akışın sırasında ki davranışlarını gözlemledin mi ? Gözlemlemen sonucu nerede bir şişme görüyorsun. Yeteri kadar Source a sahip mi SQL Sunucun vb. bir çok soru ve bu soruların cevaplarını alıp bi yerde toplaman ve en sonunda bu cevaplara göre bir yorum yapman daha sağlıklı olacaktır.

    1. Selam Selim , Teşekkürler. Evet sosyal medya dataları genelde Cassandra , MongoDB ve Hadoop ta tutuluyor ve önlerine de Kafka yerleştiriliyor data akışını daha kontrollü yapılabilmesi için. Bir çok büyük ölçekli ve medya şirketleri bu teknolojiyi kullanmakta. Kullanmayanlarda kullanmak için teknoloji alt yapılarını değiştirmek için çaba sarf ediyor. Şu anda ki piyasanın gidişatı bu şekilde ki en mantıklı olanda bu aslında. bu şekilde geniş hacimli datayı NoSQL üzerinde tutup sonra bunların rahat analiz edilebilmelerini sağlamak firmalar içinde büyük bir iş yükünü ortadan kaldırıyor demektir.

Leave a Reply

Your email address will not be published. Required fields are marked *