Apache Kafka Makale Serisi -1

Bu makale serimizde ilk önce Kafka ‘ya ön bir giriş yapaıp daha sonra Centos 7 işletim sistemi üzerine adım adım Kafka nasıl kuruluyor onu işleyeceğiz.
Makale serimizi tamamladığımız da siz okurlar uçtan uca bir Kafka Cluster nasıl kurulup topic mimarisi vb. gibi konulara uctan uca hakim oılmuş olmanızı hedeflemekteyim.

kafka connect apache kafka ile ilgili görsel sonucu

Kafka 2011 yılında Linkedin tarafından geliştirilmiş olup açık kaynak olarak sunulmuştur. Kafka akan verilerini depolamak, okumak ve analiz etmek için ortaya çıkmış bir yazılımdır. Kafka “dağıtılmış” bir ortamda çalıştırılmak üzere tasarlanmıştır. Kafka hızlı bir şekilde çalışabilir, büyük kümeler üzerindeki değişimleri izleyebilir ve bunlara tepki verebilir. Kendi içerisinde yedekleme yapısı ve mimarisi sayesinde veri kaybını engeller. Geniş ekosistemi ve geliştirilmeye devam eden yapısı ile popüleritesini hala korumaktadır.

Adım Adım Kurulum :

  • Java Kurulumu
yum -y update
sudo yum install java-1.8.0-openjdk.x86_64
java -version
sudo vi /etc/profile
# Yukarıda ki gibi Profile ı açıp aşağıda ki linkleri ekliyoruz.
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk  
export JRE_HOME=/usr/lib/jvm/jre
#Ekleme işlemini yaparken i ye basıyoruz daha sonra aşağıda yazdığım komutu ESC ye bastıktan sonra :wq! yazıp kaydetip çıkıyoruz.
:wq!
source /etc/profile
  • User Oluşturma ve Ekleme
#User oluşturalım
sudo useradd kafka -m
#Password ünü verelim
sudo passwd kafka
#
sudo usermod -aG wheel kafka

#kullanıcıya geçiş yapalım 
su -l kafka

  • Kafka ve Zookeper Kurulumu

Makinenizde wget yok ise yum install wget ile kurabilirsiniz.

#Download dosyası oluşturuyoruz.
mkdir ~/Downloads
# Kafka binary dosyalarını alıyoruz
curl "https://www.apache.org/dist/kafka/2.1.1/kafka_2.11-2.1.1.tgz" -o ~/Downloads/kafka.tgz
#kafka adında dosya oluşturup geçiş yapıyoruz.
mkdir ~/kafka && cd ~/kafka
# Download ettiğimiz dosyayı açıyoruz.
tar -xvzf ~/Downloads/kafka.tgz --strip 1
# kafka config dosyasını açıyoruz ve aşağıdaki satırı ekliyoruz.
vi ~/kafka/config/server.properties

delete.topic.enable = true

Şimdi ise adım adım service leri oluşturacağız.

Zookeper Servisini Oluşturuyoruz ;

sudo vi /etc/systemd/system/zookeeper.service

/etc/systemd/system/zookeeper.service
#Aşağıda ki bilgileri dosyaya girip kaydediyoruz.
[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Kafka Servisini Oluşturuyoruz ;

sudo vi /etc/systemd/system/kafka.service
/etc/systemd/system/kafka.service
#Aşağıda ki bilgileri dosyaya girip kaydediyoruz.

[Unit]
Requires=zookeeper.service
After=zookeeper.service

[Service]
Type=simple
User=kafka
ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1'
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Daha sonra daemon-reload yapıyoruz

systemctl daemon-reload                  

Şimdi ise servisimizi başlatıp enable a cekelim.

sudo systemctl start kafka
sudo systemctl enable kafka

Makale Serimizin devamı için takipte kalınız.

Teşekkürler.

Leave a Reply

Your email address will not be published. Required fields are marked *