122 Milyon Satır Analytics Datasını Nasıl Türkiye’ye Getirdik?

122 Milyon Satır Analytics Datasını Nasıl Türkiye’ye Getirdik? Selam! Yakın zaman içerisinde Google Cloud — europe sunucularından, Hardal’ın Türkiye sunucuları için kullandığı Huawei Cloud — Istanbul sunucularına transfer ettiğimiz 122 Milyon satır analytics datasının transfer sürecinden bahsedeceğim. Özetle Tablo yapılarımızı değerlendirerek iki seçenek arasından karar verdik ve sunucular arası transferi, ClickHouse’un yerel tablo transfer fonksiyonunu kullanarak gerçekleştirdik. Bu süreç yaklaşık 24 saat sürdü ve akıl sağlığımızdan bir miktar götürdü. Transfer sürecinden önce mevcut tablo yapımızdan ve önümüzdeki seçeneklerden bahsetmem gerek: Tablo Yapımız Sunucularımızda veritabanı olarak ClickHouse’un MergeTree Engine tablolarını kullanıyoruz. Toplamda dört tablomuz bulunuyor: Analytics, Config, Telemetry ve iki adet optimize edilmiş Materialized View. ClickHouse’u tercih etmemizin en önemli nedenlerinden biri, aşağıda PostgreSQL ile yapılan karşılaştırmada da görebileceğiniz performans farkı.

Feb 25, 2025 - 22:56
 0
122 Milyon Satır Analytics Datasını Nasıl Türkiye’ye Getirdik?

122 Milyon Satır Analytics Datasını Nasıl Türkiye’ye Getirdik?

Selam!

Yakın zaman içerisinde Google Cloud — europe sunucularından, Hardal’ın Türkiye sunucuları için kullandığı Huawei Cloud — Istanbul sunucularına transfer ettiğimiz 122 Milyon satır analytics datasının transfer sürecinden bahsedeceğim.

Özetle

Tablo yapılarımızı değerlendirerek iki seçenek arasından karar verdik ve sunucular arası transferi, ClickHouse’un yerel tablo transfer fonksiyonunu kullanarak gerçekleştirdik. Bu süreç yaklaşık 24 saat sürdü ve akıl sağlığımızdan bir miktar götürdü.

Transfer sürecinden önce mevcut tablo yapımızdan ve önümüzdeki seçeneklerden bahsetmem gerek:

Tablo Yapımız

Sunucularımızda veritabanı olarak ClickHouse’un MergeTree Engine tablolarını kullanıyoruz. Toplamda dört tablomuz bulunuyor: Analytics, Config, Telemetry ve iki adet optimize edilmiş Materialized View. ClickHouse’u tercih etmemizin en önemli nedenlerinden biri, aşağıda PostgreSQL ile yapılan karşılaştırmada da görebileceğiniz performans farkı.