Logsign Disk Alanı Planlama

                                                               LOGSIGN   DİSK ALANI PLANLAMA

1) EPS Nedir ?

EPS değerleri  “Event Per Second” olarak açılımı yapılan, bir saniye içerisinde sisteme ulaşan data miktarını tanımlayan değerdir. Log toplama sistemlerinde eklenen kaynakların tamamından veya bir tanesinden, var olan T anındaki  bir saniyelik periyotta, log aldığınız ürüne ulaşan data miktarı olarak özetlenebilir.

2) Log Sistemleri İçin EPS Neden Önemlidir ?

EPS miktarı günümüz teknolojisinde kritik önemini kaybetmiştir. Bir çok log yönetim üreticisi hala EPS değerlerini baz alarak ürün lisanslaması yapıyor olsa da, EPS değerlerindeki aşırı değişkenlik sebebi ile bu hesaplama biçimi çoğu zaman doğru sonuç vermemektedir. EPS miktarları ortalamasını bilmek günümüz sistemlerinde ortalama data miktarı ve disk boyutu hesaplamaları için önemlidir.

Logsign EPS değeri ile lisanslanmadığı için, EPS dataları bizim için yalnızca kurulum öncesi yeterli disk alanını belirlemek için gerekli bir değerdir. Logsign tüm ürünlerinde limitsiz EPS sunmaktadır.

Bunun sebebi sistemdeki ortalama EPS değeri  “x” iken  bir saldırı anında  “y” değerine ulaşarak satın alınan EPS değerinin aşılabilme olanağıdır. Saldırı anındaki lisanslı EPS miktarını aşan loglar sistem tarafından saklanmayacaktır. Dolayısı ile Logsign EPS hesabına bağlı lisanslama metodunu kullanmayarak sistemdeki olası saldırı veya yük anlarında log kaçırılmayacağını garanti eder. 

3) EPS Nasıl Hesaplanır ?

EPS değerleri hiçbir zaman %100 doğruluk ile hesaplanamayacak ancak ortalama değerler çerçevesinde belirlenebilecek değerlerdir. Sistem tam anlamı ile entegre edilip tüm loglar toplandığında bile bir sonraki saniyedeki veya bir başka “T” anındaki EPS değerini loglar gelmeden önce kesin rakamlarla vermek imkansızdır. Bunun sebebi sistemde oluşan dataların miktarının sürekli değişiklik göstermesidir.

Örneğin internete çıkan kullanıcıların belirli bir periyotta loglarının sisteme aktardığı trafik logu “x” değerinde iken  öğlen arasında trafiğin azalması ile EPS “y” değerine düşebilir veya  sisteme o sırada gelen bir saldırı EPS miktarını  “z” değerine yükseltebilir.

Logsign kullanıcılarına sistemlerindeki EPS değerlerini tespit edebilecekleri imkanlar sunmaktadır. Kurulum öncesinde bu değerlerin tespiti kurulumun devamlılığı ve sorunsuzluğu açısından önem teşkil etmektedir.

!!! EPS hesaplanması işlemi için lütfen logsign destek personellerinden yardım isteyiniz !!! 

4) EPS Değerlerinin Disk Boyutuna Etkisi:

EPS değerleri disk boyutu hesaplanmasında ortalama bir fikir verir. Bunun hesaplama mantığı gelen verilerin alındığı kaynaklara göre değişkenlik gösterebilir. Ortalama değerlerin hesaplanmasında kullanılan şablonlar şu şekildedir:

1 satır “Firewall” verisi ortalama 0,3 Kb boyutundadır (Firewall üreticilerine göre değişkenlik gösterebilir).  Bu değerler normalizasyona tabi tutulduğunda yani Log yönetim çözümü her satırı anlamlandırıp kendi sisteminde saklamaya başladığında bu verinin boyutu ortalama 0,7 ile 1 Kb arasında bir değere ulaşır (logun trafik logu olması az veri getirirken bir oturum veya içerisindeki satır karakteri yoğun olan loglar büyük verilere ulaşmaktadır).

Bir adet “Microsoft” verisi ise 0,8 – 1Kb arasında değişiklik gösterebilir. Bunun sebebi verinin içerisinde çok fazla parametre bulunduruyor olmasıdır.

Logsign gibi NoSQL mimarisi kullanan sistemlerde bu şekilde bir hesaplama yapılabilir. Ancak geleneksel SQL mimarilere bağlı olan üreticilerde bu değerlerin rakamsal boyutları 3-4 kat daha fazla çıkabilmektedir.

 5) Disk Boyutu Hesaplama:

Yukarıdaki bilgiler doğrultusunda sistemin ortalama kullanacağı disk boyutunu hesaplamak için basit bir formül kullanılabilir.

Logsign mimarisinde sistemimizin kullanacağı yeterli minimum disk alanını hesaplamak için indexte tutulacak data, arşivde olacak data miktarı önceden belirlenmiş olmalıdır. Özellikle güvenlik konusunda 15 günlük veriler kritik olduğu için  indexte tutulan logların minimum 15 gün olması önerilir.

İndex ve arşiv datası arasındaki bağlantı da şu şekildedir. İndex datanın sıkıştırılmadan saklandığı bir bölümken  arşiv aynı datanın  sıkıştırılarak saklandığı bir başka bölümü temsil eder. Bu noktada sıkıştırma oranı verinin tipine göre değişiklik gösterse de dünya genelinde bu hesaplamalarda 1/10 - 1/20 oranı baz alınır.

NOT: bazı datalar 1/40 olabilirken bazı datalar hiç sıkıştırılamayabilir.

Formül:  

Toplam Veri = Günlük index boyutu * Gün sayısı + Günlük arşiv boyutu * Gün sayısı    olarak hesaplanabilir.

Örneğin günde 100 GB data gelen bir yerde index 15 gün tutulmaktadır. Logların da 1 yıl saklanacağını ön görelim. Bu sistem için ortalama sıkıştırma oranı 20 kat öngörülmektedir.

Formül şu şekilde işlemektedir

Canlı Data - Index Boyutu = 100 GB * 15 = 1.5 TB

Arşiv Verisi  = 5 GB * 365 = 1.8 TB

Toplam Veri Boyutu = Canlı Veri + Arşiv = 1.5 TB + 1.8 TB = 3.3 TB şeklinde olacaktır.

NOT: Sistemde index mimariside sıkıştırma desteklemektedir. Yaklaşık 1/3 oranında sıkıştırma hesaplanabilir. 

NOT: Sistemdeki olası peak değerlerinin yükselmesi ihtimaline karşı da 500 GB'lık extra alan bulundurulması önerilmektedir.

NOT: Disk alanının hesaplanmasını etkileyen faktörler:

  1. Log ‘un normalizasyonu:  Logun içerisinde  geographical bilgiler mevcut ise log boyutu büyüyecektir. Üreticinin gönderdiği verideki satır sayısının yüksek olması da verinin boyutunu etkileyen faktörlerdendir.
  2. Filitrelenen değerler: Logun içerisinde alınmak istemeyen datalar belirlenmiş ise bu değerler log satırından çıkarılarak tutulacaktır. Dolayısı ile logun içerisindeki verilerin bir kısmı çıkarılmış olduğu için daha küçük veri boyutlarıyla saklanabilecektir.
  3. Redundancy: Logsign mimarisinde opsiyonel olarak kullanılabilen bir özelliktir. Aynı zaman periyodunda aynı logdan belirlenen değerden fazla log geliyor ise bu logların bir kısmını saklamamayı öngörür. Örneğin 1 saniyelik periyotta %100 aynı datadan 15 tane geliyor ise bunlardan sadece 5'inin saklanmasını sağlayabilirsiniz.

    !!! Hesaplama yöntemleri ile ilgili Logsign destek personelinden destek alınız !!!

 

Başka sorularınız var mı? Bir talep gönder

Yorumlar