Anomali tespiti için özellikler nasıl hazırlanır / oluşturulur (ağ güvenliği verileri)

Amacım izinsiz giriş tespiti amacıyla kümeleme / anormallik algılama kullanarak ağ günlüklerini (ör. Apache, syslog, Active Directory güvenlik denetimi vb.) Analiz etmektir.

Günlüklerden IP adresi, kullanıcı adı, ana bilgisayar adı, hedef bağlantı noktası, kaynak bağlantı noktası ve benzeri gibi çok fazla metin alanım var (toplam 15-20 alanda). Günlüklerde bazı saldırılar olup olmadığını bilmiyorum ve en şüpheli olayları (aykırı değerler) vurgulamak istiyorum.

Genellikle, anomali tespiti, düşük olasılık / frekansa sahip noktaları anomali olarak işaretler. Ancak, günlük kayıtlarının yarısı benzersiz alan bileşimi içerir. Bu nedenle, veri kümesindeki kayıtların yarısı mümkün olan en düşük frekansa sahip olacaktır.

Kümelemeye dayalı bir anormallik algılaması kullanırsam (örneğin, kümeleri bul ve sonra tüm küme merkezlerinden uzak olan noktaları seç), farklı noktalar arasındaki mesafeyi bulmam gerekir. 15-20 alanım olduğu için, boyutların kullanıcı adı, bağlantı noktası, IP adresi vb. Olduğu çok boyutlu bir alan olacak. Ancak Mahalanobis mesafesi yalnızca normal dağıtılmış özelliklere uygulanabilir. Bu, veri noktaları ile kümeler oluşturmak arasında mesafe bulmanın bir yolu olmadığı anlamına gelir ...

Örneğin, 20 kaydın veri kümesinde Alice, Bob, Carol, Dave, Eve ve Frank kullanıcılarına sahip olduğumu düşünelim. Veritabanında şu sayıda meydana gelebilirler: 2,5,2,5,1,5. Kullanıcı adlarını yalnızca sayılarla eşleştirirsem, ör.

Alice --> 1
Bob --> 2
Carol --> 3
Dave --> 4
Eve --> 5
Frank --> 6

Ardından, kullanıcı adları için olasılık dağılımım aşağıdaki gibi görünecektir:

p (1) = 0.1, p (2) = 0.25, p (3) = 0.1, p (4) = 0.25, p (5) = 0.05, p (6) = 0.25

Tabii ki, bu normal bir dağılım değil ve bu da mantıklı değil, çünkü kullanıcı adlarını farklı bir şekilde eşleyebilirim ...

Bu nedenle, kullanıcı adı, eylem, bağlantı noktası numarası, IP adresi vb. Alanların sayılara basit bir şekilde eşlenmesi hiçbir şey getirmez.

Bu nedenle, metin alanlarının genellikle denetlenmeyen anomali / aykırı algılamayı mümkün kılmak için nasıl işlendiğini / yapılandırıldığını sormak isterim?

EDIT: veri yapısı.

Veritabanı tablosunda, Active Directory Olaylarından bilgi içeren yaklaşık 100 sütun var. Bu 100 sütundan en önemlisini (bakış açımdan) seçiyorum: SubjectUser, TargetUser, SourceIPaddress, SourceHostName, SourcePort, Bilgisayar, DestinationIPaddress, DestinationHostName, DestinationPort, Action, Status, FilePath, EventID, WeekDay, DayTime.

Olaylar, EventID'nin günlüğe kaydedilenleri tanımladığı Active Directory olaylarıdır (örn. Kerberos bileti oluşturma, kullanıcı oturum açma, kullanıcı oturum kapatma vb.).

Veri örneği aşağıdaki gibidir:

+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +
| ID | SubjectUser | TargetUser | SourceIPaddress | SourceHostName | SourcePort | Bilgisayar | HedefIPaddress | DestinationHostName | DestinationPort | Eylem | Durum | DosyaYolu | EventID | WeekDay | DayTime |
+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +
| 171390673 |? |? |? |? |? | domaincontroller1.etkialanı.com | 1.1.1.1 | domaincontroller1.etkialanı.com |? | / Kimlik Doğrulama / Doğrulama | / Başarı |? | 4624 | 1 | 61293 |
+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +
| 173348232 |? |? |? |? |? | domaincontroller2.domain.com | 2.2.2.2 | domaincontroller2.domain.com |? | / Kimlik Doğrulama / Doğrulama | / Başarı |? | 4624 | 1 | 61293 |
+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +
| 180176916 |? |? |? |? |? | domaincontroller2.domain.com | 2.2.2.2 | domaincontroller2.domain.com |? | / Kimlik Doğrulama / Doğrulama | / Başarı |? | 4624 | 1 | 61293 |
+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +
| 144144725 |? | John.Doe | 3.3.3.3 | domaincontroller3.etkialanı.com | 2407 | domaincontroller3.etkialanı.com | 3.3.3.4 | domaincontroller3.etkialanı.com |? | / Kimlik Doğrulama / Doğrulama | / Başarı |? | 4624 | 3 | 12345 |
+ ------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- - +

Hep birlikte yaklaşık 150 milyon etkinliğim var. Farklı olayların doldurulmuş farklı alanları vardır ve tüm olaylar kullanıcı oturum açma / oturum kapatma işlemiyle ilgili değildir.

Ben kesinlikle anomali tespiti konusunda uzman değilim . Ancak, ilginç bir alan ve işte benim iki sent. İlk olarak, "Mahalanobis mesafesinin yalnızca normal dağıtılmış özelliklere uygulanabileceğini" unutmayın. Normal olmayan verilerde bu metriği kullanmanın hala mümkün olduğunu iddia eden bazı araştırmalarla karşılaştım . Bu makaleye ve bu teknik rapora kendiniz bakın .

Ben de size yararlı aşağıdaki bulacağınızı umuyoruz kaynaklar üzerinde denetimsiz anomali tespiti (AD) içinde BT ağ güvenliği bağlamında çeşitli yaklaşımlar ve yöntemler kullanarak,: Bu kağıt , bir sunan geometrik çerçeve denetimsiz AD için; yoğunluk tabanlı ve ızgara tabanlı kümeleme yaklaşımını kullanan bu çalışma ; Bu sunum slaytlar , AD için kendi kendini düzenleyen haritaların kullanılmasından söz eder .

Son olarak, konuyla ilgili olduğuna inandığım ve bu nedenle faydalı olabileceğine inandığım aşağıdaki cevaplara bir göz atmanızı öneririm: kümeleme yaklaşımlarına cevap , mesafe tabanlı olmayan kümelemeye cevap ve AD .

Her şeyden önce, bence kendinizi istifa etmeniz gerekebilecek bazı şeyler var.

Bu sorun üzerinde gördüğüm zor bir kısıtlama, muhtemelen oldukça yüksek bir yanlış pozitif oranına sahip olmaya hazır olmanızdır. Bildiğim kadarıyla, bir ağ anomalisinin bir parçası olan kayıtların taban oranı oldukça düşüktür (alıntı gerekli). Tartışma uğruna 1000: 1 oran diyelim. Daha sonra, kayıt bir izinsiz giriş ise 100 kat daha olası bir model gözlemleseniz bile, yasal ise Bayes Kuralı, arka oranların trafiğin hala yasal olduğunu 10: 1 olduğunu söylüyor.

Diğer sorun, prensipte bile bazı saldırıların tespit edilmesinin zor olmasıdır . Örneğin, birileri beni bilgisayarımı vermeye sosyal olarak tasarladıysa ve daha sonra bu servise giriş yaptı ve üzerinde çalıştığım çok gizli bir dosya indirdiyse, bunu bulmak oldukça zor olurdu. Temel olarak, yeterince kararlı bir saldırgan müdahaleci davranışlarını sistemin normal davranışına neredeyse keyfi olarak yakın yapabilir.

Dahası, rakipleriniz istatistiksel süreçler değil akıllıdır, bu nedenle bazı kalıpları tespit edip kapatmaya başlarsanız, artık bu kalıbı takip etmeyerek yanıt verebilirler. Bu nedenle, örneğin, tüm harfler arasında boşluk olan (size " V I A G R A" veya başka bir şey sunan) çok sayıda spam mesajı göreceksiniz . Spam filtreleri "viagra" dizesinin spam olduğunu anladı, bu yüzden saldırganlar başka bir şey yapmaya başladı.

Bu nedenle, tespit edebilmek için ne kadar zorlandığınızı düşündüğünüz hakkında oldukça fazla düşünmeye değer olduğunu düşünüyorum. Burada kesinlikle düşük asılı meyveler var, bu yüzden mükemmelin iyinin düşmanı olmasına izin vermeyin ve tüm saldırıları tespit edebilecek bir algoritma bulmaya çalışın.

Bu bir yana, düşük asılı meyveden bahsedelim. Burada, analiz biriminizi bireysel kayıtlardan bir grup kayda kaydırmanızın verimli olabileceğini düşünüyorum .

Örneğin, tüm kayıtların yarısının benzersiz alan kombinasyonları olduğunu söylediniz. Ancak, muhtemelen, çoğu kaynak IP birden fazla kayıtta görünür - istekte bulunan ve kombinasyonu benzersiz kılan diğer alanlar. İstekleri IP'ye göre gruplandırırsanız, aşağıdaki gibi sorular sorabilirsiniz:

• Bazı IP'lerin kimliği alışılmadık kadar çok kullanıcı (veya alışılmadık derecede az) gibi görünüyor mu?
• Bazı IP'lerde olağandışı sayıda çok sayıda kimlik doğrulama hatası var mı?
• Bazı IP'lerin alışılmadık bir erişim zamanlaması modeli var mı (örneğin saat diliminde saat 03:00 civarında çok sayıda etkinlik veya gün boyunca her 1 saniyede bir istek)?

Kullanıcı adı gibi diğer gruplamalar için de benzer şeyler yapabilirsiniz:

• Bu kullanıcı daha önce tüm istekleri için aynı bilgisayarı kullandığında farklı bir bilgisayardan kimlik doğrulaması yapıyor mu?
• Bu kullanıcı aniden daha önce hiç dokunmadığı dosya sisteminin bir bölümüne mi dokunuyor?

Kullanıcıların potansiyel davranışları çok çeşitlilik gösterdiğinden ve muhtemelen zamanla davranış değişiklikleriyle ilgileniyorsanız, buna özellikle uygun görünen herhangi bir hazır sınıflandırıcı bilmiyorum . Bu, muhtemelen her kullanıcının / IP / gelecekte ne yapması muhtemel olduğuna dair bir çeşit model oluşturmak ve bu modelden sapmaları işaretlemek istediğiniz anlamına gelir. Ancak, kullanıcılarınızın farklı davranış kalıpları varsa bu oldukça yoğun bir süreçtir!

Bu zorluk nedeniyle, şimdilik yukarıda özetlediğim keşif modu analizini yapmak daha verimli olabilir. Muhtemelen en ilginç olan desen türleri hakkında sizi bilgilendirir ve daha sonra bu desenleri tespit etmek için süslü istatistiksel algoritmalar kullanmaya başlayabilirsiniz.

İlk etapta, saldırı olmayan bir süre için verileri kaydeden bir veri kümesine ihtiyacınız olduğunu düşünüyorum . Bu veri kümesi, normal davranan bir sistemin doğasında var olan varyasyonları yakalamalıdır. Bunun açıklamalı bir veri kümesine sahip olmakla ilgili olmadığını vurgulamak isterim.

Ardından, metriklerin tümünü (veya alt kümesini) bir araya getirmeye çalışırdım. Bu yeni metrik "sürpriz" miktarını yansıtmalıdır. Örneğin, düşük değer sistemin normal çalıştığı, yüksek değer tepe / plato hızlı bir değişiklik olduğu anlamına gelir. Burada CUSUM veya Shewhart grafik stili tablolarını düşünüyorum.

Mevcut verilerden bazı örnekler verebilir misiniz? Temelde teller, sayılar, 1/0 göstergeleri mi?

Bir olasılık, saldırı olmadan bazı arka plan verileri verilen özellikler arasında bayes ağı öğrenmektir. Bayes ağını öğrenmek yararlıdır, çünkü özellikler arasında koşullu bağımsızlığı ortaya çıkarır. Bu nedenle, olası her özellik kombinasyonuyla uğraşmıyorsunuz. Örneğin, A özelliği B ve C'yi etkiliyorsa ve B ve C özellikleri birlikte D'yi etkiliyorsa, yalnızca A'nın B'yi nasıl etkilediği, C'yi nasıl etkilediği ve B ve C'nin D'yi birlikte nasıl etkilediğine dair bir model öğrenirsiniz. parametrelerini tüm olasılık dağılımından daha fazla kullanır ve yalnızca tüm ortak olasılık dağılımını depolamak yerine bayes ağlarının kullanılmasının birincil nedenidir. Bir Bayes ağı verilen anormalliği test etmek için, öğrenilen Bayes ağ modelini kullanarak veri noktası girme olasılığını hesaplayın. Olasılık çok düşükse,

Ben Kuhn'un cevabının pragmatik ve anlayışlı olduğunu düşündüm.

Şimdi kendi geçmişim metin sınıflandırma, uzman sistemler, kümeleme ve güvenlik içeriyor. Bu arka plan göz önüne alındığında, olur gibi , sohbete ekleyecek bir şeyim olabileceğini düşünmek . Ancak Ben Kuhn'un önceki açıklamaları, basit yaklaşımların birçok yanlış pozitif üretebileceğini vurgulamaktadır. BT personeli, birçok yanlış pozitifle karşı karşıya kaldıklarında, genellikle "pozitif" olurlar, çünkü yanlış pozitifleri her zaman kovalamak için zamanları yoktur.

Peki ne yapmalı?

Kesinlikle içinde saldırı olan günlükler yardımcı olabilir, ancak şirketler bir şekilde saldırı verilerini paylaşmadıkça bir catch-22'ye sahibiz. Bazı Silikon Vadisi start-up'ları böyle bir tehdit paylaşımını sürdürüyor olsa da, başka ne yapabiliriz?

Olası bir yaklaşım, ağın bir simülasyonunu oluşturmak ve daha sonra simülasyona karşı saldırılar üretmenin bir yolunu bulmaktır. Yani, siyah şapkaların (ayrıca simüle edilmiş) beyaz şapkalar tarafından önceden bilinmediği bir simülasyon oluşturduğumuzu varsayalım. Bu saldırılar göz önüne alındığında, bu saldırıları keşfetmesi gereken algoritmalar oluşturmaya çalışabiliriz. Siyah şapkalar beyaz şapkalardan bağımsız olarak çalışırsa, oynayacak gerçek bir savaşımız var. Saldırganlar sisteme girerse veya tespit edilmezse, beyaz şapkalar bir dereceye kadar başarısız oldu.

Siyah şapka ekibindeki güvenlik analistleri başarılarından ötürü ödüllendirildiğinde teşvik edici bir yapı bile olabilir (pantolon veya keşfedilmemiş saldırılar). Benzer şekilde, beyaz şapkaları içeren grup, kamaları durdurmak ve / veya saldırıları tespit etmek için ödüllendirilir.

Bu düzenlemeyle ilgili mükemmel bir şey yok. Açıkçası gerçek siyah şapkalar "dost" siyah şapka takımının yeteneklerini aşabilir. Bununla birlikte, adil miktarda veri analizi olan bir kişi olarak, siyah şapkaları daha iyi anlamadan beyaz şapkaların başarısını ölçmek çok zor görünüyor. Sonuç olarak bu. Eğer gerçek siyah şapkaların ne yaptığını bilemezsek, en iyi şey dost siyah şapkalardır.

Ayrıca oldukça sıra dışı bir fikrim var. Dost siyah şapkalara ve beyaz şapkalara ek olarak, gri bir şapka takımı olduğunu varsayalım. Gri bir şapka olmak ne anlama geliyor? Fikir basit. Gri şapkaların dostça siyah şapkaların ve beyaz şapkaların ne yaptığına bakmasına izin verilir. Ama neden?

Dost siyah şapkaların A, B ve C yaklaşımlarını kullanarak saldırılar başlattığını ve beyaz şapkaların bu üç yaklaşımdan hiçbirini keşfetmediğini varsayalım . Gri şapkalar, hem dost siyah şapkaların hem de beyaz şapkaların ne yaptığını incelemeye yetkilidir ve bu tespit edilmemiş saldırıları keşfetmek için hangi prensiplerin kullanılabileceğini düşünmeye çalışırlar. Gri şapka gibi prensipleri bulursa, gri şapka ekibi daha sonra beyaz şapka takımı ile bu ilkeleri paylaşabilirsiniz olmadan ayrıntılı olarak tam saldırıları anlatan.

Umut, gri şapka ekibi tarafından sağlanan bu "ipuçlarının" beyaz şapka ekibine çok fazla açıklama yapmadan doğru yönde bir itme sağlamasıdır.

Geriye dönüp baktığımda, cevabım gerçekten belirli tekniklerle ilgili değilse özür dilerim. Açıkçası benim yanıtım belirli tekniklerle ilgili değil . Ancak tecrübelerime göre, makine öğreniminde - güvenlik de dahil olmak üzere - birçok sorun, veriler yetersiz olduğu için genellikle başarısız oluyor. Beyaz şapkalar, gri şapkalar ve siyah şapkalar kullanan bu yaklaşım, bir güvenlik şirketinin (veya BT personelinin) sadece savunmalarının etkinliğini ölçmekle kalmayacak, aynı zamanda beyaz şapka ekibini iten bir organizasyon yapısı sağlayabilecek verileri üretmeye yardımcı olabilir. savunmalarını ve izlenmelerini aşamalı olarak iyileştirmek.

Önerdiğim yaklaşımın orijinal olup olmadığı hakkında hiçbir fikrim yok. Gri şapkaları hiç duymadım, ama aslında gri şapkaların rolünün çok fazla açıklama yapmadan beyaz takımı ileriye itmek için kritik olabileceğini düşünüyorum.

Not: Burada "gri şapka" terimini kullanmam standart değildir. Bkz. Http://www.howtogeek.com/157460/hacker-hat-colors-explained-black-hats-white-hats-and-gray-hats/ . Yani bunun yerine başka bir terim, belki de "çizgili şapka" kullanılmalıdır.

Ancak yine de fikir aynı kalır: çizgili bir şapka, dost siyah şapkaların ve savunucuların (beyaz şapkalar) çalışmaları arasında arabuluculuk yapabilir, böylece bazı fikirler ve ipuçları beyaz şapkalarla makul bir şekilde paylaşılabilir.

Orijinal soruyu yayınladığımdan beri, bu konuda birçok araştırma yaptım ve şimdi sonuçlarımı cevap olarak verebilirim.

Her şeyden önce, laboratuarımızda anomali tespit algoritmaları kullanan bir SIEM sistemi geliştiriyoruz. Sistem ve algoritmaların açıklaması makalemde mevcuttur Büyük ölçekli ağlardaki güvenlik olaylarının karmaşık analizi için bir sisteme doğru

Bunun yanında Cross Validated ile ilgili benzer bir soruya verdiğim yanıtta bu tür verilerle nasıl başa çıkabileceğime dair kısa bir özet yazdım