Her 'kötü' normal ifade için kötü olmayan bir alternatif var mı, yoksa dilbilgisinde şeytan var mı?

Görünüşe göre, ReDos saldırıları bazı (aksi takdirde yararlı) düzenli ifadelerin özelliklerini kullanır ... esas olarak NFA tarafından tanımlanan grafikte olası yolların patlamasına neden olur.

Eşdeğer bir 'kötü olmayan' regex yazarak bu tür problemlerden kaçınmak mümkün müdür? Değilse (böylece, dilbilgisi bir NFA tarafından pratik alanda / zamanda ele alınamaz), hangi ayrıştırma yaklaşımları daha iyi olurdu? Neden?

Düzenli bir ifade veya regexp olup olmadığınıza bağlıdır: normal ifadeler kötüdür, ancak düzenli ifadeler güzel bir şeydir ve asla size kötülük getirmeyecektir.

Normal ifade ile, modern bir düzenli ifade kastediyorum: yani, backreferences gibi ek modern özelliklere sahip düzenli bir ifade - örneğin, Perl uyumlu bir düzenli ifade. Bu, klasik düzenli ifadeler backreferences, lookahead, lookbehind, vb. İzin vermediği için, resmi diller / otomata teorisi ders kitabındaki klasik düzenli ifadeden daha güçlüdür.

$n$$O(n)$

Bu, normal ifade eşleştiricisinin uygulanmasına bağlıdır. Eşleştiricinin naif veya kötü bir uygulaması varsa, eşleme üstel zaman alabilir; kesinlikle bu özelliğe sahip algoritmalar vardır. Ancak bunun en iyi yanıtı muhtemelen normal ifadeyi değiştirmek değildir; hizmet reddi saldırılarından endişe ediyorsanız, daha iyi bir eşleşme seçmek muhtemelen daha iyidir.

Buna karşılık, bazı modern düzenli ifadeler kaçınılmaz olarak kötüdür. Modern bir normal ifadeniz varsa, eşleme üstel zaman gerektirebilir. Özellikle, backreferences içeren regexps NP-sert dilleri tanıyabilir. Sonuç olarak, akla yatkın varsayımlar altında, bir eşleşme için testin üstel zaman aldığı bir kötü regexps sınıfı vardır. Bu nedenle, bazı modern normal ifadeler kaçınılmaz olarak kötüdür: çalışma zamanında üstel patlamaya neden olmayacak eşdeğer bir normal ifade bulmanın mümkün bir yolu yoktur.

(Böyle bir eşdeğer var olabilir ve teoride bile bitirilebilir, ancak makul varsayımlar altında, eşdeğer normal ifadeyi bulmak, uygulamada mümkün olmayan üstel zaman alacaktır. Polinom zamanında eşdeğer normal ifadeyi bulmak için sistematik bir prosedürünüz varsa , NP-zor problemini polinom zamanında çözebilir ve P = NP olduğunu kanıtlayabilirsiniz. Ömrünüz boyunca gerçekten bulmanın bir yolu yoksa, eşdeğer bir regexp olması çok iyi olmaz.)

Arka plan ve kaynaklar:

• Perl uyumlu düzenli ifadeler hangi dilleri tanır? ve modern düzenli ifadelerin ifade edilebilirliği, modern normal ifadelerin NP-sert dilleri tanıyabildiğini doğrulamak için referanslar sağlar.

• Sonlu durum otomatalarında geriye dönük referansları, ileri bakışları ve bakış açılarını nasıl simüle edebilirim? ve normal ifade Normal İfade Değilse? normal ifadeler ile normal ifadeler arasındaki farkı anlamaya yardımcı olabilir.

• Russ Cox'un bu makalesi, normal ifade eşleştirici oluşturmanın iki farklı yolunun güzel bir açıklamasına sahiptir ve uygun algoritmayı kullanırsanız çalışma süresinin neden giriş dizesinin uzunluğunda doğrusal olduğunu açıklar (normal ifade sabit tutulduğunda ve uzunluğu sabit olarak kabul edilir). Özellikle, Thompson algoritması olarak da bilinen NFA tabanlı algoritmanın doğrusal en kötü durum çalışma süresi vardır. Ayrıca bazı popüler dillerin bazı regexps'lerde üstel olabilen regexp uygulamalarına nasıl sahip olduğunu gösterir ve modern regexps'in hangi yönlerinin üstel çalışma süreleri oluşturabileceğini tartışır.

• Bu yazıda P! = NP olduğunu varsayıyorum. Daha da önemlisi, "makul varsayımlara" atıfta bulunduğumda, üstel zaman hipotezinden bahsediyorum .

Bu cevap, karmaşıklık teorisinin siber güvenlik için geçerli olduğu ve bu alanda meydana gelebilecek bazı önemli nüans / inceliklerin bulunduğu bu olağandışı kesişen durumun daha kapsamlı bir görünümünü alacaktır. Bu, esasen bazı beklenmedik girdilerin bir sistemi çökmesine veya anormal derecede uzun zaman almasına neden olan patolojik davranışlara neden olduğu bir "enjeksiyon saldırısına" benzer.

Wikipedia'nın 15 kategoride Hizmet Reddi saldırısı vardır ve bu saldırı bu listede "uygulama düzeyi sellere" girer . Bir diğer benzer örnek, uygulama günlüklerini dolduran bir saldırıdır.

Enjeksiyon saldırıları için bir düzeltme "girişi temizlemek" tir. Uygulama tasarımcısı, potansiyel olarak kötü niyetli bir kullanıcı tarafından sağlanan rastgele regexps'leri derlemek gerekirse yeniden değerlendirebilir. Normal ifadedeki iç içe ifadeleri çıkarmak veya benzer bir sınırlama bu saldırıyı önlemek için muhtemelen yeterli olacaktır. Birçok modern yazılıma özgü olsalar da, düzenli ifadeleri değerlendirmeden büyük miktarda işlevsellik sağlanabilir. Bağlam önemlidir, bazı uygulamalar böyle bir güvenlik gerektirmez.

Burada geçerli olan hata toleransını / direncini artırmak için başka bir yaklaşım , yazılım yığını / hiyerarşisinin farklı seviyelerinde belirtilen zaman aşımlarıdır . Buradaki fikir, "ortalama" düzenli ifade değerlendirmesinde bir zaman / işlemci veya talimat limiti belirtmek ve aşılırsa erken sonlandırmak olacaktır. Özel çözümlerle uygulanabilirler, ancak çok fazla yazılım veya programlama dili bu amaç için yerleşik zaman aşımlarına veya çerçevelere sahip değildir.

Hata toleransını artırmak için zaman aşımlarının kullanılmasına güzel bir örnek ve bu tür sorunları hafifletmek için üst düzey bir tasarım / mimari / pov gösterir: Yüksek Hacimli Hata Toleransı, Dağıtılmış Sistem / Netflix. Düzenli ifadelere özel olarak bağlı hiçbir şey yoktur, ancak buradaki nokta: neredeyse tüm uygulama seviyesi mantığı bu çerçeveye veya benzer bir şeye sığabilir.

Bu makalede , özellikle geri izlemenin yavaş regexp eşleşmesine nasıl yol açabileceği belirtilmektedir. Normal ifadelerin birçok farklı özelliği vardır ve hangilerinin en kötü durum davranışlarına yol açtığı değerlendirilmeye çalışılabilir.

İşte önerilen statik analiz çözümleri ile bu özel konunun güzel bir bilimsel araştırması :

• Altyapısal Mantıklarla Düzenli İfade Üstel Çalışma Zamanı için Statik Analiz / Rathnayake, Thielecke

  Geri izleme kullanan düzenli ifade eşleşmesi, sistem güvenliği literatüründe REDoS olarak bilinen algoritmik bir karmaşıklık saldırısına yol açan üstel çalışma süresine sahip olabilir. Bu yazıda, belirli bir düzenli ifadenin bazı girdiler için üstel çalışma süresine sahip olup olmadığını tespit eden yakın zamanda yayınlanan bir statik analiz üzerine inşa ediyoruz. Geçiş ilişkilerinin güçlerini ve ürünlerini oluşturarak ve böylece REDoS problemini erişilebilirliğe indirgeyerek sistematik olarak daha doğru bir analiz yapıyoruz. Analizin doğruluğu, arama ağaçlarının altyapısal bir hesabı kullanılarak kanıtlanır; burada ağacın üstel havaya neden olan dallanması, doğrusal olmama biçimi olarak karakterize edilir.