Soyutlama fiyatına örnekler?

Teorik bilgisayar bilimi, "soyutlamanın bedeli" ile ilgili bazı örnekler sağlamıştır. En belirgin iki kişi Gauss ortadan kaldırılması ve tasnifi içindir. Yani:

• İşlemleri bir bütün olarak satırlara ve sütunlara sınırlarsanız , Gauss eleme işleminin determinantı hesaplamak için optimal olduğu bilinmektedir [1]. Açıkçası Strassen'in algoritması bu kısıtlamaya uymuyor ve asimetrik olarak Gauss elemesinden daha iyi.
• Sıralamada, listedeki öğelere yalnızca karşılaştırılabilecek ve hareket ettirilebilecek kara kutular gibi davranırsanız, standart bilgi teorik alt sınırına sahibiz . Yine de füzyon ağaçları, bunu anladığım kadarıyla, çarpmanın akıllıca kullanılmasıyla bu sınırı yendi.$n \log n$

Soyutlama fiyatının başka örnekleri var mı?

Biraz daha resmi olmak için, bazı zayıf hesaplama modellerinde alt sınırın koşulsuz olarak bilindiği, ancak daha güçlü bir modelde ihlal edildiği bilinen örnekler arıyorum. Ayrıca, zayıf modelin zayıflığı, kuşkusuz öznel bir kavram olan bir soyutlama şeklinde gelmelidir . Örneğin, monoton devrelerin kısıtlanmasının bir soyutlama olduğunu düşünmüyorum. Umarım yukarıdaki iki örnek aradığımı netleştirir.

[1] KLYUYEV, VV ve NI KOKOVKIN-SHCHERBAK: Lineer cebirsel denklem sistemlerinin çözümü için aritmetik işlem sayısının en aza indirilmesi üzerine. GI TEE tarafından Tercüme: Teknik Rapor CS 24, Haziran t4, t965, Bilgisayar Bilimleri Bölümü, Stanford Üniversitesi.

Soyutlama fiyatının bir başka güzel örneği: ağ kodlaması . Çok noktaya yayın ayarlarında, max-flow-min-cut ilişkisinin eşitlikten biri olmadığı bilinmektedir (ilk ve çift eşleşmiyor). Bununla birlikte, geleneksel modeller sadece geçtiği ve hiçbir şekilde "işlenmemiş" olan akışı üstlenir. Ağ kodlamasıyla, bu sınırı akışları akıllıca birleştirerek yenebilirsiniz. Bu örnek, ilk başta ağ kodlaması çalışması için harika bir motivasyon oluşturdu.

Tamamen işlevsel programlama, en azından destekçilerine göre, kodun etkileyici gücünde, diğer yararların yanı sıra büyük bir artış sunan popüler bir soyutlamadır. Bununla birlikte, makinenin kısıtlayıcı bir modeli olduğu için - özellikle değişken hafızaya izin vermemek - normal (RAM) modele kıyasla asimptotik yavaşlama sorununu gündeme getirmektedir.

Burada bu konuda harika bir konu var . Ana paket servisler gibi görünüyor:

1. Değişken hafızayı dengeli bir ikili ağaç ile simüle edebilirsiniz, böylece en kötü durum yavaşlaması O (log n) olur.
2. İle istekli değerlendirmede , bu yapabileceğiniz en iyi olduğu sorunlar var.
3. İle tembel değerlendirmede , bir boşluk olup olmadığını bilinmemektedir. Ancak, bilinen hiçbir işlevsel algoritmanın optimal RAM karmaşıklığına uymadığı birçok doğal problem vardır.

Bana öyle geliyor ki bunun açık olması şaşırtıcı derecede temel bir soru.

Sorunuz karmaşıklık teorisine odaklanırken, programlama dilleri teorisi gibi diğer alanlarda da benzer şeyler olabilir. Soyutlamanın bir şeyi kararsız hale getirdiği birkaç örnek: (zayıf modeldeki alt sınır imkansızdır, güçlü model algoritmanın ifade edilmesine izin verir):

• Lambda hesabında, doğrudan ifade edemediğiniz işlevler vardır (yani, istenen sonucu beta azaltan bir lambda terimi olarak). Bir örnek paraleldir ((hangisini sonlandıranı döndüren iki argümanın işlevi). Diğer bir örnek, argümanını kelimenin tam anlamıyla basan bir işlevdir (bir işlev açıkça iki beta eşdeğeri argüman arasında ayrım yapamaz). Etkileyiciliğin eksikliği, beta eşdeğeri lambda terimlerinin aynı şekilde ele alınması gereken soyutlamanın zorlanmasından kaynaklanmaktadır.

• Fantezi bir uzantısı olmayan ML gibi sadece parametrik polimorfizmi olan statik olarak yazılmış bir dilde, bazı fonksiyonlar yazmak imkansızdır - ücretsiz teoremler alırsınız . Örneğin, türü olan bir işlev (bağımsız değişken türü ne olursa olsun, aynı türden bir nesne döndür), kimlik işlevi veya sonlandırıcı olmamalıdır. Etkileyiciliğin eksikliği, bir değerin türünü bilmiyorsanız, bunun opak olduğu (sadece etrafa aktarabilirsiniz) soyutlamadan kaynaklanmaktadır.$\forall\alpha, \alpha\to\alpha$

Kriptografide ayrık logaritma problemini çözerken "soyutlama bedeli" de bulunabilir. Shoup (1997) , herhangi bir genel yaklaşımın (yani yalnızca grup işlemlerini kullanan algoritmalar) en az kullanması gerektiğini göstermiştir.$\Omega(\sqrt{m})$$m$$\mathbb{Z}_n^*$

$\mathbb{Z}_n^*$

$s$$t$$s$$t$$s$$t$$\min$$+$$\max$$\min$

Giriş grafiğindeki köşelerin sayısı olsun . Bu sorunun Karger, Koller ve Phillips'in yol karşılaştırma modelinde zamanı gerektirdiği , tıpkı en kısa yol probleminin yaptığı gibi. (Yol karşılaştırma modeli Floyd-Warshall gibi geleneksel algoritmalar, desteklemektedir.) Bununla birlikte, her çiftleri en kısa yol farklı olarak, her çifti yolları içinde çözülebilir tıkanıklık çıkıyor daha az süresi kullanılarak hızlı matris çarpımı.$n$$\Omega(n^3)$$O(n^{2.8})$

Bu soruda yapılan bir tartışmada, hesaplama geometrisindeki birçok problemin, sıralama veya eleman farklılığı gibi temel problemlerden kaynaklanan hesaplamalı cebirsel karar ağacı veya hesaplamalı cebirsel hesaplama ağacı modellerinde alt sınırları vardır . Delaunay üçgenlemesinin inşası gibi ilgili sorunlarda üst sınırlarının, bu alt sınırlarla eşleştikleri için optimal olduğunu iddia eden kağıtlar bulmak zor değil .$\Omega(n\log n)$$O(n\log n)$

Ancak girdi Kartezyen koordinatlarının tamsayılarında belirtildiğinde (pratikte sık sık olduğu gibi, kayan nokta hesaplama geometrisi için uygun değildir), bu düşük sınırlar hesaplama modeliyle eşleşmiyor. Ortogonal menzilli arama türü problemlerinin tamsayılı sıralamadan uyarlanmış teknikler kullanılarak daha hızlı çözülmesi şaşırtıcı değildir, ancak dikgen olmayan problemler bile daha hızlı algoritmalara sahip olabilir (problemi tam olarak çözen, O ile tamsayılı aritmetik sağlayan hesaplama modellerinde (1 () giriş tamsayılarının hassasiyetini katlar). Bir örnek set için arXiv: 1010.1948'e bakınız .

Kriptografide bu kadar çok örnek var, özellikle de sıfır bilgi delilleri. Bakınız, örneğin, tez:

Boaz Barak, Kriptografide Kara Kutu Dışı Teknikler, 2003.

(Bu arada, tez başlığı bu yorumun geçerliliği hakkında sıfır bilgi kanıtı sağlar :)

Cebirsel Karar Ağaçları , Öğe benzersizliği gibi birçok basit sorunu göstermek için hesaplama geometrisinde temel olarak kullanılır . Bunlar alt sınır daha sonra da sahip Voronoi Diyagramları gibi daha karmaşık problemleri göstermek için kullanılır alt sınır. Daha sonra düzlemdeki en yakın nokta çiftini çözmek için beklenen bir zaman algoritmasını okuduğumda şaşırdım , bu Element Tekliği'nin bir genellemesidir. Hash kullanarak bağlanan Cebirsel Karar Ağacı'ndan kaçar. Klein ve Tardos'un Algoritma Tasarım kitabında buldum. RJ Lipton'ın blogunda açıklanan aynı sorunu çözmek için benzer ancak daha karmaşık bir algoritma var .$\Omega(n \log n)$$\Omega(n \log n)$$O(n)$

Referans:

• Richard J. Lipton, " Rabin Bozuk Para Basar ", Mart 2009
  , Godel'in Kayıp Mektup ve P = NP blogunda yayınlandı.

Bir döngü grafikte renk sayısını azaltmak için senkron deterministik dağıtılmış algoritma düşünün için . Yani, size çevrimin uygun bir şekilde renklendirilmesi verilir ve çevrimin uygun bir renklendirmesini elde etmek istersiniz; döngünün her düğümü bir işlemcidir.$k$$3$$k$$3$

Eğer (eğer tedavi bir karşılaştırma tabanlı bir model varsayarsak sadece birbirlerine bir düğümden iletilen ve karşılaştırılabilir kara kutuları gibi renkler) Eğer önemsiz bir alt almak sınırı sayısı için iletişim turları.$k$$\Omega(k)$

Bununla birlikte, bu soyutlama tartışmasız bir şekilde yanlıştır: Bir iletişim ağındaki bir şeyi iletebilirseniz, "bir şeyi" bit dizisi olarak kodlamanın bir yolu olacaktır. Ve şimdi işler daha iyi görünmeye başlar.

Renkleriniz kara kutu değilse ancak tamsayıları ise, iletişim turlarında Cole-Vishkin tekniklerini kullanarak renk azaltmayı yapabilirsiniz . Renkleriniz büyük bit dizeleri olsa bile , tamsayıları gibi , aynı sınırını alırsınız .O ( giriş * k ) 1 , 2 , . . . , 10 10 k O ( log ∗ k $1, 2, ..., k$$O(\log^* k)$$1, 2, ..., 10^{10^k}$$O(\log^* k)$

Alt satır: "yanlış" soyutlamanın fiyatı: vs. .Ω ( k $O(\log^* k)$$\Omega(k)$

Aklıma gelen bir örnek hacim hesaplamasıdır. Barany ve Furedi'nin bir sonucu, üstel sayıdaki sorgulara ihtiyaç duymanız ve Dyer-Frieze-Kannan'ın randomize bir polinom zaman algoritması olması . Boşluk, soyutlamanın ödülünü ve aynı zamanda rastlantısallığın yararını temsil eder, ancak boşluğun temel nedeninin, soyutlamanın fiyatı olduğunu düşünüyorum. (Umarım soruyu anlamışımdır ve doğru yönde gider.)

Bu muhtemelen aklınızdaki gibi değil. Fakat belli bir anlamda, P'ye karşı NP'in kuklalardan bağımsızlığı böyle bir örnektir. Asıl söylediği şey, tek umursadığınız şey simülasyon ve numaralandırma ise (yani, bu sizin "hesaplama modeliniz" ise), o zaman bu sınıfları ayıramaz veya daraltamazsınız.

Daha somut bir algoritmik örnek, "geri" yönünde arama yapan yaklaşık aralıktan gelir. Spesifik olarak, çoğu aralık arama problemleri yarı grup toplamları olarak ifade edilir ve alt / üst sınırlar bu yarı grubun yapısına bakılmaksızın ifade edilir (bazı hafif teknik koşullar hariç). Arya, Malamatos ve Mount'ın yakın zamandaki çalışmaları , yarı grup yapısına (bağımsızlık ve bütünlük özellikleri) yakından bakarsanız, yaklaşık aralık araştırması için farklı (ve daha sıkı) sınırlar kanıtlayabileceğinizi göstermektedir.

Shannon-Nyquist örnekleme teoremi, iletişimdeki bilgi teorisi sınırları için yeterli bir koşul önerir. Örnekleme teorisi, gelen sinyalin kompakt / rasgele bir gösterime sahip olduğu örnekler etrafında çalışır. Örneklemedeki son gelişmeler, bu soyutlamanın belki de bir bedelle geldiğini göstermektedir - ölçmek istediğimiz türlerin genellikle , bu sınırların sıkı olmaması için seyrek temsilleri olduğunu göstermektedir. Ek olarak, bilgi, ilk başta sanıldığından çok daha yoğun bir şekilde kodlanabilir.

• Hata düzeltme kodları, gürültü sınırına bağlı ağ kurma manzaralarında Shannon sınırının bir miktar yeniden değerlendirmesinin yapıldığını göstermektedir.
• Yepyeni bir sıkıştırma algılama alanı, Shannon sınırının ötesinde ilginç bir yol bulduğumuz görüntü çeşitlerinin yeniden inşasını zorluyor.

Doğa bilimlerinin ortaya çıkardığı birçok ilginç problem, klasik anlamda NP-zor olduğu ortaya çıktı. Bu nosyon teorik olarak mükemmel bir şekilde geçerli olsa da, biyolog veya fizikçiye hiçbir şekilde yardımcı olmuyor. Bazı NP-zorlu problemlerin , gerçek dünyada küçük bir sabit tarafından sınırlandığı görülen bir parametreyle tedavi edilebilir ve çoğu zaman sabit bir parametre olduğunu görüyoruz.

Yani, TCS bize soyut sorun için etkili bir çözüm beklememizi söyler, ancak ortaya çıkan olayları hızlı bir şekilde çözebiliriz - oldukça bir boşluk.

Bu yazıda http://www.mimuw.edu.pl/~szymtor/papers/atom-turing.pdf verilere sınırlı erişimi olan Turing Makineleri'ni inceledik. Bu ilişkisel bir yapının otomorfizmleri altında değişmez olarak resmileştirilmiştir; örneğin, sıralama için O (n log n) alt sınırında, makinenin rasyonel sayıları işleyebileceğini ve saklayabileceğini söyleyebilirsiniz, ancak geçişleri (Q, <), yani monoton çıkarımların otomorfizmaları altında değişmez olmalıdır. Biçimsel tanım, makinenin hafızasında ne tür veri yapılarının tam olarak belirtilebileceğini belirlemek için daha karmaşıktır (bir
anlamda "sonlu" olmalıdır , ancak yalnızca veri değerlerinin tekillerinden daha karmaşık yapıların depolanmasına izin veririz, Sırasız tuples gibi).

Makalede "sınırlı veri erişimi" olan diğer Turing makineleri için bazı düşük sınırlar olduğunu kanıtladık. Özellikle şunu gösterdik:

• Vektörleri işleyebilen (iki elemanlı alan üzerinden söyleyebilen), ancak yalnızca vektör toplama ve eşitlik testlerini kullanabilen deterministik bir Turing makinesi, polinom zamanında belirli bir vektör listesinin doğrusal olarak bağımlı olup olmadığını belirleyemez (resmi olarak, makine geçişleri Vektör uzayının otomorfizmi altında değişmez olmak). Bu, 0'a kadar ekleyen vektörlerin bir kombinasyonunu basitçe tahmin edebilen, mekanik olmayan makinelere karşı çıkıyor. Gaussian eliminasyonunun polinom zamanında çalıştığını, ancak vektörlerin koordinatlarına erişimi olduğunu gözlemleyin; özellikle, geçişleri, vektör uzayının otomorfizmleri altında değişmezdir.

• Uygun şekilde tanımlanmış bir modelde, doğal sayıları yalnızca eşitlikle karşılaştırabilen Turing Machines (<bile değil) belirlenemez. Burada ilişkisel yapıyı (N, =) ve otomorfizmi altında değişmeyen makineleri ele alıyoruz. Bu modelde P ≠ NP modelinde bir model (Sonlu Model Teorisinden Cai-Furer-Immerman'ın yapısına benzer) vardır. Makinelerin sayıları <kullanarak karşılaştırmasına izin vermek, onlara belirlemeleri için yeterli gücü verir.

Genel bir soyutlama fiyatı karar ağacı karmaşıklığı veya kuantum sorgu karmaşıklığı gibi kara kutu çerçevelerinde mevcuttur. Analizi bu modellerle sınırlarsak, görevlerin karmaşıklığı konusunda genellikle çok iyi sınırlar bulabiliriz. Aslında, kuantum sorgusu için temelde sorunların karmaşıklığını çözebiliriz, çünkü olumsuz ters yöntem sıkı alt sınırlar sağlar (log n / loglog n: 1005.1601 faktörü içinde ). Bu bize sorgu karmaşıklığını analiz etmek için harika bir araç sağlar, ancak sorgu karmaşıklığını daha standart turing-tezgah zaman / alan karmaşıklığına göre karşılaştırmak zorlaşır (kaba bir alt sınır hariç).

Her ikisi de sürekli ve ayrık modellerle ilgili iki örnek:

1. aralığında, konumunda gizlenmiş (sonsuz küçük) bir hazine olduğunu varsayalım . Kazmayı hazineyi bulmak istiyoruz. Ne zaman konumuna , , veya olup olmadığına dair geri bildirim alırız . Açıkçası, eğer herhangi bir gerçek sayıysa, herhangi bir arama algoritması hiçbir zaman sonlandırılamaz. çok küçük olabilir, ama asla gelmeyebiliriz . x y x < y x = y x > y x | x - y | y = $[0,1]$$x$$y$$x<y$$x=y$$x>y$$x$$|x-y|$$y=x$

   Ancak, sürekli süpürmeye izin vermek için arama modelini genişletebiliriz. Bu modelde, aralığında sürekli çalışmasına izin veriyoruz ve olduğunda geri bildirim alıyoruz .[ 0 , 1 ] y = $y$$[0,1]$$y=x$

2. A problemi için motivasyon, kıskançlıktan uzak kek bölünmesi probleminden geliyor . Stromquist , her bir oyuncunun birbirine bağlı bir parça alabilmesi için sonlu bir protokolün (sınırlandırılmamış olsa bile) bir pastanın üç veya daha fazla oyuncu arasında kıskanç bir şekilde bölünmesini garanti edemediğini gösterdi .

   Bununla birlikte, Aumann ve Dombb'ın daha sonra açıkladığı gibi , bu sonuç sadece “Her adımda, protokol bir oyuncu ve gerçek bir sayı seçer ve oyuncu benzersiz noktada bir işaret yapmaya davet eden ayrı bir kesme modeli için geçerlidir. olan ", 'olup, örneğin, bir arabulucu Bu bilgi' dayalı bir bölme oyuncuların değerleme fonksiyonlarının tam bilgiye sahip olduğu önerir durumlar. α i x v i ( 0 , x ) = $i$$\alpha$$i$$x$$vi(0,x) = \alpha$

   Ek olarak, sonuç hareketli bıçak prosedürleri gibi sürekli işlemlere sahip algoritmalarla da ilgili değildir.

Birinci mertebeden bir mantıkta ifade edildiğinde, sabit n için güvercin deliği ilkesinin herhangi bir kanıtı üsteldir. Ancak, aritmetik ile ispat çok daha net bir şekilde ifade edilebilir.

SMT çözücülerinin başarısı, azaltma problemlerinin soyut modelinden SAT'a geri dönerek daha zengin teorilerin ihtiyaç duyulan hesaplama miktarını büyük ölçüde azaltmasına olanak sağladı.