Sayılardaki temel işlemlerin zaman alacağını nasıl varsayabiliriz?

73

Normalde algoritmalarda sayıların karşılaştırılması, eklenmesi veya çıkarılması umurumda değil - onların zamanlarında çalıştıklarını varsayıyoruz . Örneğin, karşılaştırmaya dayalı sıralamanın olduğunu söylediğimizde bunu varsayıyoruz , ancak sayılar kayıtlara sığmayacak kadar büyük olduğunda, normalde bunları sıralar olarak temsil ediyoruz, bu yüzden temel işlemler eleman başına ekstra hesaplamalar gerektiriyor. $O(1)$ $O(n\log n)$

de iki sayının (veya diğer ilkel aritmetik fonksiyonların) karşılaştırmasının yapılabileceğini gösteren bir kanıt var mı ? Neden değilse, karşılaştırmaya dayalı sıralamanın mu söylüyoruz ? $O(1)$ $O(n\log n)$

SO sorusuna cevap verdiğimde bu problemle karşılaştım ve algoritmamın olmadığını fark ettim çünkü er ya da geç big-int ile başa çıkmalıyım, aynı zamanda sözde polinom zaman algoritması değildi, . $O(n)$ $P$

— Raphael
kaynak

3

Sayıların karşılaştırılmasının karmaşıklığını sayacaksanız, karmaşıklık sınırlarınızı da girdilerin bit büyüklüğüne göre yazmalısınız. Böylece bit sayıları verildiğinde , girişin bit büyüklüğü ve sıralama sürede yapılabilir.

N

$N$

w

$w$

n = N w

$n=Nw$

O (N w \log N) = O (n \log n)

$O(Nw \log N) = O(n \log n)$

— Sasho Nikolov

2

temelde karmaşıklık çalışmasının iki “bölgesi” veya “rejimi” vardır. genel olarak işlemlerin, kayan nokta, örneğin 2-4 bayt dahil sabit genişlikte sayı temsiline sahip çoğu bilgisayar dili için makul bir yaklaşım olan "sabit genişlikte" işlemler için varsayıldığı varsayılır (bkz. örneğin IEEE standartları). o zaman, sayıların keyfi büyüklükte olduğu ve işlemlerin karmaşıklığı konusunda daha dikkatli / kesin bir çalışma bulunan “keyfi kesin aritmetik” var. ilk bağlam daha çok uygulamalı analizde, ikincisi teorik / soyut analizde daha fazla.

O (1)

$O(1)$

— saat

75

Benim gibi yaşayanlar için algoritmalar inceleyen insanlar için, 21. yüzyılın standart hesaplama modeli RAM tamsayısıdır . Model, gerçek bilgisayarların davranışlarını Turing makine modelinden daha doğru olarak yansıtmayı amaçlamaktadır. Gerçek dünyadaki bilgisayarlar, paralel donanımı kullanarak, birden çok bit tam sayılarını sabit sürede işler; isteğe bağlı tamsayılar değil , (çünkü sözcük boyutları zaman içinde sabit bir şekilde büyüdüğü için) sabit boyutlu tamsayılar da değildir.

Model tek parametresine bağlıdır olarak adlandırılan, kelime uzunluğu . Her hafıza adresi, tek bir bit tam sayı veya sözcük tutar . Bu modelde, giriş büyüklüğü , girdideki sözcük sayısıdır ve bir algoritmanın çalışma süresi sözcüklerin üzerindeki işlem sayısıdır . Standart aritmetik işlemler (toplama, çıkarma, çarpma, tamsayı bölme, kalan, karşılaştırma) ve kelimelerin boolean işlemleri (bitsel ve / veya xor, shift, döndürme) tanımlamaya göre zaman gerektirir . $w$ $w$ $n$ $O(1)$

Resmen, " " kelimesi $w$ bu modeldeki algoritmaları analiz etmek için bir sabit DEĞİLDİR . Modeli sezgiyle tutarlı hale getirmek için ihtiyacımız var çünkü aksi halde tamsayısını tek bir kelimede bile saklayamıyoruz . Bununla birlikte, çoğu sayısal olmayan algoritmalar için, çalışma süresi aslında bağımsızdır , çünkü bu algoritmalar girişlerinin altındaki ikili gösterimi önemsemezler. Mergesort ve heapsort, zamanında çalışır; median-of-3-quicksort, $w \ge \log_2 n$ $n$ $w$ $O(n\log n)$ en kötü durumda zaman. Kayda değer bir istisnası çalışır ikili basamağa göre sıralama vardır zaman. $O(n^2)$ $O(nw)$

ayarı bize geleneksel logaritmik maliyetli RAM modelini verir. Fakat bazı tamsayılı RAM algoritmaları, Andersson ve arkadaşlarının doğrusal zaman tamsayılı sıralama algoritması gibi daha büyük sözcük boyutları için tasarlanmıştır . , gerektiren . $w = \Theta(\log n)$ $w = \Omega(\log^{2+\varepsilon} n)$

Uygulamada ortaya çıkan birçok algoritma için, kelimesi sadece bir sorun değildir ve çok daha basit, tekdüze maliyetli RAM modeline geri dönebiliriz (ve yapabiliriz). Tek ciddi zorluk, çok hızlı bir şekilde çok büyük tam sayılar oluşturmak için kullanılabilecek iç içe çarpmadan kaynaklanır . Biz aritmetik gerçekleştirmek olsaydı keyfi sabit zamanda tamsayılar, Çözebileceğimiz polinom zamanda Pspace içinde herhangi bir sorun . $w$

Güncelleme: Ayrıca Fürer'in tam sayı çarpım algoritması gibi, çoklu turing makinelerini kullanan (veya eşdeğeri "bit RAM") ve "teorik olarak analiz edilen çoğu geometrik algoritma " gibi "standart model" istisnaları olduğunu da belirtmeliyim. temiz ama idealize edilmiş “gerçek RAM” modeli .

Evet, bu bir kurtçuk kutusudur.

— JeffE
kaynak

3

Sadece oy kullanmam gerektiğini biliyorum, ancak şunu söylemekten kendimi alamam: Bu en iyi cevap. İşin püf noktası, (1) aritmetik işlemlerin tanım olarak sabit zaman olmasıdır ve bu sorun değil çünkü teoride herhangi bir modeli seçebilir ve (2) belirli bir modeli seçmek için bazı nedenleriniz olmalıdır ve bu cevap onların ne olduğunu açıklar.

— rgrig

Rgig ile aynı fikirdeyim (Ayrıca sadece oy kullanmam gerekiyor), ancak küçük bir sorun girdi büyüklüğü girdi sayılarıyla ilgili değil, örneğin eğer bir

girdisi varsa en büyük sayı

ve hesaplama modelini seçersem sevdiğim gibi, bu yalancı polinom zaman algoritmasına

neden olur , doğru muyum?

n

$n$

m

$m$

P

$P$

1

Girişiniz

bitten daha büyük sayılardan oluşuyorsa , modele uyması için gerçek hayatta olduğu gibi onları

bit parçalarına bölmeniz gerekir . Örneğin, girişiniz

ile

arasında

tamsayılarından oluşuyorsa, gerçek giriş boyutunuz

. Bu nedenle,

zamanı gibi sahte polinom çalışma süreleri ,

büyük olduğunda, giriş boyutunda hala üssel olmaktadır .

w

$w$

w

$w$

N

$N$

0

$0$

M

$M$

N \log_{w} M = (N \lg M) / (\lg w)

$N\log_w M = (N\lg M)/(\lg w)$

O (N M)

$O(NM)$

M

$M$

— JeffE

Real RAM modelinde gizlice "Order Type RAM" algoritması olmayan analiz edilen herhangi bir algoritma var mı? Daha önce hiç düşünmedim, ama hızlı bir şekilde olmayan bir örnek bulamıyorum.

— Louis

1

@Louis: Evet çok: Voronoi diyagramları, Öklid kısa yollar, yinelemeli çelikler, simpleksel parçalanmış ağaçlar, .... Ancak en iyi örnek Gauss çalışır giderilmesi, bir

gerçek RAM modeline zaman (ya da birim maliyet tamsayı RAM, ancak tamsayı RAM'de

zamana ihtiyaç duyar

O (n^{3})

$O(n^3)$

O (n^{4})

$O(n^4)$

— JeffE

24

Sadece içeriğe bağlı. Algoritmaların bit seviyesi karmaşıklığı ile uğraşırken , iki bit sayısının eklenmesinin olduğunu söylemiyoruz, olduğunu söylüyoruz . Benzer şekilde çarpma vb. $n$ $O(1)$ $O(n)$

— Massimo Cafaro
kaynak

Referanslı makalenizden: "iki farklı şekilde ölçülebilir: biri test edilen veya çarpılan tam sayılar ve biri de bu tam sayıların ikili sayıları (bitler) açısından", ancak bu doğru değil, biz Daima giriş boyutuna göre ölçmelisiniz.

1

@ SaeedAmiri: sadece kullanılan kodlamaya bağlıdır. Makalede, örneğin, giriş bir tam sayı olduğu, eğer

, test bölümü sadece gerektirecektir tekli kodlama kullanılarak belirtilen

. Bu girişin boyutunda polinom! Bu, deneme bölünmesine göre yapılan faktoringin

olduğu anlamına mı geliyor ? Hayır, algoritma sözde polinomdur . Ortak ikili kodlamayı kullanarak, tekrar girdi boyutunda üstel bir algoritma elde edersiniz. Belirtildiği gibi, bu,

girişindeki bitlerin sayısının kodlamasını değiştirerek katlanarak azaldığı için gerçekleşir.

n

$n$

θ (n^{1 / 2})

$\theta(n^{1/2})$

P

$P$

n

$n$

— Massimo Cafaro

Bu arada, gerçek durumlarda parametrelerinin büyüklüğünün oldukça düşük olması durumunda sözde polinom algoritmaları aslında yararlı olabilir. En ünlü örnek muhtemelen sırt çantası problemini çözmek için sahte polinom algoritmasıdır.

— Massimo Cafaro

Öncelikle, başvurulan wiki sayfanızın iyi olmadığını belirtmeliyim çünkü iyi referansları yok, Ayrıca neden sahte sözde polinom zaman algoritmaları hakkında konuştuğumu düşündüğümü bilmiyorum, giriş boyutu normalde buttleneck olabilir. bu durumlarda ama ben olan sorunlar hakkında çoğunlukla bahsediyorum, onlardan bahsetmiyorum

biz hile ve NPC sorun olduğunu söyleyemeyiz çünkü zaten sıralama gibi, hatta girdi boyutunun varsayımı ile

ben yapmamalıyız düşünüyorum Diyelim ki sıralama

ancak karşılaştırmayı yok saymak için resmi bir kanıtımız vardır.

P

$P$

P

$P$

O (n \log n)

$O(n \log n)$

Dikkatinizi girdi boyutuna odaklamak, yanlış yönlendirici olabileceğini göstermek için sahte polinom algoritmalarını tartışıyorum. İşte başka bir örnek. Girdi olarak

olarak doğal bir sayı verilir ve algoritma

yinelemede

zaman işlemlerini yaptığı bir döngü çalıştırır . Girdi boyutunun bir fonksiyonu olarak ölçülen bu basit döngü algoritmasının karmaşıklığı,

. Yana

n

$n$

O (1)

$O(1)$

n

$n$

O (n) = O (2^{l g n})

$O(n) = O(2^{lg n})$

l g n

$lg n$ giriş boyutu, algoritma giriş boyutunda üstel! Bunun hakkında düşün. Şimdi "Sadece içeriğe bağlı" ile ne demek istediğimi anlayabilirsiniz.

— Massimo Cafaro

16

Soruyu belirtildiği gibi cevaplamak için: algoritmalar sadece RAM modelini kullanarak oldukça sık olarak yaparlar. Sıralama için, çoğu durumda insanlar , bağlantılı cevapta biraz daha fazla tartışacağım daha basit karşılaştırma modelini bile analiz eder .

Neden yaptıkları hakkındaki açık soruyu yanıtlamak için : Bu modelin, sayının hepsinin "küçük" olduğu ve gerçek makinelerde kayıtlara sığdığı bazı kombinasyon algoritmaları için oldukça iyi bir tahmin gücü olduğunu söyleyebilirim.

Sayısal algoritmalar hakkında örtük takiplere cevap vermek için: Hayır, eski düz RAM modeli buradaki standart değildir. Gauss ortadan kaldırılması bile biraz bakım gerektirebilir. Genel olarak, rütbe hesaplamaları için Schwartz Lemma girecektir (örneğin, burada Bölüm 5 ). Bir başka kanonik örnek, analiz etmek için biraz özen gerektiren Elipsoid Algoritmasının analizidir .

Ve son olarak: İnsanlar daha önce , hatta daha önce dize sıralama hakkında düşündüm .

Güncelleme: Bu soruyla ilgili sorun, "biz" ve "varsayalım" ifadelerinin tam olarak belirtilmemesidir. RAM modelinde çalışan insanların sayısal algoritmalar veya karmaşıklık teorisi yapmadıklarını söyleyebilirim (bölünmenin karmaşıklığının belirlenmesinin ünlü bir sonuç olduğu ).

— Louis
kaynak

Hmmmm, ilginç bir cevap gibi görünüyor ....

Soruyu tam olarak cevaplamamasının bir nedeni var mı?

— Louis

7

Bununla ilgili herhangi bir çalışma bulamadım, ancak Kozen, "Algoritmaların Tasarımı ve Analizi" nin girişine modelinin "ılımlı veriler için [log-maliyet modelinden] deneysel gözlemi daha doğru yansıttığını söylüyor boyut (çarpma işleminden gerçekten bir zaman aldığından beri). " Ayrıca , modelinin nasıl kötüye kullanılabileceğinin bir örneği olarak bu makaleye bir referans vermektedir . $O(1)$ $O(1)$

python -mtimeit "$a * $b"$a $10^{\{1,2,...,66\}}$ $b = 2*$a

$10^{50}$ $\log_{10}(\tt{sys.maxint})$

— Dougal
kaynak

O (n)

$O(n)$

O (n \cdot \log n \cdot \log m)

$O(n \cdot \log n \cdot \log m)$

7

$O(1)$

$O(\log M)$ $O (N \log N)$ $O (N \log N \log M)$

$M$

— Erel Segal-Halevi
kaynak

O (\log m)

$O(\log m)$

O (\log n)

$O(\log n)$

m

$m$

O (l o g N)

$O(log N)$

n

$n$

n^{n^{n}}

$n^{n^n}$

Haklısın, cevabımı düzelttim.

— Erel Segal-Halevi,

4

Genelde O (1) aritmetik işlemleri üstlendiğimizi söyleyebilirim çünkü genellikle 32 bit tam sayılar veya 64 bit tam sayılar veya IEEE 754 kayan nokta sayıları bağlamında işler yapıyoruz. O (1) muhtemelen bu tür aritmetik için oldukça iyi bir yaklaşımdır.

Ancak genel olarak, bu doğru değil. Genelde toplama, çıkarma, çarpma ve bölme işlemlerini gerçekleştirmek için bir algoritmaya ihtiyacınız vardır. Boolos, Burgess ve Jefferies'nin Hesap Verebilirliği ve Mantığı , dördüncü Basım kopyamda, bir kaç farklı biçimsel sistem açısından, Özyinelemeli Fonksiyonlar ve Abaküs Makineleri anlamında bunun kanıtlarını / anlamlarını anlamanın bir yolu olarak akla geliyor.

Bu iki işlemin neden O (1) olmadığının anlaşılması kolay bir açıklaması için, kilise sayıları ile çıkarma ve bölme işlemlerine ilişkin lambda-calculus terimlerine bakabilirsiniz. Toplama, çarpma ve üstelleştirme için görmek biraz zor, ama kilise sayıları şeklini düşünürseniz, orada.

— Bruce Ediger
kaynak