Verimli Hesaplanabilir, fakat Öğrenilebilir Olan Fonksiyonlar

Turing makinesi tarafından polinom zamanında ("verimli bir şekilde hesaplanabilir") verimli bir şekilde hesaplanabilen fonksiyonların, kabaca konuşulduğunda, (örneğin, [1] 'in Teoremleri 1’e bakınız) polinom sinir ağları tarafından ifade edilebileceğini biliyoruz. makul boyutlarda olan ve bu nedenle herhangi bir girdi dağılımında polinom örnek karmaşıklığıyla ("öğrenilebilir") öğrenilebilir.

Burada "öğrenilebilir", hesaplama karmaşıklığından bağımsız olarak yalnızca örnek karmaşıklıkla ilgilidir.

Çok yakından ilgili bir problemi merak ediyorum: Turing makinesi tarafından polinom zamanında ("verimli bir şekilde hesaplanamıyor") etkin bir şekilde hesaplanamayan bir işlev var mı, ancak bu arada polinom örnek karmaşıklığı ile öğrenilebilir ("öğrenilebilir") herhangi bir giriş dağılımı altında?

• [1] Roi Livni, Shai Shalev-Shwartz, Ohad Shamir, " Eğitim Sinir Ağlarının Hesaplamalı Verimliliği Üzerine ", 2014

“Verimliliğin” “hesaplanabilirlik” ile değiştirildiği bu sorunun bir türünü resmileştireceğim.

Let $C_n$ tüm diller kavramı sınıfı olmak $L\subseteq\Sigma^*$ üzerindeki Turing makineler tarafından tanınabilen $n$ devletler veya daha az. Genel olarak, $x\in\Sigma^*$ ve $f\in C_n$ , f ( x ) $f(x)$ in değerlendirilmesi sorunu belirlenemez.

Ancak, bir (doğru, gerçekleşebilir) PAC-öğrenme oracle erişebilir varsayalım $A$ için $C_n$ . Yani, herhangi bir $\epsilon,\delta>0$ için kehanet , böyle bir numunenin bilinmeyen bir dağılım D' den alındığını varsayarsak , kehanetin A hipotezini çıkardığı varsayılarak , $m_0(n,\epsilon,\delta)$ boyutunda etiketli bir numune talep eder. f ∈ Cı n olasılıkla, en az 1 - δ sahip D$D$$A$$\hat f\in C_n$$1-\delta$$D$-generalization hatası en fazla $\epsilon$ . Bu kahinenin Turing'e göre hesaplanmadığını göstereceğiz.

Bir işaretli örnek verilen saptanması için bir: Aslında, daha basit bir sorun, belirsiz olduğu gösterir $S$ bir var olup olmadığını, $f\in C_n$ tutarlı $S$ . (Bir çelişki elde etmek için) $K$ tutarlılık problemine karar veren bir Turing makinesi olduğunu varsayalım .

Aşağıdaki gösterim kurallarını yapıyoruz. Tanımlayın $\Sigma^*$ ile $\mathbb{N}=\{0,1,2,\ldots\}$ olağan alfabetik sıralama yoluyla. For $x\in\{0,1\}^*$ , bir TM söylemek $M$ "-baskılar S" $x$ içeri dizeleri tüm kabul ederse $\Sigma^*$ endeksleri tekabül $i$ st $x_i=1$ ve vermeyerek muhtemelen (kabul etmez durdurma) x indekslerine karşılık gelen dizelerden herhangi biri$x_i=0$ . (Varsayım) yana$K$ Karar verilebilen, bu izler fonksiyonu$\tilde K:x\mapsto k$ , küçük olarak tanımlanır$k$ bazı TM şekilde$C_k$ , S-baskılar$x$ , Turing hesaplanabilir olup. Bundan başka, bu fonksiyon aşağıdaki $g:k\mapsto x$ , bir eşleştiren$k\in\mathbb{N}$ az (sözlük sırasında) dizeye$x\in\{0,1\}^*$ öyle ki$\tilde K(x)>k$ , aynı zamanda hesaplanabilir.

Şimdi TM tanımlamak $M$ aşağıdaki gibidir: $M$ , S-baskılar $g(|\langle M\rangle|)$ , burada $\langle M\rangle$ ait kodlama $M$ , $|x|$dize uzunluğunu gösterir ve özyineleme teoremi böyle bir $M$ varlığını iddia etmek için çağrılır . O zaman $M$ kodlama uzunluğuna sahiptir, $\ell=|\langle M\rangle|$, ve S-bazı dizeleri yazdırır, $x_M\in\{0,1\}^*$. Yapım gereği , $\tilde K(x_M)>\ell$ ve böylece $x_M$ , uzunluğu $\ell$ veya daha kısa olan hiçbir TM tarafından S-baskısı yapamaz . Ve yine de, tanım uzunluğu $\ell$ --- bir çelişki olan bir TM'nin S-print çıktısı olarak tanımlanır .