Dana Angluin'in normal kümeleri öğrenmek için algoritması üzerinde iyileştirmeler var mı

1987 tarihli final makalesinde Dana Angluin, bir DFA'yı üyelik sorgularından ve teori sorgularından (önerilen bir DFA'ya karşı örneklere) öğrenmek için polinom zaman algoritması sunar.

Eğer durumlu en az bir DFA öğrenmeye çalışıyorsanız ve en büyük sayım numaranızın uzunluğu , üyelik sorgusu ve en fazla teori sorgusu yapmanız gerektiğini gösterir . $n$ $m$ $O(mn^2)$ $n - 1$

Düzenli bir set öğrenmek için gereken sorgu sayısında önemli gelişmeler oldu mu?

Referanslar ve İlgili Sorular

Dana Angluin (1987) "Sorgu ve Karşı Örneklerden Düzenli Kümelerin Öğrenilmesi", Talep ve Hesaplama 75: 87-106
Üyelik sorgusu ve örnek-örnek modelinde öğrenme için daha düşük sınır

algorithms learning-theory machine-learning

— Artem Kaznatcheev
kaynak

Umarım, @DominikFreydenberger gelecekte bir noktada düşer. O öğrenecek.

— Raphael

@LevReyzin'in cevabı da bileceğinden şüpheliyim ... ve bu yüzden başlangıçta cstheory'i sormayı düşündüm, ama sanırım bu yeni sitenin büyümesine yardım etmeliyim.

— Artem Kaznatcheev

Sorunun cevabı değil, yine de faydalı olabilir: [ citeulike.org/user/erelsegal-halevi/article/9275508 Normal Dilleri Öğrenmek İçin Evrensel Bir Çekirdek]

— Erel Segal-Halevi

Link @Erel için teşekkürler, ama nasıl bir ilişki olduğunu anlamıyorum. Kontorovich'in evrensel çekirdeği verimli bir şekilde hesaplanmıyor ve öğrenme modelinin ön örnekleri yok.

— Artem Kaznatcheev

Yanıtlar:

Gelen onun cevabını cstheory.SE üzerinde, Lev Reyzin beni yönettiği Robert Schapire tezi bağlı geliştirir bölümünde 5.4.5 üyelik sorgular. Karşı örnek sorgu sayısı değişmeden kalır. Schapire'ın kullandığı algoritma, bir karşı-örnek sorgudan sonra ne yaptığına göre farklılık gösterir. $O(n^2 + n\log m)$

İyileştirmenin taslağı

En yüksek seviyede, Schapire kuvvetleri bir kapalı söz konusu Angluin algoritması ekstra durum için ve her bir ise daha sonra . Bu garanti eder $(S,E,T)$ $(S,E,T)$ $s_1, s_2 \in S$ $s_1 \neq s_2$ $row(s_1) \neq row(s_2)$ ve ayrıca yapartutarlılıkkarşılamak için Angluin algoritması malıdır önemsiz. Bunu sağlamak için, bir karşı-örneğin sonuçlarını farklı şekilde ele alması gerekir. $|S| \leq n$

Bir counterexample Verilen , Angluin basitçe eklendi ve tüm önekler . Schapire yerine tek unsur eklenerek daha ince bir şey yapar kadar . Bu yeni yapacak olmak üzere yapılan kapalı en az bir yeni dize tanıtmak ile kapatılması almak için Angluin en anlamında ve güncellemede belirgin tüm satırları tutarken. Üzerinde koşul geçerli: $z$ $z$ $S$ $e$ $E$ $e$ $(S,E,T)$ $S$ $e$

\exists s, s^{'} \in S, a \in Σ s.t r o w (s) = r o w (s^{'} a) and o (δ (q_{0}, s e)) \neq o (δ (q_{0}, s^{'} a e))

$\exists s, s' \in S, a \in \Sigma \quad \text{s.t} \quad row(s) = row(s'a) \; \text{and} \; o(\delta(q_0,se)) \neq o(\delta(q_0,s'ae))$

Burada çıkış fonksiyonu olduğu, ilk durumu ve gerçek 'bilinmeyen' DFA güncelleme kuralı. Bir başka deyişle, geleceğini ayırt etmek tanık olarak hizmet etmelidir den . $o$ $q_0$ $\delta$ $e$ $s$ $s'a$

$e$ $z$ $r_i$ $z = p_ir_i$ $0 \leq |p_i| = i < |z|$ $s_i$ $p_i$ $\log m$ comes from) to find an $k$ such that $o(\delta(q_0,s_kr_k)) \neq o(\delta(q_0,s_{k+1}r_{k+1})$ . In other words, $r_{k+1}$ distinguishes two states that our conjectured machines finds equivalent and thus satisfies the condition on $e$ , so we add it to $E$ .

— Artem Kaznatcheev
kaynak

I do not know if my answer is still relevant. Recently it has been described the implementation of a new algorithm called Observation Pack or in some circumstances Discrimination Tree by Falk Howar. This algorithm is like L* but use Rivest-Shapire or a other method(see Steffen and Isberner) for handle counterexample decomposition; and it uses a data structure, a discrimination tree (a binary tree) for make efficiently a "sift" namely the insertion of a A-transition (where A is each symbol of alphabet) of a new state found until there isn't closedness. This algorithm exists in two versions: OneGlobally and OneLocally according to whether the suffix founded in the decomposition is added to each component or not (the ratio behind the algorithm is that all prefixes in a component are equivalent to a short prefix and represent the same state in the target according to suffixes found at this time. Later with a new counterexample a new suffix is found that discriminates at least 2 prefixes of a same component. This cause a split of that component in two component). With OneLocally there are far fewer membership query but the number of equivalence query can increase drastically with big target DFA. Rather OneGlobally has a number of membership query always lower than L* (but greater than OneLocally) and a similar number of equivalences queries than L*

I know that exists another algorithm too: TTT algorithm that is better than Observation Pack too but I don't have a good knowledge of it.TTT algorithm should be the state of art

— Umbert
kaynak

Thank you for this answer! Do you have a paper reference for the Howar algorithm and for TTT?

— Artem Kaznatcheev

This for Observation Packlink Howar and this for TTT algorithm link TTT You can find the implementation in LearLib (Observation Pack is called there Discrimination Tree)

— Umbert