İki genetik algoritmanın karşılaştırılması

Eşit davranması gereken iki genetik algoritma uygulamam var. Ancak çözülemeyen teknik kısıtlamalar nedeniyle çıktıları aynı girdi göz önüne alındığında tam olarak aynı değildir.

Yine de önemli bir performans farkı olmadığını göstermek istiyorum.

Ben farklı ilk rastgele sayı tohumları kullanarak, iki algoritma her biri için aynı yapılandırma ile 20 çalışır var. Her çalıştırmak için ve kuşak asgari hata popülasyonunda en iyi bireyin spor kaydedildi. Algoritma seçkin bir koruma mekanizması kullanır, bu nedenle en iyi bireyin uygunluğu monoton olarak azalır. Bir çalışma 1000 nesildir, bu yüzden çalışma başına 1000 değerim var. Hesaplamalar çok pahalı olduğu için daha fazla veri alamıyorum.

Hangi testi yapmalıyım? Kolay bir yol muhtemelen sadece son nesillerdeki hatayı karşılaştırmak olacaktır (yine, burada hangi testi kullanacağım)? Ancak genel olarak yakınsama davranışını karşılaştırmak da düşünülebilir.

Stokastik algoritmaları test etmek oldukça zor olabilir!

Sistem biyolojisinde çalışıyorum ve bir modeli simüle etmek için kullanılabilecek birçok stokastik simülatör var. Bu simülatörlerin test edilmesi zordur, çünkü tek bir modelden herhangi iki gerçekleşme tipik olarak farklı olacaktır.

Gelen dsmts Belirli bir modelin (analitik) beklenen değeri ve varyansı hesapladık. Daha sonra, bir simülatörün gerçeklerden farklı olup olmadığını belirlemek için bir hipotez testi yaparız. Kullanıcı kılavuzunun 3. Bölümü detayları vermektedir. Esasen ortalama değerler için bir t testi ve varyanslar için ki kare testi yapıyoruz.

Sizin durumunuzda, iki simülatörü karşılaştırıyorsunuz, bunun yerine iki örnekli bir t testi kullanmanız gerekiyor.

Belki aynı algoritmanın iki çalışması arasındaki ortalama farkı, farklı algoritmalardaki iki çalışma arasındaki ortalama farkı ölçebilirsiniz. Bu farkın nasıl ölçüleceği sorununu çözmez, ancak daha izlenebilir bir sorun olabilir. Ve zaman serisinin bireysel değerleri, birbirlerine karşı değerlendirilecek bireysel veri noktaları olarak ele alınmak yerine fark hesaplamasına beslenir (n. Adımdaki belirli farkın gerçekten istediğiniz şey olduğunu da düşünmüyorum) hakkında açıklama yapmak).

Güncellemeyle ilgili ayrıntılar - son hatanın ötesinde, zaman serisinin hangi özellikleriyle ilgileniyorsunuz? Aslında çözmek için üç farklı sorunuz var:

1. Sizin için benzerlik nedir, yani iki yöntemin farklı olduğuna inanmadığınızı söylediğinizde ne demek istiyorsunuz?
2. Bunu nasıl ölçersiniz - 1'den sonra cevaplanabilir ve
3. İki yönteminiz arasındaki önemli farklılıkları nasıl test edebilirsiniz?

İlk yazıda söylediğim tek şey, (1) 'in cevabının muhtemelen 1000 neslin her birindeki bireysel farklılıkları dikkate almamasıydı. Ve her zaman dizisi için ya da en azından zaman serileri arasındaki benzerlik için bir skaler değer bulmanızı öneririm. Ancak o zaman gerçek istatistik sorusuna ulaşırsınız (ki bu üç noktanın en azını da bilirim, ancak her soru için skaler bir değere sahipken sorduğum benzer bir soruda eşleştirilmiş bir t testi kullanmam tavsiye edildi).