Derecelendirme enflasyonu hakkında çok fazla araştırma yapıldı mı?


24

Magnus Carlsen, 2012 Londra Satranç Klasikinin dünkü turunda hazırladığı bir sonraki FIDE derecelendirme listesindeki derecesinin Kasparov'un önceki 2851'deki rekorunu geçeceğini garanti etti. karşı, diyor ki, Fischer. Açık olmak gerekirse, burada peşinde olduğum şey bu değil.

Bu tür tartışmaların en önemli unsurlarından biri, genel olarak Elo derecelendirmelerinin zaman içinde enflasyona girip girmediğinin kavramıdır: bugün, oynama gücündeki genel bir yükseliş nedeniyle, ya da sadece bazı nedenlerden dolayı, 20 yıl önce olduğundan daha fazla sayıda 2700+ büyükbaba var mı? rakamlardaki genel enflasyon eğilimi? Ben de böyle olup olmadığına dair çıplak görüş istemeye çalışmıyorum. Neyi bilmekle ilgileniyorum:

FIDE Elo derecelendirmelerinin oyuncu havuzundaki genel güç artışından başka bir şey yüzünden zaman içinde doğal olarak şişip şişmediği konusundaki ampirik soruyu yanıtlamak için hangi ciddi araştırma girişimleri yapıldı?

Elo reyting sistemine ilişkin Wikipedia yazısı , konu hakkında söylenecek bir parçadan bahsetmiyor ve ayrıca Jeff Sonas'ın Chessmetrics adlı makalesine de işaret ediyor . Başkaları tarafından çalışmak üzere işaretçilere ek olarak, Ben, birincisi, Sonas'ın ana noktalarının açık ve özlü bir özetini veren bir cevabı memnuniyetle karşılarım.


Düşünülmesi gereken bir diğer şey de USCF derecelendirmelerindeki enflasyon. Oldu ve periyodik olarak USCF oyuncuların korkularına çok ayarlamalar yapıyor. USCF ve FIDE aynı sistemi kullandıklarından, temel olarak, enflasyonun USCF'yi etkileyip etkilememesi FIDE'yi etkilememesine şaşırdım.
Tony Ennis,

2
Sistemler aynı değildir, örneğin USCF açıkça enflasyonist bir faktör olan derecelendirme katlarına sahiptir.
RemcoGerlich

Yanıtlar:


19

Ken Regan ve Guy Haworth'un "Intrinsic Chess Ratings" makalesinin henüz gönderilmediğine şaşırdım. Bu tam olarak ne isteniyor, derecelendirme enflasyonu konusunda ciddi araştırmalar. PDF

Temel olarak, üç dönemden (1976-1979, 1991-1994, 2006-2009), birkaç değerlendirme aralığında (örneğin, her iki oyuncunun 2200'ün 10 puanındaki, 2300'ün 10 puanındaki vb. Her ikisi de) oyunlarını aldılar ve oyun türlerini hariç tuttular. Takım maçlarında olduğu gibi anormal olabilir. Kağıdı oku, oldukça ayrıntılı görünüyor.

Sonra oyunları sistematik olarak Rybka 3 ile karşılaştırdılar.

Sonuçtan bazı cümleler:

Gerçek oyuncuların Elo reytingleri ile satranç programı ve acentenin uyumu ile ölçülen hareket tercihlerinin gerçek kalitesi arasında yumuşak bir ilişki olduğu sonucuna vardık. Ayrıca, elde edilen son değer değerleri, üç zaman diliminin de karşılık gelen girdileri için hemen hemen aynıdır.

Bana göre, derecelendirme enflasyonunun varlığına karşı oldukça sağlam bir kanıt.


1
Bunu gönderdiğiniz için teşekkürler, ben de bunu paylaşmaya geldim. Bu, oyuncuları nesnel bir standartla karşılaştıran tek araştırma hattıdır. Derecelendirme enflasyonu için gördüğüm tüm argümanlar özneldir ve genellikle anekdottur. Kişisel bir notta, Morphy'nin muhtemelen 2300 olduğu gerçeğini, oyunlarını ya da o zamanki rakipleriyle ilgili becerilerini takdir etmekten alıkoyacağını sanmıyorum.
Sam Copeland

12

Bazılarını dürttüm. Muhtemelen bu sayfaları gördünüz, ancak yine de göndereceğim:

a. Bu sayfa ilgini çekecek . Bu, Elo’un kendisinin olasılığı belirten bir mektubunun fotokopisini içerir:

Bu nedenle zaman içinde derecelendirme ölçeği, istikrarı sağlamak için bazı önlemler alınmadıkça kayma yapabilir.

Ayrıca, derecelendirme ölçeğinin çapa veya sabit nokta olmadığını söylemektedir. Bir saat içinde yarış yapan bir sporcuyla karşılaştırın; Bir saat şimdi 50 yıl önce bir saat aynıdır. Zaman böyle sabit bir nokta.

b. Ayrıca, “enflasyon” sorununa, son zamanlarda izole bölgelerden çıkan yüksek derecelendirme vahyleri ile cevaplanmadı mı? Konuyla ilgili bir fikir edinmek için bu sayfanın "Oyuncular Havuzu" bölümüne bakın . Ek destek , bilimsel veya özellikle bilgilendirici olmamasına rağmen. "İsol" için arama yapın. İşte izole popülasyonlarda neler olduğunu gösteren bir başka fıkra (ve 'satranç oyuncuları neden çılgınca!' İçin başka bir aday!) Aslında kontrol etmedim ama yapacak kadar kolay olmalıyım.

c. Elo wiki'sini enflasyon bahsediyor bunun kabul edilen bir gerçektir sanki.

d. İşte enflasyon ve takip ile ilgili bir almanca makale . 1986'daki şu sigara tabancasına bak!


Sayfayı A. den görmemiştim, bunun için teşekkürler. B ile ilgili olarak, neyi kastettiğinizin farkında değilim; detaylandırabilir misin
ETD

2
Gerçek bir çapa olmadan, doğru bir şekilde ayarlamanın imkansız olduğunu; Sonunda, sadece keyfi bir değere doğru anecodatal ayarlamalar yapıyoruz.
Daniel B,

Muhtemelen. Ancak benzer bir dağılım eğrisi verecek şekilde derecelendirmeleri ayarlamak muhtemelen iyi bir başlangıç ​​olacaktır. Örneğin, birkaç yıl önce, USCF reytingleri ayarlar, böylece ortalama bir kulüp oyuncusu 1500'dü. Hala bunu yapıp yapmadıklarını bilmiyorum.
Tony Ennis

1
@TonyEnnis Tabii, ve sanırım şu an için alacağı kadar iyi. Özellikle, demek istediğim: bugün "ortalama kulüp oyuncusu" aslında 50 yıldan daha iyiyse ne olur? Geçmişten gelen oyunculara karşı oynamalarını sağlayabilmemiz gibi değil ... Bir şekilde oyuncu gücünü tahmin etmekten ve ayarlamaktan vazgeçtik. Belki bilgisayar programlarıyla (standart, öngörülen bir platformda çalışır), bir tür tarafsız, uzun süreli çapaya sahip olabiliriz. Ancak bunun bile kıyaslama programına karşı iyi çalışan stratejilerin keşfi gibi sorunları olabilir.
Daniel B

5

Kesin olarak, Carlsen 2012 kesin olarak Kasparov 1985'ten daha güçlü bir oyuncu.

Carlsen 2012 zamanda yolculuk yaptıysa 1986'da Kasparov ile bir maç oynadıysa, Carlsen Kasparov'u yenerdi. Bunun sebebi, teknoloji destekli hazırlamanın çok daha verimli olması ve Carlsen'in ayrıca açılış teorisinde de bir üstünlüğü var, çünkü Kasparov'un sahip olmadığı birikmiş bilgiye sahip.

Ancak, Kasparov muhtemelen Carlsen'den daha güçlü bir oyuncu. 2000 yılının Haziran ayında FIDE Top 100 Listesini alırsak (elde edilebilecek en eski olanı), 2849 Elo'lu Kasparov'un 99 takipçi için ortalama 2641 (Elo mesafe 208 puan) ile yarıştığını görüyoruz. Aralık 2012 için bir 2848 Elo ile 99 takipçisi için ortalama 2702 ile rekabet eder (Elo mesafesi 146 sayı).

Elo, puanların farkı ile ilgilidir, mutlak değerlerle değil (Elo için 100 puanlık fark, A oyuncunun B oyuncularından 2 kat daha iyi olduğu anlamına gelir, 200 puan, 4 kat daha iyi anlamına gelir. Kasparov, 99 takipçisinden ortalama 4 kat daha iyiyken, Carlsen muhtemelen 99 takipçisinden ortalama 3 kat daha azdı.

Listeyi alırsak Kasparov, 99 takipçisi ile maksimum mesafeye sahipse ve bu mesafeyi Carlsen için en iyi olanla karşılaştırırsa, hangi oyuncunun gerçekten en iyi olduğunu belirleyebileceğiz, çünkü 99 veri puanıyla, aykırı değerler (başka bir dahi gibi) hafiflet.

Acaba Carlsen veya Kasparov gerçekten kimin daha iyi olduğunu umursuyorlar mı?


3
Kasparov hakkındaki argümanının Carlsen'dan daha güçlü bir oyuncu olduğu konusundaki argümanı, her birini en iyi 99 oyuncuyla karşılaştırmaya dayanıyor. Doğru, Elo derecelendirmelerinin göreceli olduğunu, ancak argümanınızın ikinci, dengesiz bir varsayımda bulunduğunu, yani bir sonraki 99 oyuncunun bugün Kasparov'un ertesi günkü 99 ile aynı ortalama oynama gücüne sahip olduğunu unutmayın. Bu ikinci varsayım doğru değilse, o zaman Kasparov ve Carlsen'ı farklı standartlarla karşılaştırıyorsunuz. Bugün Kasparov'un günküyle aynı olan bir insan havuzu bulmalısın. Bu havuz, muhtemelen süper büyükbabanız değil, ortalama aceminizdir.
Thucydides411

4

Elo'nun sisteminin iki bileşeni vardı. Biri tarihten bağımsızdı, diğeri değildi. Bir olay boyunca veya bir süre boyunca "performans derecesi" yaratma sistemi, bunun tarihsel bir bileşeni yoktu; bu sadece belirtilen süre zarfında bir performans ölçüsüdür. (Bellek bu noktada beni başarısız, ama bence o FIDE için derecelendirme hesaplıyordum bu o metod kullanılmıştır.)

Bununla birlikte, dünyanın dört bir yanındaki federasyonların kullandığı Elo sistemi, tarihsel bir bileşene sahiptir.

Tarihsel temelli sistem deflasyona karşı doğal bir eğilime sahiptir. Sistem kapalı bir sistemdir ve yeni noktalar oluşturulmamıştır. Böylece yeni oyuncular gelir, yerleşik oyunculardan puan toplar ve sonra tüm puanları yükselen oyuncu grubuna geri döndürmeden önce (ölüm veya emeklilikten) çıkar.

Bunu telafi etmek için birçok fikir denenmiştir, bazıları diğerlerinden daha iyi çalışır. Buna ek olarak, 70'lerin başındaki USCF’teki derecelendirmelerin daha hızlı artması için ticari baskı (bunun alaycı bakış açısı, oyuncuların USCF’den bir kitap satın alıp bir turnuvada oynaması, notlarının yükselmesi ve başka bir oyuncu satın almaları yönünde teşvik edilmesi) kitap vb.) ve enflasyon tarihin bazı noktalarında gerçek bir şeydi.

Elo'nun sistemi normal (çan) bir eğriye dayandığından, aşırı ikisini ölçerek enflasyonu denemek ve ölçmek saçmadır; aşırılıkların, gerçek güçteki değişikliklerden veya herhangi bir enflasyondaki değişiklikten ziyade, toplam oyuncu sayısından etkilenmesi daha olasıdır.


1

Benim basit bir fikrim var. 20 yıl önce ölçülen bir satranç bilgisayarı (donanım + yazılım) alacağız, 20 yıl önce de bilinen derecelendirmelere sahip diğer satranç bilgisayarlarıyla oynayalım. Şimdi, bugünün reytingi ile bilinen modern satranç bilgisayarları ile oyun oynayarak derecelendirmesini şimdi (tam olarak aynı donanım artı tam olarak aynı yazılım) ölçelim. İki ölçüm arasındaki fark, son 20 yılda derecelendirme enflasyonu teşkil edecektir. Yeterince basit?


İnsan oyuncuları için değil, bilgisayarların derecelendirme enflasyonunu aşağı yukarı hesaplar . İnsanlar bilgisayarlara karşı kendi aralarından daha farklı oynuyorlar.
Glorfindel

1

Regan-Haworth kağıdının sonuçları, diğer bilgisayar oyunlarının analizinde, daha iyi yazılım ve donanımda ve daha ileri matematiksel yöntemlerle çelişiyor gibi göründüğü gibi, bir tuz taneleri ile alınmalıdır . Örneğin, 1977'deki Karpov'un 2001'de Kasparov'dan ve 2008'de Anand'dan biraz daha düşük bir seviyede oynadığı (2008'de puanların% 47'si olması bekleniyor) ve aslında 2005'te Topalov'dan ve Ponomariov'da daha iyi olduğu sonucuna vardılar (bkz. Tablo 9). 2011. Kasparov-2001, Karpov-1977'den 150 puan daha yüksek olduğundan, puanlama, puanların% 70'ini almasını bekler. Derecelendirme enflasyonu olmadığı iddiasıyla bunun nasıl uzlaştırılacağını anlamıyorum.

Ayrıca, söz konusu örtülü iddiaya aykırı olarak, derecelendirmenin oyuncu havuzundaki genel güçteki değişikliği yansıtacak bir mekanizma bulunmadığına dikkat edin . Deneysel olarak 2600 oyuncunun tipik bir gücünün belirli bir süre içinde değişmediği, ancak ELO sisteminin temel özelliklerinin bir yansıması yerine, sadece genelleştirilemediği bir tesadüf olabilir.

Enflasyonu saf olarak tanımlamayı ve sadece ilk 100 oyuncunun ortalama derecesini ölçmeyi tercih edersek, bu bağlantıdan görülebileceği gibi, 2012 yılına kadar istikrarlı bir enflasyon vardı ve o zamandan beri enflasyon yok - 2700 arasında salınan en yüksek 100 ortalama notu ve son 7 yıldır 2705 .


0

İlk önce ne demek istediğinizi en iyi şekilde tanımlamanız gerekir. Mesela, en iyi zamanınız için en baskın oyuncu olduğunuz anlamına mı geliyor? Yoksa, oynatıcınızın kalitesinin diğer tüm oynatıcılardan üstün olduğu anlamına mı geliyor? Eğer kalite ne demek istiyorsan, kaliteyi nasıl tanımlarsın?

Paul Morphy muhtemelen en baskın oyuncuydu. Örneğin, 12 yaşındayken, 3-0 maçında ilk on oyuncuyu (Lowenthal) mağlup etti. Edo'ya ve satrançmetriye göre, muhtemelen 12 yaşındayken dünyanın en iyi oyuncularından biriydi! 21 yaşında, ilk beşe karşı beş oyuncuya karşı eş zamanlı oynadı (Kuş, Barnes, Boden, De Reviere ve Lowenthal), 3-2 sayı yaptı.

Bununla birlikte, çoğu, baskınlığın kimin en iyi olduğunun zayıf bir göstergesi olduğunu iddia eder. Ne de olsa Morphy ilk modern satranç oyuncusu olarak tanımlandı. Rekabeti sonraki şampiyonlarla karşılaştırıldığında zayıftı.

Kullanılan diğer bir tanım oyun kalitesidir. Ancak, bu tanımın da birçok sorunu var. 1900'lerde yüzlerce insan, Steinitz'in ya da Lasker'ın, açılış ve modern teori hakkındaki bilgisinin onları geçmişten gelen oyunculara göre daha üstün hale getireceğini savunarak tüm zamanların en iyi oyuncuları olduğunu savundu. Bununla birlikte, Louis Paulsen, bu hipoteze karşı çok akıllıca tartışmalarda bulundu. Morphy'nin (fotoğraf hafızasına sahip olan ve 19 yaşına kadar Louisana barkodunu ezberleyen), hayata geri getirilmesi halinde bir yıl içinde açılışları ve modern teoriyi öğreneceğini ve modern satranç oyuncularına karşı başarılı bir şekilde rekabet edebildiğini savundu.

Regan, satranç bilgisayarlarına erişimi olan modern satranç oyuncularının ve modern antrenman yöntemlerinin geçmiş oyunculardan çok bilgisayar gibi oynadıklarını savunuyor. Bu sürpriz değil, çünkü bilgisayarlar tarafından eğitildiler, ancak bu modern oyuncuların gerçekten daha iyi olduğu anlamına mı geliyor? Bu, Fischer ya da Capablanca’nın modern bilgisayarlara erişimi olsaydı ne yapardı?

Ek olarak, Profesör Regan'ın analiz bilgisayarı, sadece birkaç beş yıllık süreyi içerdiği ve analizde yer alan oyunculardan söz edilmediği için beni oldukça eksik bırakıyor. Profesörler Matej Guid ve Ivan Bratko tarafından yapılan daha kapsamlı bir bilgisayar analizi, aslında Capablanca'nın modern oyunculardan çok bir bilgisayar gibi oynadığını buldu! https://en.chessbase.com/post/computers-choose-who-was-the-strongest-player-. Bununla birlikte, Guid ve Bratko, Capablanca'nın daha iyi bir oyuncu olduğu sonucuna varmakta bir sorun olduğunu belirtti. Muhtemelen sakinleştirici tarzı, daha az paramparça olacağı yerlerde daha az pozisyona yol açmıştı. Bu nedenle, yıldırım yüzdesi daha düşüktü ancak rakiplerine daha agresif oyunculardan daha az baskı uyguladı. Aslında, Capablanca çağdaşlarına göre daha yüksek bir çekiliş yüzdesine sahipti.

Buna karşılık, Kasparov gibi yüksek derecede taktiksel bir oyuncu, bilgisayarlarının özellikle hata bulmada yüksek derecede taktiksel pozisyonlara yol açma olasılığı daha yüksek olan oyun tarzı nedeniyle cezalandırılabilir. Aslında, bilgisayarlar taktiksel oyunculara karşı pozisyonel veya özellikle taktiklerin daha küçük bir rol oynadığı kapalı pozisyonlu oyunculardan daha iyi performans gösterme eğilimindedir. Bu nedenle, algılanan hataların sayısına dayanan bilgisayar analizinin kapalı pozisyon oyuncularını tercih etmesi muhtemeldir. Buna karşılık, Kasparov gibi agresif bir oyuncu diğer oyunculardan daha fazla taktiksel hata yapabilir çünkü çok karmaşık pozisyonlar aradı, ancak rakipleri daha da fazlasını yapacak!

Bu nedenle, sadece 100 hamle başına hata yüzdesini hesaplamayan bir hata ağırlıklandırma sistemine ihtiyacınız vardır (bu temelde Regan ve Guid ve Bratko'nun yaptığı). Bunun yerine, hata oranınız ile rakiplerin hata oranınız arasındaki farkı hesaplamanız gerekir. Sonuçta, satranç rakibinizden daha az hata yapmakla ilgilidir. Daha fazla hata yaratması için rakibe baskı yapmak iyi bir kalite olarak kabul edilir.

Ancak, revize edilmiş hesaplama yöntemim, bu bilgisayar analizlerinin rakibinizin gücünü dikkate almadığı başka bir soruna yol açıyor. Örneğin, Larson belki de çok yüksek bir satranç puanı derecesi kazanmıştır, çünkü agresif (iyimser) tarzı düşük dereceli oyunculara üstünlük sağlamıştır. Ancak, eşit derecedeki oyunculara karşı oyunlarda sorun yaşadı. Diğer oyuncular sık ​​sık diğer yüksek puanlı oyunculara karşı oynadığı oyunda çok iyimser olduğunu savundular. Bu sorunu önlemek için, bilgisayar hata kontrolü analizi yalnızca güçlü rakiplere karşı olan oyunlara bakmalıdır (ör. İlk 10, 20 veya 100 oyuncu). Ancak, bu hala zamanla güçlü rekabetin artması sorununu ele almamaktadır.

Oyun kalitesini arttırma sorunu Chessmetrics gibi geri oylamalara bakarak düzeltilebilir mi? Aslında, Edo'nun geri bildirim sistemini http://www.edochess.ca/ tercih ediyorum.çünkü istatistiksel varsayımlar daha iyidir. Örneğin, Chessmetrics bir oyuncunun en yüksek derecesinin 40 yaşındayken gerçekleştiğini varsayar. Bunun herkes için geçerli olduğunu ve pek çok oyuncunun bu yaştan önce satrançtan vazgeçtiğinden veya oyunlarının birkaç yıl boyunca sadece birinci sınıf olduğundan şüpheliyim (örneğin, Harry Nelson Pillsbury, Charousek, Fischer, Morphy, Rubinstein, Fine). Ne yazık ki Edo yalnızca 1811'den 1920'ye kadar olan oyuncuları karşılaştırıyor. Edo'ya göre, Capablanca ve Morphy bu dönemdeki en yüksek iki oyuncu olarak derecelendirildi. Chessmetrics'e göre, Capablanca ve Lasker en iyi iki oyuncuydu (Morphy, ilk 10’u bile yapmıyor.) Duras, Teichmann, Neumann, Vidmar, Gunsberg, Rubinstein ve Burn Morphy'den daha iyiydi.

Yenilik, zaman içinde belirli bir satranç çağında egemenliğe yol açarsa ve rekabet gücü arttıkça zamanla yenilik yapmak zorlaşırsa, ilk 30 oyuncunun maç kayıtlarına bakarak gerçek egemenliği ölçemezsiniz. Yani, Magnus Carlsen'in rakiplerine hakim şampiyonlardan daha üstün gelmesi çok daha zor. Geriye dönük puanlara bakarsanız, en iyi oyuncuların puanları arasındaki farkın büyüklüğünün zaman içinde azaldığını görmek kolaydır. Bu yüzden, zaman içinde egemenlik zorluğunu dikkate alan Edo tipi bir istatistiksel modelin daha önce denenmiş olandan daha iyi bir yaklaşım olacağına inanıyorum. Örneğin, Fischer dönemi için oldukça baskın bir oyuncuydu çünkü üst üste 20 maç kazandı. Kasparov veya Karpov bu galibiyet ile karşılaştırıldığında en uzun galibiyet çizgisiydi? Seirawan'a göre, en uzun galibiyet serileri yedi maçtı.

Tabii ki, kazanan çizgilerin iyi bir ölçü olduğunu iddia etmiyorum. Sadece derecelendirmelere göre veya diğer üst düzey oyunculara karşı bireysel maçlarda hakimiyetin, mevcut geri derecelendirme sistemlerinde açıkça dikkate alınmayan yararlı bir ölçüm olduğunu savunuyorum.

Bu yüzden hayalimdeki analiz, her beş yıllık dönemden sadece en iyi 20 veya 30 oyuncuyu içeren bir veritabanına dayanan Edo derecelendirmelerini kullanmanızdır. Bu analizi tamamladıktan sonra sonuçlarınızı bir baskınlık faktörü ile yeniden değerlendiriyorsunuz. Diğer bir deyişle, daha yeni oyuncular zamanla baskınlık zorluğu yörüngesini (zamanla ilk 30 oyuncu arasındaki puan farkındaki düşüş) tahmin ederek hesaplanan bir bonus faktör elde eder. Ardından, oyuncuların hesapladıkları satranç bilgisayarlarının yüzdelerini, rakiplerini eksi karmaları yaptıkları hesaplayarak karşılaştırarak bu analizi doğrularsınız. Bu yukarıdakileri geçersiz kılarsa, baskınlık faktörüm dikkate alındıktan sonra bile en yeni oyuncuların daha doğru oynama eğilimi olduğunu gösterirse, bilgisayar hata kontrolü analizine göre yeniden ağırlıklandırmanız gerekir.

Bu benim gözetimime dayanarak tahminim, Kasparov'un çok iyi olacağı yönünde. Ama bu sadece bir tahmin.


2
Bu soruya cevap gibi görünmüyor.
Herb Wolfe

Demek istediğim, satranç kabiliyetini tanımlayana kadar derecelendirme enflasyonu hakkındaki soruyu cevaplayamazsınız. Derecelendirme enflasyonu için ayarlama yapmaya çalışan ya da satranç şampiyonu yeteneklerinin zaman içinde ne kadar değişkenlik gösterdiğini belirlemeye yönelik araştırmaları inceledim (bu, derecelendirme enflasyonunun ne anlama geldiğidir). Sorunun, araştırmacıların satranç kabiliyetinin ne olduğuna inandıklarına dair varsayımlarını gerçekten tanımlamadıklarına inanıyorum. Benim düşünceme göre, satranç kabiliyetini tanımlamadan, satranç kabiliyetinin zamanla değişip değişmediği veya enflasyonu derecelendirme hakkında bir şey söyleyip söylemediği sorusuna cevap veremezsiniz.
ToddM
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.