P-değerleri üzerine bir dizi blog yazısı yazmaya çalışıyorum ve her şeyin başladığı yere geri dönmenin ilginç olacağını düşündüm - ki bu Pearson'un 1900 makalesi gibi görünüyor. Bu makaleye aşina iseniz, bunun uygunluk testini kapsadığını hatırlarsınız.

Pearson, p-değerleri söz konusu olduğunda dili ile biraz gevşek. P değerini nasıl yorumlayacağını tarif ederken tekrar tekrar "oranları" kullanır. 12 zar tekrar rulo sonuçları hakkında konuşurken Örneğin, s.168 üzerine, o "diyor ... P = 0,0000016 hangi potansiyel müşteriler bize veya oran rastgele üzerinde sapmanın böyle bir sisteme karşı 1'e 62,499 olan Bu tür olasılıklarla zarların daha yüksek noktalara karşı önyargı sergilediği sonucuna varmak mantıklı olacaktır. ”

Bu makalede, Merriman'ın en küçük kareleri üzerine bir 1891 kitabı da dahil olmak üzere daha önceki çalışmaları anlatıyor.

Ancak Pearson, p-değerleri için hesaplamaları düzenler (Ki-kare uygunluk testinin iyiliği).

Pearson, p-değerlerini ilk düşünen kişi miydi? P-değerleri araştırdığımda Fisher'dan bahsedilir - çalışmaları 1920'lerdedir.

Düzenlendi: ve Laplace'den bahsettiğin için teşekkürler - boş hipotezi ele almadı gibi görünüyordu (Pearson, 1900 yılında bu terimi hiç kullanmamış olmasına rağmen, dolaylı olarak yapıyor gibi görünüyor). Pearson uygunluk testinin iyiliğine baktı: sayımların tarafsız bir süreçten kaynaklandığını varsayarsak, gözlenen sayımların (ve daha fazla sapma sayma) varsayılan dağıtımdan kaynaklanma olasılığı nedir?

Olasılıklara / olasılıklara ilişkin muamelesi (olasılıkları odds'a dönüştürür), sıfır hipotezi üzerine açık bir fikirle çalıştığını ileri sürmektedir. Önemli olarak, x ^ 2 değerinden kaynaklanan olasılığın "hesaplanan p-değerleri açısından şimdi tanıdığımız bir dilden -" şu anki değerden daha olası veya daha fazla olmayan bir sapma sistemine karşı "ihtimalini gösterdiğini de belirtiyor.

Arbuthnot o kadar ileri gitti mi?

Yorumlarınızı cevaplar olarak koymaktan çekinmeyin. Bir tartışma görmek güzel olurdu.

Jacob Bernoulli (~ 1700) - John Arbuthnot (1710) - Nicolaus Bernoulli (1710'ler) - Abraham de Moivre (1718)

Arbuthnot ^1'in durumu, ^{aşağıdaki nottaki açıklamalara bakınız} , ayrıca, Moivre'nin Şans Doktrini'nde (1718) 251-254 .

De Moivre iki adım attı / ilerleme kaydetti:

1. Bir Bernoulli dağılımının normal yaklaşımı, sonuçların belirli bir aralık içinde veya dışında olma ihtimalini kolayca hesaplamaya yardımcı olur. Arbuthnot'un davasıyla ilgili örnekten önceki bölümde de Moivre, Bernoulli dağılımı için yaklaşık (Gaussian / normal dağılım olarak adlandırılan) yaklaşımı hakkında yazıyor. Bu yaklaşım, kolayca bir p-değerini (Arbuthnot'un yapamadığı) hesaplamayı sağlar.

2. Arbuthnot argümanının genelleştirilmesi. “Bu akıl yürütme yönteminin, başka ilginç sorularda da faydalı bir şekilde uygulanabileceğini” belirtmektedir. (tartışmanın genel uygulanabilirliğini görmek için de Moivre'ye kısmi kredi verebilir)

• De Moivre'ye göre, Jacob Bernoulli, Ars Conjectandi'sinde bu sorunu yazdı . De Moivre bunu İngilizce olarak adlandırıyor: “Deneylerin tekrarlanmasıyla bir olayın olasılığının süresiz olarak verilen bir olasılığa yaklaşabileceği sınırları belirlemek”, ancak Bernouilli'nin orijinal metni Latincedir. Bernoulli'nin p-değeri gibi bir kavram hakkında mı yoksa büyük sayılar yasası gibi bir kavram hakkında mı yazdığını anlayabilecek kadar Latince bilmiyorum. Bernouilli'nin 20 yıl boyunca bu fikirlere sahip olduğunu iddia ettiği iddiası ilginçtir (ve ayrıca 1713 eseri ölümünden sonra 1705 yayınlanmıştır, bu nedenle @Glen_b tarafından Arbuthnot'un yorumlarında belirtilen 1710 tarihinden önce görünmektedir).

• De Moivre için bir ilham kaynağı olan Nicolaus Bernouilli, 1712 / 1713'te doğmuş olan erkek çocuk sayısının 7037'den az olmadığı ve 14000'in doğumlu çocuk sayısının 7363'ten daha büyük olmadığı ihtimalini hesaplayan erkek çocuk için olasılık 18 / 35'tir.

  (Bu problemin sayıları Londra için 80 yıllık istatistiklere dayanıyordu. Bunu, Montmort's Essay d'analyse sur les jeux de hazard'ın ikinci baskısında (1713) yayınlanan Pierre Raymond de Montmort'a mektuplarla yazdı .)

  Tam olarak takip etmediğim hesaplamalar, 43.58 - 1 arasında bir olasılık ortaya koydu. (Bir binomun tüm terimler olasılığını toplayan bir bilgisayar kullanarak 7037'den 7363'e kadar, 175: 1 'i alıyorum; )

^{1: John Arbuthnot, bu dava hakkında , her iki cinsiyetin doğumlarında gözlemlenen sürekli düzenlilikten alınan, ilahi yararlanma argümanı olarak yazdı (1710).}

^{Arbuthnot: O zaman A'nın şansı, sınırsız küçük bir Miktarın yanında olacak, en azından tahsis edilebilir herhangi bir Kesir'den az olacaktır. O andan itibaren, Sanat olduğunu yönetir, Şans değil.}

StackExchangeStrike tarafından yazıldı.

Resmî olarak geliştirilen istatistikler için ~ 1600-1650 tarihini destekleyen ve olasılıkları basitçe kullanmak için çok daha önce destekleyen üç destek bağlantım / tartışmam var .

Hipotez testini temeli olarak kabul ediyorsanız , olasılığı önceden tahmin ediyorsanız , Çevrimiçi Etymology Sözlüğü şunları sunar:

" hipotez (n.)

1590'lar, "belirli bir ifade"; Orta Fransız hipotezinden ve doğrudan Latince hipotezinden, Yunan hipotezinden "temel, temel, vakıf," bu nedenle uzun süreli kullanımda "argümanının temeli olan" bir varsayım olarak kabul edilmiş ve kabul edilmiş, öncül olarak kullanılmış ", 1650'ler, varsayım, "kelimenin tam anlamıyla" altında bir yerleştirme, "hipo" dan "altında" (bkz. hipo) + tezi "yerleştirme, önerme" (PIE kökünün * düzeltilmiş biçimine koymak, koymak). Mantıkta bir terim; daha dar bilimsel duyu 1640'lardan geliyor.

Vikisözlük teklifleri:

"1596'dan beri, Orta Fransız hipotezinden, Geç Latin hipotezinden, Eski Yunanca ὑπόθεσις'dan (hupóthesis," temel, bir argüman temeli, varsayım "), tam anlamıyla“ altına girme ”, ὑποτίθημι (hupotíthēmi, önce, önermek ”), ὑπό (hupó,“ aşağıda ”) dan + τίθημι (títhēmi,“ koydum, yerleştir ”).

İsim hipotezi (çoğul hipotezler)

(bilimler) Gevşek bir şekilde kullanıldığında, daha fazla gözlem, araştırma ve / veya deneme ile test edilebilecek bir gözlem, fenomen veya bilimsel sorunu açıklayan geçici bir varsayım. Bilimsel bir sanat terimi olarak ekteki alıntıya bakınız. Teori ve orada verilen alıntı ile karşılaştırın. alıntılar ▲

• 2005, Ronald H. Pine, http://www.csicop.org/specialarticles/show/intelligent_design_or_no_model_creationism , 15 Ekim 2005:

  Okulda çok fazla kişiye bir bilim insanının bir şeyleri anlamaya çalışarak ilk önce bir "hipotez" (bir tahmin veya tahmin - mutlaka "eğitimli" bir tahmin bile değil) bulacağı öğretildi. ... [Ama] "hipotez" kelimesini bilimde, sadece bazı fenomenlerin neden var olduğu ya da oluştuğu konusunda mantıklı, bilinçli ve bilgili bir açıklama için kullanmalısınız. Bir hipotez henüz denenmemiş olabilir; zaten test edilmiş olabilir; tahrif edilmiş olabilir; test edilmesine rağmen henüz tahrif edilmemiş olabilir; veya sayısız kere sahtekarlığa uğramadan defalarca test edilmiş olabilir; ve bilimsel topluluk tarafından evrensel olarak kabul edilebilir. Bilimde kullanıldığı gibi "hipotez" kelimesinin anlaşılması, Occam'ın temelini oluşturan prensiplerin anlaşılmasını gerektirir. Raz Razor ve Karl Popper’in “yanlışlanabilirlik” ile ilgili düşünceleri - saygın bir bilimsel hipotezin, prensip olarak, “kanıtlanmış” (“eğer gerçekten yanlış olmuşsa”) “kanıtlanmış” olması gerektiği düşüncesi dahil, hiçbirinin doğru olduğu kanıtlanamaz. Bilimde kullanıldığı şekliyle "hipotez" kelimesinin doğru anlaşılmasının bir yönü, kayda değer derecede küçük bir hipotez yüzdesinin potansiyel olarak bir teori haline gelebilmesidir. "

Açık olasılık ve istatistik Vikipedi teklifler:

" Veri toplama

Örnekleme

Tam nüfus sayımı verileri toplanamadığında, istatistikçiler belirli deney tasarımları ve anket örnekleri geliştirerek örnek veri toplarlar. İstatistiğin kendisi de istatistiksel modeller aracılığıyla tahmin ve tahmin için araçlar sağlar. Örneklenen verilere dayanan çıkarımlar yapma fikri, 1600'lerin ortalarında, nüfus tahminleri ve hayat sigortası öncüleri geliştirme ile ilgili olarak başladı . (Referans: Wolfram, Stephen (2002). Yeni Bir Bilim Türü. Wolfram Media, Inc. p. 1082. ISBN 1-57955-008-8).

Bir numuneyi tüm popülasyon için bir rehber olarak kullanmak için, toplam popülasyonu gerçekten temsil etmesi önemlidir. Temsilci örneklemesi, çıkarımların ve sonuçların, örneklemin bir bütün olarak güvenli bir şekilde popülasyona yayılabileceğini garanti eder. Büyük bir problem, seçilen numunenin gerçekten temsili olup olmadığını belirlemede yatmaktadır. İstatistikler, numune ve veri toplama prosedürlerindeki önyargıları tahmin etmek ve düzeltmek için yöntemler sunar. Bir çalışmanın başında bu sorunları azaltabilecek, popülasyon hakkındaki gerçekleri ayırt etme kabiliyetini güçlendirecek deneyler için deneysel tasarım yöntemleri de vardır.

Örnekleme teorisi, olasılık teorisinin matematiksel disiplininin bir parçasıdır. Olasılık, matematiksel istatistiklerde, örnek istatistiklerin örnekleme dağılımlarını ve daha genel olarak istatistiksel prosedürlerin özelliklerini incelemek için kullanılır. Herhangi bir istatistiksel yöntemin kullanımı, söz konusu sistem veya popülasyon yöntemin varsayımlarını sağladığında geçerlidir. Klasik olasılık teorisi ile örnekleme teorisi arasındaki bakış açısı arasındaki fark, kabaca, olasılık teorisinin örneklemlerle ilgili olasılıkları ortaya çıkarmak için toplam popülasyonun verilen parametrelerinden başlamasıdır. Bununla birlikte, istatistiksel çıkarım ters yönde hareket eder - örneklerden daha büyük veya toplam popülasyonun parametrelerine indüktif olarak çıkar .

"Wolfram, Stephen (2002). Yeni Bir Bilim Türü. Wolfram Media, Inc. s. 1082." 'den:

" İstatistiksel Analiz

• Tarihçe. Şans oyunları için bazı ihtimal hesaplamaları eskiden yapılmıştı. 1200'lerin başından itibaren , 1600'lerin ortalarında ve 1700'lerin başında sistematik olarak doğru yöntemler geliştirilerek , mistikler ve matematikçiler tarafından olasılıkların birleştirici olasılık sayımına dayanan daha ayrıntılı sonuçlar elde edildi.. Örneklenen verilerden çıkarım yapma fikri, 1600'lerin ortalarında, nüfusların tahmin edilmesi ve hayat sigortası öncüllerinin geliştirilmesi ile bağlantılı olarak ortaya çıkmıştır. Rastgele gözlem hataları olarak kabul edilenleri düzeltmek için ortalama alma yöntemi, özellikle astronomide 1700'lerin ortalarında kullanılmaya başlanırken, en küçük kareler uydurma ve olasılık dağılımları kavramı 1800'lerde ortaya çıkmıştır. 1800'lerin ortalarında biyoloji alanında bireyler arasındaki rastgele varyasyonlar kullanılmaya başlanmış ve şu anda istatistiksel analiz için kullanılan klasik yöntemlerin çoğu, tarımsal araştırmalar bağlamında 1800'lerin sonlarında ve 1900'lerin başlarında geliştirilmiştir. Fizikte temelde olasılıklı modeller, 1800'lerin sonlarında istatistiksel mekanik ve 1900'lerin başlarında kuantum mekaniğinin tanıtılmasında merkezi olmuştur.

Diğer kaynaklar:

• Concato ve Hartigan'ın " P değerleri: öneriden batıl inancına " makalesi şöyle bir açıklamayı içeriyor:

“Bu rapor, temelde matematiksel olmayan terimlerle, p değerini tanımlar, p değeri yaklaşımı için hipotez testinin tarihsel kökenlerini özetler, p research0.05'in klinik araştırmalar bağlamında çeşitli uygulamalarını açıklar ve p≤'nin ortaya çıkışını tartışır. 5 × 10−8 ve genomik istatistiksel analizler için eşik değer olarak diğer değerler. "

"Tarihsel kökenler" bölümü:

$^{[1]}$

[1]. Arbuthnott J. Her iki cinsiyetin doğuşunda gözlemlenen sürekli düzenlilikten alınan ilahi Providence için bir argüman. Phil Trans 1710; 27: 186-90. doi: 10.1098 / rstl.1710.0011 1 Ocak 1710'da yayınlandı

• SE sitemizde Fischer yöntemi ile ilgili olarak Neyman-Pearson-Wald vs. ile ilgili biraz daha tartışacağız: Fisher ve Neyman-Pearson arasındaki "karma" istatistiksel testlere gerçekten mi "uyumsuz bir karmakarışık" mı? .

• Epidemiyoloji ve Biyoistatistik Dergisi'nde bir makale (2001) Cilt. 6, No. 2, 193-204, Senn, başlıklı: "Görüş: P-değerleri için iki şerefe?" Bunu giriş bölümünde açıklar:

"P-değerleri uzun zamandır birbiriyle bağlantılı tıp ve istatistiklere sahip. John Arbuthnot ve Daniel Bernoulli, matematikçi olmanın yanı sıra hem doktordu hem de doğumda cinsiyet oranları analizlerini (Arbuthnot) ve gezegenlerin yörüngelerinin eğimini (Bernoulli) iki tane sağlamıştır. Önemlilik testlerinin en ünlü erken örnekleri Eğer tıp dergilerindeki yaygınlıkları yargılandıkları standart ise, P-değerleri tıp mesleğinde de son derece popülerdir. istatistikçilerden düzenli eleştiri ve sadece isteksizce savunuldu Örneğin, bir düzine yıl önce, önde gelen biyoistatistler, geç Martin Gardner ve Doug Altman5 - 7 8 9 10 , $^{1–4}$$^{5–7}$$^8$$^9$diğer meslektaşlarla birlikte, British Medical Journal'ı P-değerlerine daha az vurgu ve güven aralıkları konusunda daha fazla vurgu yapmaya ikna etmek için başarılı bir kampanya başlattı. Epidemiyoloji dergisi onları tamamen yasakladı. Son zamanlarda, popüler basın bile saldırılar geldi . Bu nedenle P-değerleri Epidemiyoloji ve Biyoistatistik Dergisi için uygun bir konu gibi görünmektedir. Bu makale, neyin savunulması gerektiğini söyleyenlerin kişisel görüşünü temsil ediyor.$^{10,11}$

Sadece sınırlı bir P-değeri savunması sunacağım. ... ".

Referanslar

1 Hald A. A history of probability and statistics and their appli- cations before 1750. New York: Wiley, 1990.
2 Shoesmith E, Arbuthnot, J. In: Johnson, NL, Kotz, S, editors. Leading personalities in statistical sciences. New York: Wiley, 1997:7–10. 
3 Bernoulli, D. Sur le probleme propose pour la seconde fois par l’Acadamie Royale des Sciences de Paris. In: Speiser D,
editor. Die Werke von Daniel Bernoulli, Band 3, Basle:
Birkhauser Verlag, 1987:303–26. 
4 Arbuthnot J. An argument for divine providence taken from
the constant regularity observ’d in the births of both sexes. Phil Trans R Soc 1710;27:186–90. 
5 Freeman P. The role of P-values in analysing trial results. Statist Med 1993;12:1443 –52. 
6 Anscombe FJ. The summarizing of clinical experiments by
significance levels. Statist Med 1990;9:703 –8.
7 Royall R. The effect of sample size on the meaning of signifi- cance tests. Am Stat 1986;40:313 –5.
8 Senn SJ. Discussion of Freeman’s paper. Statist Med
1993;12:1453 –8.
9 Gardner M, Altman D. Statistics with confidence. Br Med J
1989.
10 Matthews R. The great health hoax. Sunday Telegraph 13
September, 1998. 
11 Matthews R. Flukes and flaws. Prospect 20–24, November 1998.

@Martijn Weterings : “Pearson 1900’de canlanma mıydı yoksa bu (sıkça) kavramı daha önce ortaya çıktı mı? daha fazla kaynak var mı?

Amerikan İstatistik Kurumu'nun, “ Tarihin Zaman Çizelgesi” başlıklı bir posteri olan ve (aşağıda kısmen çoğaltılmış olan) bir İstatistikleri Tarihçesi üzerine bir web sayfası vardır.

• MS 2: Han Hanedanlığı döneminde tamamlanan bir nüfus sayımı kanıtı varlığını sürdürmektedir.

• 1500'ler: Girolamo Cardano, farklı zar rulolarının olasılıklarını hesaplar.

• 1600'ler: Edmund Halley ölüm oranını yaş ile ilişkilendirir ve ölüm tabloları geliştirir.

• 1700'ler: Thomas Jefferson ilk ABD Sayımını yönetti.

• 1839: Amerikan İstatistik Kurumu kuruldu.

• 1894: “Standart sapma” terimi Karl Pearson tarafından tanıtıldı.

• 1935: RA Fisher, Deneme Tasarımını yayınladı.

Wikipedia'nın web sitesinde " Büyük sayılar yasası " sayfasının "Tarihçe" bölümünde açıklanmaktadır :

"İtalyan matematikçi Gerolamo Cardano (1501–1576)ampirik istatistiklerin doğruluğunun, deneme sayıları ile iyileşme eğiliminde olduğuna dair kanıt olmadan belirtildi. Bu daha sonra büyük sayılar yasası olarak resmileştirildi. LLN'nin özel bir formu (ikili rasgele değişken için) önce Jacob Bernoulli tarafından kanıtlandı. 1713'te Ars Conjectandi'sinde (Conjecturing Sanatı) yayınlanan 1713'te yeterince titiz matematiksel bir kanıt geliştirmesi 20 yıldan fazla sürdü. Buna "Altın Teoremi" adını verdi, ancak genel olarak "Bernoulli Teoremi" olarak bilinirdi. Jacob Bernoulli'nin yeğeni Daniel Bernoulli'nin ismini verdiği Bernoulli prensibi ile karıştırılmamalıdır. 1837'de, SD Poisson ayrıca "la loi des grands nombres" ("Büyük sayılar yasası") adı altında tanımladı. Bundan sonra, her iki isim altında da biliniyordu, ama "

Bernoulli ve Poisson çabalarını yayınladıktan sonra, diğer matematikçiler de Chebyshev, Markov, Borel, Cantelli ve Kolmogorov ve Khinchin de dahil olmak üzere yasanın iyileştirilmesine katkıda bulundu. "

Soru: "Pearson, p-değerlerini ilk düşünen kişi miydi?"

Hayır muhtemelen değil.

"In ASA p-Değerleri Tablosuna: Bağlam, Süreç ve Amaç " Wasserstein ve Lazar tarafından (9 Haziran 2016), DOI: 10,1080 / 00031305.2016.1154108 bir var resmi hangi hayır (p-değerinin tanımı beyanı p-değerlerini kullanan veya reddeden tüm disiplinler tarafından kabul edilmeyen şüphe:

" P değeri nedir?

Gayri resmi olarak, bir p-değeri, belirli bir istatistiksel modelin altındaki verilerin istatistiksel bir özetinin (örneğin, karşılaştırılan iki grup arasındaki örnek ortalama farkının) gözlemlenen değerine eşit veya daha fazla olması olasılığıdır.

3. İlkeler

...

6. Kendi başına, bir p değeri bir model veya hipotez ile ilgili iyi bir kanıt ölçüsü sağlamaz.

Araştırmacılar bağlam veya başka bir kanıt olmadan bir p değerinin sınırlı bilgi sağladığını kabul etmelidir. Örneğin, kendi başına alınan 0,05'e yakın bir p değeri, boş hipoteze karşı yalnızca zayıf kanıtlar sunar. Aynı şekilde, göreceli olarak büyük bir p değeri, sıfır hipotezi lehine kanıt anlamına gelmez; diğer birçok hipotez, gözlemlenen verilerle aynı veya daha fazla tutarlı olabilir. Bu nedenlerden dolayı, diğer analizler uygun ve uygulanabilir olduğunda veri analizi bir p-değerinin hesaplanması ile bitmemelidir. "

Boş hipotezin reddedilmesi muhtemelen Pearson'dan çok önce meydana geldi.

Wikipedia'nın boş hipotez testi durumlarının erken örnekleri hakkındaki sayfasında :

Erken boş hipotez seçenekleri

Paul Meehl, boş hipotez seçiminin epistemolojik öneminin büyük ölçüde kabul edilmediğini savundu. Boş hipotez teori ile tahmin edildiğinde, daha kesin bir deney, temel teori için daha ciddi bir test olacaktır. Boş hipotez varsayılan olarak "farksız" veya "etkisiz" olarak varsayılan olduğunda, daha kesin bir deney, deneyi gerçekleştirmeyi motive eden teori için daha az ciddi bir testtir. Bu nedenle, ikinci uygulamanın kökenlerinin incelenmesi faydalı olabilir:

1778: Pierre Laplace, birden fazla Avrupa kentindeki kız ve erkek çocukların doğum oranlarını karşılaştırır. “Bu olasılıkların neredeyse aynı oranda olduğu sonucuna varmak doğal” dedi. Bu nedenle Laplace'nin erkek ve kız çocuklarının doğum oranlarının "geleneksel akıl" ile eşit olması gerektiği yönündeki hipotezi.

1900: Karl Pearson “belirli bir frekans eğrisi formunun belirli bir popülasyondan alınan örnekleri etkili bir şekilde tanımlayıp tanımlamayacağını” belirlemek için ki-kare testi geliştirdi. Dolayısıyla, boş hipotez, bir popülasyonun teori tarafından öngörülen bazı dağılımlarla tanımlandığı şeklindedir. Örnek olarak Weldon zar atış verilerindeki beş ve altı sayıyı kullanır.

1904: Karl Pearson, sonuçların belirli bir kategorik faktörden bağımsız olup olmadığını belirlemek için "acil durum" kavramını geliştirir. Buradaki boş hipotez, varsayılan olarak iki şeyin ilişkisiz olduğu şeklindedir (örneğin, yara izi oluşumu ve çiçek hastalığı ölüm oranları). Bu davadaki boş hipotez artık teori ya da geleneksel bilgelikle tahmin edilmekle kalmaz, bunun yerine Fisher ve diğerlerinin "ters olasılıklar" kullanımını reddetmesine neden olan kayıtsızlık ilkesidir.

Herhangi bir kimsenin boş bir hipotezi reddettiği için itibar kazanmasına rağmen, onlara " zayıf matematiksel duruşa dayanan şüpheciliği keşfetme " etiketinin makul olduğunu sanmıyorum .