11 Tahmin Edicilerin Özellikleri
Momentler yöntemi ve en çok olabilirlik yöntemi bize tahmin edici üretmeyi öğretti. Ama aynı parametre için genellikle birden çok aday vardır. Örneğin kitle ortalaması \(\mu\) için örneklem ortalaması \(\bar X\), örneklem medyanı, ilk ve son gözlemin ortalaması \((X_1 + X_n)/2\), hatta yalnız ilk gözlem \(X_1\) akla gelebilir. Hangisini kullanmalıyız? Bu bölümde bir tahmin edicinin “iyi” olmasını ölçen dört ölçütü tanıyacağız: yansızlık, hata kareler ortalaması, etkinlik ve tutarlılık.
Bir istatistik olan \(T(X_1, X_2, \ldots, X_n)\) tahmin edicisini kısaca \(T\) ile göstereceğiz. \(T\) bir rastgele değişkendir: örneklem değiştikçe değeri de değişir. Örneklem gözlendikten sonra \(T\)’nin aldığı sayı ise bir tahmindir. Bu yüzden büyük harfli \(\bar X\) tahmin edicidir, küçük harfli \(\bar x\) onun gözlenen değeri, yani tahmindir (Tanım 9.2). Bir tahmin edicinin iyiliğini tek bir tahmine bakarak değil, \(T\)’nin dağılımına bakarak değerlendiririz. Tahmin edilen parametre \(\theta\), parametre kümesi \(\Theta\) ile gösterilir (Tanım 9.1).
11.1 Yansızlık
İlk istek doğaldır: tahmin edici ortalamada hedefi tutturmalı, sistematik olarak ne yukarıda ne aşağıda kalmalıdır.
Tanım 11.1 (Yansız Tahmin Edici) \(\theta \in \Theta\) kitle parametresi için önerilen bir \(T\) tahmin edicisi her \(\theta \in \Theta\) için \[ E(T) = \theta \] özelliğine sahipse \(T\)’ye \(\theta\) parametresinin yansız tahmin edicisi denir.
Tanım 11.2 (Bir Tahmin Edicinin Yanlılığı) \(\theta\) parametresi için önerilen bir \(T\) tahmin edicisinin yanlılığı \[ \text{Yanlılık}(T, \theta) = E(T) - \theta \] sayısıdır. Yanlılığı sıfırdan farklı olan tahmin ediciye yanlı tahmin edici denir.
Yani \(T\)’yi çok sayıda örneklem için hesaplayıp ortalamasını alsaydık, yansız bir tahmin edicide bu ortalama tam \(\theta\)’ya denk gelirdi. Yanlılık, \(T\)’nin merkezinin hedeften ne kadar kaydığını ölçer: pozitifse \(T\) ortalamada \(\theta\)’yı fazla, negatifse eksik tahmin eder. \(T\) ancak ve ancak yanlılığı her \(\theta \in \Theta\) için sıfırsa yansızdır.
İki noktaya dikkat edelim. Birincisi, \(E(T) = \theta\) eşitliği her \(\theta \in \Theta\) için sağlanmalıdır; yalnız bir parametre değerinde tutan eşitlik yetmez. İkincisi, yansızlık tahmin edilen niceliğe göre söylenir. Örneğin \(E(T) = \alpha\) ise \(T\), \(\alpha\) parametresinin yansız tahmin edicisidir. \(E(T) = 1/\alpha\) ise \(T\) bu kez \(1/\alpha\)’nın yansız tahmin edicisidir, ama \(\alpha\)’nın yanlı bir tahmin edicisidir.
Örnek 11.1 (Örneklem Ortalamasının Yansızlığı) \((X_1, X_2, \ldots, X_n)\), ortalaması \(\mu\) olan bir kitleden alınmış bir örneklem olsun. \(\bar X\)’in \(\mu\) için yansız olduğunu gösteriniz.
Çözüm
Örneklemdeki her \(X_i\) kitle ile aynı dağılıma sahip olduğundan \(E(X_i) = \mu\)’dür. Beklenen değerin doğrusallığından \[ E(\bar X) = E\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n}\sum_{i=1}^n E(X_i) = \frac{1}{n}\sum_{i=1}^n \mu = \frac{1}{n}\cdot n\mu = \mu . \] Bu eşitlik her \(\mu\) için doğrudur; o hâlde \(\bar X\), \(\mu\)’nün yansız tahmin edicisidir. Bu, Teorem 7.1 içindeki ilk eşitliğin tahmin dilindeki karşılığıdır.
\(\blacksquare\)
Örneklem varyansını \(n\) yerine \(n - 1\)’e bölerek tanımlamıştık (Tanım 7.7): \[ S^2 = \frac{1}{n-1}\sum_{i=1}^n \left(X_i - \bar X\right)^2 . \] İki birimlik bir kitlede bu bölmenin kitle varyansını ortalamada tam verdiğini Örnek 7.10 içinde saymıştık. Aşağıdaki teorem bunun her kitle için doğru olduğunu söyler.
Teorem 11.1 (Örneklem Varyansının Yansızlığı) \((X_1, X_2, \ldots, X_n)\), \(n \ge 2\), ortalaması \(\mu\) ve varyansı \(\sigma^2 < \infty\) olan bir kitleden alınmış bir rastgele örneklem olsun. Bu durumda \[ E(S^2) = \sigma^2 , \] yani \(S^2\), \(\sigma^2\) kitle varyansının yansız tahmin edicisidir.
İspat
Kareler toplamını önce daha kullanışlı bir biçime getirelim. Her terimde \(\mu\) ekleyip çıkaralım: \[ X_i - \bar X = \left(X_i - \mu\right) + \left(\mu - \bar X\right). \] Karesini alıp \(i\) üzerinden toplarsak \[ \begin{aligned} \sum_{i=1}^n \left(X_i - \bar X\right)^2 &= \sum_{i=1}^n \left(X_i - \mu\right)^2 + 2\left(\mu - \bar X\right)\sum_{i=1}^n \left(X_i - \mu\right) \\[1mm] &\quad + n\left(\mu - \bar X\right)^2 . \end{aligned} \] Ortadaki terimde \(\mu - \bar X\) ifadesi \(i\)’ye bağlı olmadığı için toplamın dışına çıktı. Ayrıca \[ \sum_{i=1}^n \left(X_i - \mu\right) = \sum_{i=1}^n X_i - n\mu = n\bar X - n\mu = -n\left(\mu - \bar X\right) \] olduğundan ortadaki terim \(-2n\left(\mu - \bar X\right)^2\) olur. Bunu son terimle birleştirirsek \[ \sum_{i=1}^n \left(X_i - \bar X\right)^2 = \sum_{i=1}^n \left(X_i - \mu\right)^2 - n\left(\bar X - \mu\right)^2 . \] Şimdi beklenen değer alalım. Her \(i\) için \(E\big[(X_i - \mu)^2\big] = \operatorname{Var}(X_i) = \sigma^2\)’dir. \(E(\bar X) = \mu\) olduğundan \(E\big[(\bar X - \mu)^2\big] = \operatorname{Var}(\bar X) = \sigma^2/n\)’dir (Teorem 7.1). Böylece \[ E\left[\sum_{i=1}^n \left(X_i - \bar X\right)^2\right] = n\sigma^2 - n\cdot\frac{\sigma^2}{n} = (n-1)\,\sigma^2 . \] İki tarafı \(n - 1\)’e bölersek \[ E(S^2) = \frac{1}{n-1}\,E\left[\sum_{i=1}^n \left(X_i - \bar X\right)^2\right] = \frac{(n-1)\,\sigma^2}{n-1} = \sigma^2 . \]
\(\blacksquare\)
İspattaki özdeşlik neden \(n - 1\) gerektiğini de açıklar. Kitle ortalaması \(\mu\) bilinseydi \(\frac{1}{n}\sum (X_i - \mu)^2\) tam \(\sigma^2\)’yi ortalamada verirdi. Ama \(\mu\)’yü bilmediğimiz için yerine \(\bar X\)’i koyarız ve \(\bar X\) gözlemlere kareler toplamı anlamında \(\mu\)’den en az o kadar yakındır: özdeşliğe göre \(\sum (X_i - \bar X)^2 \le \sum (X_i - \mu)^2\) ve aradaki fark \(n(\bar X - \mu)^2\)’dir. Bu kayıp ortalamada tam bir \(\sigma^2\) ettiği için \(n\) yerine \(n - 1\)’e böleriz. Sonlu bir kitlenin varyansı ise bütün birimler ve gerçek \(\mu\) bilindiğinden \(\frac{1}{N}\sum (x_i - \mu)^2\) ile hesaplanır; orada düzeltmeye gerek yoktur.
Sonuç 11.1 (Kareler Toplamını n’ye Bölmek) Teorem 11.1 içindeki varsayımlar altında \[ \hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n \left(X_i - \bar X\right)^2 \] tahmin edicisi için \[ E(\hat\sigma^2) = \frac{n-1}{n}\,\sigma^2, \qquad \text{Yanlılık}(\hat\sigma^2, \sigma^2) = -\frac{\sigma^2}{n} \] olur. Yani \(\sigma^2 > 0\) iken \(\hat\sigma^2\), \(\sigma^2\)’nin yanlı bir tahmin edicisidir ve varyansı ortalamada eksik tahmin eder.
İspat
\(\hat\sigma^2 = \frac{n-1}{n}\,S^2\) yazılabilir. Beklenen değerin doğrusallığı ve Teorem 11.1 ile \[ E(\hat\sigma^2) = \frac{n-1}{n}\,E(S^2) = \frac{n-1}{n}\,\sigma^2 . \] Buradan yanlılık \[ \text{Yanlılık}(\hat\sigma^2, \sigma^2) = \frac{n-1}{n}\,\sigma^2 - \sigma^2 = -\frac{\sigma^2}{n} \] bulunur; \(\sigma^2 > 0\) iken bu sayı negatiftir.
\(\blacksquare\)
Örnek 11.2 (Örneklem Ortalamasının Karesi) \((X_1, X_2, \ldots, X_n)\), \(N(\mu, \sigma^2)\) dağılımından alınmış bir örneklem olsun. \((\bar X)^2\) istatistiğinin \(\mu^2\) parametresi için yansız bir tahmin edici olup olmadığını inceleyiniz; yani \(E\big[(\bar X)^2\big] = \mu^2\) mi?
Çözüm
Teorem 7.1 uyarınca \(E(\bar X) = \mu\) ve \(\operatorname{Var}(\bar X) = \sigma^2/n\)’dir. Varyansın hesap formülü \(\operatorname{Var}(Y) = E(Y^2) - \big(E(Y)\big)^2\)’yi \(Y = \bar X\) için yazıp \(E(\bar X^2)\)’yi yalnız bırakırsak \[ E\big[(\bar X)^2\big] = \operatorname{Var}(\bar X) + \big(E(\bar X)\big)^2 = \frac{\sigma^2}{n} + \mu^2 . \] \(\sigma^2 > 0\) olduğundan bu değer \(\mu^2\)’den büyüktür. O hâlde \((\bar X)^2\), \(\mu^2\)’nin yanlı bir tahmin edicisidir ve yanlılığı \[ \text{Yanlılık}\big((\bar X)^2, \mu^2\big) = \frac{\sigma^2}{n} \] olur. Kareyi almak ortalamayı değiştirmeyen bir işlem değildir: \(\bar X\)’in \(\mu\) çevresindeki salınımı kareye geçince hep pozitif bir katkı bırakır. Hesapta normalliği kullanmadığımıza da dikkat edelim; sonuç sonlu varyanslı her kitle için geçerlidir.
\(\blacksquare\)
Bu örnek yansızlığın dönüşümlerle korunmadığını gösterir: \(\bar X\), \(\mu\) için yansızdır ama \((\bar X)^2\), \(\mu^2\) için yansız değildir. En çok olabilirlik tahmin edicileri ise dönüşümlerle korunur (Teorem 10.1). Aynı olgu varyans ile standart sapma arasında da görülür. \(S^2\), \(\sigma^2\) için yansızdır; ama \(S = \sqrt{S^2}\) için \[ 0 \le \operatorname{Var}(S) = E(S^2) - \big(E(S)\big)^2 = \sigma^2 - \big(E(S)\big)^2 \] olduğundan \(E(S) \le \sigma\)’dır. Eşitlik ancak \(\operatorname{Var}(S) = 0\), yani \(S\) sabitken olur; bu da gözlemlerin hep aynı değeri aldığı yozlaşmış durumdur. Dolayısıyla \(S\), \(\sigma\)’yı genellikle ortalamada eksik tahmin eder.
Asimptotik yansızlık
Son iki örnekteki yanlılıklar, \(-\sigma^2/n\) ve \(\sigma^2/n\), örneklem büyüdükçe sıfıra gider. Bu tür tahmin ediciler küçük örneklemlerde yanlıdır ama büyük örneklemlerde yansıza yaklaşır.
Tanım 11.3 (Asimptotik Yansız Tahmin Edici) \(n\) birimlik örneklemden hesaplanan tahmin ediciyi \(T_n\) ile gösterelim. Her \(\theta \in \Theta\) için \[ \lim_{n \to \infty} E(T_n) = \theta \] ise \(T_n\)’ye \(\theta\) parametresinin asimptotik olarak yansız tahmin edicisi denir.
Yani yanlılık \(n \to \infty\) iken sıfıra gidiyorsa tahmin edici asimptotik yansızdır. Her yansız tahmin edici elbette asimptotik yansızdır; tersi doğru değildir.
Örnek 11.3 (Ortalamanın Karesi Asimptotik Yansızdır) \(N(\mu, \sigma^2)\) dağılımından alınan \(n\) birimlik örneklemde \(T_n = (\bar X)^2\) olsun. \(T_n\)’nin \(\mu^2\) için asimptotik yansız olduğunu gösteriniz.
Çözüm
Örnek 11.2 içinde \(E(T_n) = \mu^2 + \sigma^2/n\) bulduk. \(\sigma^2\) sabit ve \(\sigma^2/n \to 0\) olduğundan \[ \lim_{n \to \infty} E\big[(\bar X)^2\big] = \lim_{n \to \infty}\left(\mu^2 + \frac{\sigma^2}{n}\right) = \mu^2 . \] Bu her \(\mu\) ve \(\sigma^2\) için doğrudur. O hâlde \((\bar X)^2\), \(\mu^2\) parametresinin asimptotik olarak yansız tahmin edicisidir.
\(\blacksquare\)
Örnek 11.4 (n’ye Bölünen Varyans Asimptotik Yansızdır) Sonuç 11.1 içindeki \(\hat\sigma^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar X)^2\) tahmin edicisinin \(\sigma^2\) için asimptotik yansız olduğunu gösteriniz.
Çözüm
Sonuç 11.1 uyarınca \(E(\hat\sigma^2) = \frac{n-1}{n}\sigma^2 = \left(1 - \frac{1}{n}\right)\sigma^2\)’dir. \(1/n \to 0\) olduğundan \[ \lim_{n \to \infty} E(\hat\sigma^2) = \lim_{n \to \infty}\left(1 - \frac{1}{n}\right)\sigma^2 = \sigma^2 . \] Demek ki \(\hat\sigma^2\) her \(n\) için yanlıdır, ama asimptotik olarak yansızdır. Örneğin \(n = 2\) iken ortalamada \(\sigma^2\)’nin yalnız yarısını, \(n = 10\) iken \(0{,}9\) katını verir.
\(\blacksquare\)
Yanlılığı düzeltmek
Beklenen değeri parametrenin doğrusal bir fonksiyonu olan bir tahmin ediciyi basit bir kaydırma ve ölçekleme ile yansız hâle getirebiliriz. Bu bölümdeki örneklerin çoğu bu fikre dayanır.
Önerme 11.1 (Doğrusal Düzeltme) \(T\), \(\theta\) parametresi için bir tahmin edici olsun ve \(a \ne 0\) ile \(c\), \(\theta\)’ya bağlı olmayan sabitler olmak üzere her \(\theta \in \Theta\) için \[ E(T) = a\theta + c \] olsun. Bu durumda \(\dfrac{T - c}{a}\), \(\theta\)’nın yansız bir tahmin edicisidir.
İspat
\(a\) ve \(c\) sabit olduğundan beklenen değerin doğrusallığıyla her \(\theta \in \Theta\) için \[ E\left(\frac{T - c}{a}\right) = \frac{E(T) - c}{a} = \frac{a\theta + c - c}{a} = \theta . \] \((T - c)/a\) yalnız \(T\)’ye ve bilinen sabitlere bağlı olduğundan bir istatistiktir.
\(\blacksquare\)
Buradaki \(a\) ile \(c\)’nin \(\theta\)’ya bağlı olmaması şarttır; aksi hâlde \((T - c)/a\) bilinmeyen parametreyi içerir ve istatistik olmaz. Beklenen değer \(\theta\)’nın doğrusal olmayan bir fonksiyonu olduğunda ise başka bir istatistikten gelen düzeltme terimine ihtiyaç duyarız.
Örnek 11.5 (Ortalamanın Karesini Düzeltmek) \((X_1, X_2, \ldots, X_n)\), \(n \ge 2\), \(N(\mu, \sigma^2)\) dağılımından alınmış bir örneklem olsun. \((\bar X)^2\)’yi düzelterek \(\mu^2\) için yansız bir tahmin edici bulunuz.
Çözüm
Örnek 11.2 uyarınca \(E\big[(\bar X)^2\big] = \mu^2 + \sigma^2/n\)’dir. Fazladan gelen \(\sigma^2/n\) terimi bilinmeyen \(\sigma^2\)’yi içerdiği için doğrudan çıkarılamaz. Ama Teorem 11.1 uyarınca \(E(S^2) = \sigma^2\), dolayısıyla \(E(S^2/n) = \sigma^2/n\)’dir. Bu yüzden \[ T = (\bar X)^2 - \frac{S^2}{n} \] alırsak doğrusallıktan \[ E(T) = \mu^2 + \frac{\sigma^2}{n} - \frac{\sigma^2}{n} = \mu^2 \] bulunur. \(T\) yalnız örneklemden hesaplandığı için bir istatistiktir ve \(\mu^2\)’nin yansız tahmin edicisidir. Bir gözlem hatırlatması: \(T\) negatif değerler de alabilir, oysa \(\mu^2 \ge 0\)’dır. Yansızlık tek başına tahminin her zaman makul olmasını garanti etmez.
\(\blacksquare\)
Binom kitlelerinde yansız tahmin ediciler
Şimdi kesikli bir kitlede \(p\) ve \(p^2\) için yansız tahmin ediciler kuralım. Hatırlatma: \(X \sim \operatorname{Binom}(n, p)\) ise \(E(X) = np\) ve \(\operatorname{Var}(X) = np(1-p)\)’dir (Olasılık Teorisi’ndeki binom momentleri).
Örnek 11.6 (Tek Gözlemden p için Yansız Tahmin) \(X \sim \operatorname{Binom}(3, p)\) dağılımına sahip bir kitleden tek bir gözlem alınıyor (örneklem hacmi 1). \(p\) parametresi için yansız bir tahmin edici belirleyiniz.
Çözüm
\(E(T) = p\) olan bir \(T = T(X)\) arıyoruz. Binom dağılımında \[ E(X) = 3p \] olduğundan \(E(X) = 3p\) eşitliği Önerme 11.1 içindeki biçimdedir (\(a = 3\), \(c = 0\)). İki tarafı 3’e bölersek \[ E\left(\frac{X}{3}\right) = \frac{1}{3}\,E(X) = p . \] O hâlde \(T_1 = X/3\), \(p\)’nin yansız bir tahmin edicisidir: üç denemedeki başarı oranı.
\(\blacksquare\)
Örnek 11.7 (Tek Gözlemden p² için Yansız Tahmin) \(X \sim \operatorname{Binom}(3, p)\) dağılımına sahip bir kitleden tek bir gözlem alınıyor. \(p^2\) parametresi için yansız bir tahmin edici belirleyiniz.
Çözüm
İlk akla gelen \((X/3)^2\)’dir, ama yansız değildir. Görelim: önce \(E(X^2)\)’yi hesaplayalım. \(\operatorname{Var}(X) = E(X^2) - \big(E(X)\big)^2\) olduğundan \[ E(X^2) = \operatorname{Var}(X) + \big(E(X)\big)^2 = 3p(1-p) + 9p^2 = 3p + 6p^2 . \] Buna göre \[ E\left[\left(\frac{X}{3}\right)^2\right] = \frac{3p + 6p^2}{9} = \frac{p}{3} + \frac{2p^2}{3} \ne p^2 \] olur.
\(E(X^2)\)’deki fazladan \(3p\) terimi tam \(E(X)\)’e eşittir. Bu yüzden onu \(X\) ile yok edebiliriz: \[ E(X^2 - X) = E(X^2) - E(X) = 3p + 6p^2 - 3p = 6p^2 . \] İki tarafı 6’ya bölersek \[ E\left(\frac{X^2 - X}{6}\right) = p^2 . \] O hâlde \(T_3 = \dfrac{X(X-1)}{6}\), \(p^2\)’nin yansız bir tahmin edicisidir.
Sonucu doğrudan da denetleyebiliriz. \(T_3\) değerleri \(x = 0, 1, 2, 3\) için sırasıyla \(0,\ 0,\ \tfrac13,\ 1\)’dir. \(P(X = 2) = 3p^2(1-p)\) ve \(P(X = 3) = p^3\) olduğundan \[ E(T_3) = \frac{1}{3}\cdot 3p^2(1-p) + 1 \cdot p^3 = p^2 - p^3 + p^3 = p^2 . \]
\(\blacksquare\)
Örnek 11.8 (Binom Örnekleminden p² için Yansız Tahmin) \((X_1, X_2, \ldots, X_n)\), \(\operatorname{Binom}(3, p)\) dağılımından alınmış bir rastgele örneklem olsun. \(p^2\) için bütün örneklemi kullanan yansız bir tahmin edici bulunuz.
Çözüm
Tek gözlemdeki fikri \(\bar X\)’e uygulayalım. \(E(X_i) = 3p\) ve \(\operatorname{Var}(X_i) = 3p(1-p)\) olduğundan \[ E(\bar X) = 3p, \qquad \operatorname{Var}(\bar X) = \frac{3p(1-p)}{n}. \] (İlk eşitlikten \(\bar X/3\)’ün \(p\) için yansız olduğu da görülür.) Varyansın hesap formülüyle \[ E(\bar X^2) = \operatorname{Var}(\bar X) + \big(E(\bar X)\big)^2 = \frac{3p(1-p)}{n} + 9p^2 . \] Paydadan kurtulmak için \(n\) ile çarpalım: \[ E(n\bar X^2) = 3p - 3p^2 + 9np^2 = 3p + (9n - 3)\,p^2 . \] Fazladan gelen \(3p\) yine \(E(\bar X)\)’e eşittir; onu çıkarırsak \[ E(n\bar X^2 - \bar X) = (9n - 3)\,p^2 . \] \(9n - 3 > 0\) olduğundan iki tarafı ona bölebiliriz: \[ \hat{p^2} = \frac{n\bar X^2 - \bar X}{9n - 3} \] \(p^2\)’nin yansız bir tahmin edicisidir. \(n = 1\) iken \(\bar X = X_1\) ve bu ifade \((X_1^2 - X_1)/6\) olur; yani Örnek 11.7 içindeki tahmin edicinin genellemesidir.
\(\blacksquare\)
Örnek 11.9 (Bernoulli Örnekleminden p² için Yansız Tahmin) \((X_1, X_2, \ldots, X_n)\), \(n \ge 2\), \(\operatorname{Binom}(1, p)\) dağılımından alınmış bir örneklem olsun. Çekilen örneklemin tümüne bağlı kalarak \(p^2\) için bir yansız tahmin edici bulununuz.
Çözüm
Her \(X_i\) bir Bernoulli değişkenidir: \(E(X_i) = p\) ve \(\operatorname{Var}(X_i) = p(1-p)\). Ayrıca \(X_i\) yalnız \(0\) ve \(1\) değerlerini aldığı için \(X_i^2 = X_i\)’dir; gerçekten de \[ E(X_i^2) = \operatorname{Var}(X_i) + \big(E(X_i)\big)^2 = p - p^2 + p^2 = p . \] Örneklem ortalaması için \(E(\bar X) = p\) ve \(\operatorname{Var}(\bar X) = p(1-p)/n\) olduğundan \[ E(\bar X^2) = \frac{p(1-p)}{n} + p^2 . \] Yani \(\bar X^2\) yanlıdır. \(n\) ile çarpıp düzenleyelim: \[ E(n\bar X^2) = p - p^2 + np^2 = p + (n-1)\,p^2 . \] \(p = E(\bar X)\) olduğundan \[ E(n\bar X^2 - \bar X) = (n-1)\,p^2 , \] ve \(n \ge 2\) iken \(n - 1 > 0\) ile bölerek \[ \hat{p^2} = \frac{n\bar X^2 - \bar X}{n-1} \] \(p^2\)’nin yansız bir tahmin edicisi olur.
Bu tahmin edicinin sade bir yorumu var. Başarı sayısı \(Y = \sum X_i\) ise \(\bar X = Y/n\) ve \[ \frac{n\bar X^2 - \bar X}{n-1} = \frac{Y^2/n - Y/n}{n-1} = \frac{Y(Y-1)}{n(n-1)} . \] \(Y(Y-1)\), iki başarının sıralı seçiliş sayısıdır; \(n(n-1)\) ise bütün sıralı gözlem çiftlerinin sayısı. Yani \(\hat{p^2}\), \(i \ne j\) olan bütün \((i, j)\) çiftleri üzerinden \(X_iX_j\) çarpımlarının ortalamasıdır. Tek bir çift de yansızdır, çünkü bağımsızlıktan \(E(X_1X_2) = p^2\)’dir; ama \(X_1X_2\) yalnız iki gözlemi kullanır. Soruda istenen, bütün örneklemi kullanan tahmin edicidir.
\(\blacksquare\)
Örneklem momentleri
\(k\). örneklem momenti \(M_k = \frac{1}{n}\sum_{i=1}^n X_i^k\) (Tanım 7.8), ortalamada tam olarak karşılık gelen kitle momentini verir. Momentler yöntemi de bu yüzden işe yarar. Bu gözlemi yansızlık diliyle kaydedelim; aşağıdaki örneklerde işimizi çok kolaylaştıracak.
Önerme 11.2 (Örneklem Momentlerinin Yansızlığı) \((X_1, X_2, \ldots, X_n)\), \(X\) kitlesinden alınmış bir örneklem ve \(E(X^k)\) sonlu olsun. Bu durumda \[ E(M_k) = E(X^k), \] yani \(M_k\), \(k\). kitle momentinin yansız tahmin edicisidir.
İspat
Her \(X_i\) kitle ile aynı dağılıma sahip olduğundan \(E(X_i^k) = E(X^k)\)’dir. Beklenen değerin doğrusallığıyla \[ E(M_k) = \frac{1}{n}\sum_{i=1}^n E(X_i^k) = \frac{1}{n}\cdot n\,E(X^k) = E(X^k) . \]
\(\blacksquare\)
Örnek 11.10 (Poisson Kitlesinin Üçüncü Momenti) \((X_1, X_2, \ldots, X_n)\), \(\operatorname{Poisson}(\lambda)\) dağılımından alınmış bir örneklem olsun. \(E(X^3)\) için yansız bir tahmin edici bulunuz ve \(E(X^3)\)’ü \(\lambda\) cinsinden hesaplayınız.
Çözüm
Poisson dağılımının bütün momentleri sonludur (Olasılık Teorisi’ndeki tanım). Önerme 11.2 uyarınca üçüncü örneklem momenti \[ M_3 = \frac{1}{n}\sum_{i=1}^n X_i^3 \] \(E(X^3)\)’ün yansız bir tahmin edicisidir.
\(E(X^3)\)’ü bulmak için faktöriyel momentleri kullanalım. \(k(k-1)(k-2)\) çarpımı \(k = 0, 1, 2\) için sıfırdır; \(k \ge 3\) için \(k!\)’in son üç çarpanını sadeleştirir: \[ \begin{aligned} E\big[X(X-1)(X-2)\big] &= \sum_{k=3}^{\infty} k(k-1)(k-2)\,\frac{e^{-\lambda}\lambda^k}{k!} \\[1mm] &= \lambda^3 \sum_{k=3}^{\infty} \frac{e^{-\lambda}\lambda^{k-3}}{(k-3)!} = \lambda^3 . \end{aligned} \] Son toplam, Poisson olasılıklarının toplamı olduğu için 1’dir. Aynı yolla \(E\big[X(X-1)\big] = \lambda^2\) ve \(E(X) = \lambda\) bulunur. Şimdi \(x^3\)’ü bu çarpımlar cinsinden yazalım: \[ x^3 = x(x-1)(x-2) + 3x(x-1) + x . \] Gerçekten, sağ taraf açılırsa \[ x^3 - 3x^2 + 2x + 3x^2 - 3x + x = x^3 \] olur. Beklenen değer alırsak \[ E(X^3) = \lambda^3 + 3\lambda^2 + \lambda . \] Aynı düşünceyle \(\frac{1}{n}\sum_{i=1}^n X_i(X_i - 1)(X_i - 2)\) istatistiği de \(\lambda^3\)’ün yansız bir tahmin edicisidir.
\(\blacksquare\)
Örnek 11.11 (Üçgen Yoğunlukta Sol Uç Noktası) Olasılık yoğunluk fonksiyonu \[ f(x) = \frac{2}{(b - \theta)^2}\,(x - \theta), \qquad \theta < x < b \] olan kitleden \((X_1, X_2, \ldots, X_n)\) örneklemi alınıyor; \(b\) bilinen bir sabittir. \(\theta\) için bir yansız tahmin edici bulunuz.
Çözüm
Önce kitle ortalamasını hesaplayalım. \(L = b - \theta\) ve \(u = x - \theta\) diyelim; \(x\), \(\theta\)’dan \(b\)’ye giderken \(u\) da \(0\)’dan \(L\)’ye gider ve \(x = u + \theta\) olur: \[ \begin{aligned} E(X) &= \int_{\theta}^{b} x\,\frac{2(x - \theta)}{L^2}\,dx = \frac{2}{L^2}\int_0^{L} (u + \theta)\,u\,du \\[1mm] &= \frac{2}{L^2}\left(\frac{L^3}{3} + \theta\,\frac{L^2}{2}\right) = \frac{2L}{3} + \theta . \end{aligned} \] \(L = b - \theta\) yerine konursa \[ E(X) = \theta + \frac{2(b - \theta)}{3} = \frac{1}{3}\,\theta + \frac{2b}{3} . \] Buna göre \(E(\bar X) = E(X) = \frac{1}{3}\theta + \frac{2b}{3}\) olur. Bu, Önerme 11.1 içindeki biçimdir: \(a = \frac13\), \(c = \frac{2b}{3}\) ve ikisi de \(\theta\)’ya bağlı değildir. O hâlde \[ \hat\theta = \frac{\bar X - \frac{2b}{3}}{\frac{1}{3}} = 3\bar X - 2b \] \(\theta\)’nın yansız bir tahmin edicisidir. Denetleyelim: \(E(3\bar X - 2b) = \theta + 2b - 2b = \theta\).
\(\blacksquare\)
Örnek 11.12 (Rayleigh Tipi Yoğunlukta Ölçek Parametresi) \((X_1, X_2, \ldots, X_n)\), olasılık yoğunluk fonksiyonu \[ f(x; \theta) = \frac{2x}{\theta}\,e^{-x^2/\theta}, \qquad x \ge 0,\ \theta > 0 \] olan bir kitleden alınmış bir örneklem olsun. \(\theta\) parametresi için yansız bir tahmin edici öneriniz.
Çözüm
Yoğunluk \(x^2\) üzerinden yazıldığı için ikinci momente bakmak doğaldır. \(u = x^2/\theta\) dönüşümünde \(du = \frac{2x}{\theta}\,dx\) ve \(x^2 = \theta u\) olur; \(x\), \(0\)’dan \(\infty\)’a giderken \(u\) da öyle gider: \[ E(X^2) = \int_0^{\infty} x^2\,\frac{2x}{\theta}\,e^{-x^2/\theta}\,dx = \int_0^{\infty} \theta u\,e^{-u}\,du = \theta \cdot 1 = \theta . \] Son integral \(\int_0^\infty u\,e^{-u}\,du = 1\)’dir. Demek ki ikinci kitle momenti tam \(\theta\)’dır. Önerme 11.2 uyarınca \[ \hat\theta = M_2 = \frac{1}{n}\sum_{i=1}^n X_i^2 \] \(\theta\)’nın yansız bir tahmin edicisidir.
Birinci moment burada işe yaramaz: aynı dönüşümle \(E(X) = \sqrt{\theta}\,\Gamma(3/2) = \frac{\sqrt{\pi\theta}}{2}\) bulunur (Tanım 4.1). Bu, \(\theta\)’nın doğrusal bir fonksiyonu olmadığı için \(\bar X\)’ten doğrusal bir düzeltmeyle \(\theta\)’nın yansız tahmin edicisi elde edilemez.
\(\blacksquare\)
Örnek 11.13 (Simetrik Düzgün Dağılımda θ² için Yansız Tahmin) \((X_1, X_2, \ldots, X_n)\), \(U(-\theta, \theta)\) dağılımından alınmış bir rastgele örneklem olsun. \(\theta^2\) parametresi için yansız bir tahmin edici öneriniz.
Çözüm
\(U(-\theta, \theta)\) yoğunluğu \((-\theta, \theta)\) aralığında \(\frac{1}{2\theta}\)’dır (Olasılık Teorisi’ndeki tanım). Birinci moment simetriden sıfırdır, dolayısıyla \(\theta\) hakkında bilgi taşımaz. İkinci momente bakalım: \[ E(X^2) = \int_{-\theta}^{\theta} x^2\,\frac{1}{2\theta}\,dx = \frac{1}{2\theta}\cdot\frac{x^3}{3}\,\bigg|_{-\theta}^{\theta} = \frac{1}{2\theta}\cdot\frac{2\theta^3}{3} = \frac{\theta^2}{3} . \] Önerme 11.2 uyarınca \(E(M_2) = \theta^2/3\), yani \(E(3M_2) = \theta^2\)’dir. O hâlde \[ T = 3M_2 = \frac{3}{n}\sum_{i=1}^n X_i^2 \] \(\theta^2\)’nin yansız bir tahmin edicisidir; kısaca \(T\), \(X^2\) değerlerinin ortalamasının üç katıdır.
Burada \(M_2\) ile \((\bar X)^2\)’yi karıştırmamak gerekir. \(E(\bar X) = 0\) olduğundan \(E\big[(\bar X)^2\big] = \operatorname{Var}(\bar X) = \frac{\theta^2}{3n}\)’dir; yani \(3(\bar X)^2\) yansız değildir.
\(\blacksquare\)
11.2 Hata kareler ortalaması
Yansızlık tek başına yeterli bir ölçüt değildir. Yansız bir tahmin edici \(\theta\) çevresinde çok geniş salınabilir; hafif yanlı ama dar dağılmış bir tahmin edici ise çoğu örneklemde \(\theta\)’ya daha yakın düşebilir. Bu iki etkiyi tek bir sayıda toplayan ölçüt, \(T\) ile \(\theta\) arasındaki uzaklığın karesinin ortalamasıdır.
Tanım 11.4 (Hata Kareler Ortalaması) \(\theta \in \Theta \subset \mathbb{R}\) kitle parametresine önerilen bir \(T\) tahmin edicisi için \[ \operatorname{HKO}(T, \theta) = E\big[(T - \theta)^2\big] \] sayısına \(T\) tahmin edicisinin hata kareler ortalaması (HKO) denir.
Yani HKO, tahminin hedeften ortalama kare uzaklığıdır. Ne kadar küçükse tahmin edici o kadar iyidir. İki tahmin edici karşılaştırılırken her \(\theta \in \Theta\) için HKO’su daha küçük olan tercih edilir; HKO \(\theta\)’ya bağlı olduğundan sıralama bazı parametre değerlerinde değişebilir. \(T\) yansız ise \(E(T) = \theta\) olduğundan \(\operatorname{HKO}(T, \theta) = E\big[(T - E(T))^2\big] = \operatorname{Var}(T)\) olur.
Teorem 11.2 (Hata Kareler Ortalamasının Ayrışımı) \(\theta\) kitle parametresine önerilen ve varyansı sonlu olan bir \(T\) tahmin edicisi için \[ \operatorname{HKO}(T, \theta) = \operatorname{Var}(T) + \big(\text{Yanlılık}(T, \theta)\big)^2 \] dir.
İspat
\(T - \theta\) farkına \(E(T)\) ekleyip çıkaralım: \[ T - \theta = \big(T - E(T)\big) + \big(E(T) - \theta\big). \] Karesini alıp beklenen değer alırsak \[ \begin{aligned} \operatorname{HKO}(T, \theta) &= E\Big[\big(T - E(T)\big)^2\Big] + 2E\Big[\big(T - E(T)\big)\big(E(T) - \theta\big)\Big] \\[1mm] &\quad + E\Big[\big(E(T) - \theta\big)^2\Big]. \end{aligned} \] \(E(T) - \theta\) bir sabittir; rastgele değil. Bu yüzden ortadaki terimde beklenen değerin dışına çıkar ve kalan beklenen değer sıfırdır: \[ E\Big[\big(T - E(T)\big)\big(E(T) - \theta\big)\Big] = \big(E(T) - \theta\big)\,\underbrace{E\big[T - E(T)\big]}_{E(T) - E(T) \,=\, 0} = 0 . \] Son terim de bir sabitin beklenen değeri olduğundan kendisine eşittir: \(\big(E(T) - \theta\big)^2\). İlk terim tanım gereği \(\operatorname{Var}(T)\)’dir. Böylece \[ \operatorname{HKO}(T, \theta) = \operatorname{Var}(T) + \big(E(T) - \theta\big)^2 = \operatorname{Var}(T) + \big(\text{Yanlılık}(T, \theta)\big)^2 . \]
\(\blacksquare\)
Teorem, iyi bir tahmin edicinin iki şeyi birden istediğini söyler: merkezi hedefe yakın olmalı (küçük yanlılık) ve merkezi çevresinde dar dağılmalı (küçük varyans). Biraz yanlılığa katlanıp varyansı çok azaltmak HKO’yu küçültebilir. Aşağıdaki örnek tam olarak bunu gösterir.
Örnek 11.14 (Üstel Kitlede İki Tahmin Edicinin Karşılaştırılması) Olasılık yoğunluk fonksiyonu \(f(x; \lambda) = \lambda e^{-\lambda x}\), \(x > 0\) olan bir kitleden \((X_1, X_2)\) rastgele örneklemi alınıyor. \(1/\lambda\) parametresi için tanımlanan \[ T_1 = \frac{X_1 + X_2}{2} \qquad\text{ve}\qquad T_2 = \sqrt{X_1 X_2} \] tahmin edicilerini HKO ölçütüne göre karşılaştırınız.
Çözüm
Kitle üstel dağılımlıdır, dolayısıyla \(E(X_i) = \dfrac{1}{\lambda}\) ve \(\operatorname{Var}(X_i) = \dfrac{1}{\lambda^2}\)’dir (Olasılık Teorisi’ndeki üstel dağılım). \(X_1\) ile \(X_2\) bağımsızdır.
\(T_1\)’in HKO’su. Doğrusallıktan \[ E(T_1) = \frac{1}{2}\big(E(X_1) + E(X_2)\big) = \frac{1}{2}\cdot\frac{2}{\lambda} = \frac{1}{\lambda}, \] yani \(T_1\), \(1/\lambda\)’nın yansız tahmin edicisidir. Bağımsızlıktan varyanslar toplanır: \[ \operatorname{Var}(T_1) = \frac{1}{4}\big(\operatorname{Var}(X_1) + \operatorname{Var}(X_2)\big) = \frac{1}{4}\cdot\frac{2}{\lambda^2} = \frac{1}{2\lambda^2} . \] Yanlılık sıfır olduğundan Teorem 11.2 ile \[ \operatorname{HKO}\left(T_1, \frac{1}{\lambda}\right) = \frac{1}{2\lambda^2} . \]
\(T_2\)’nin beklenen değeri. Bağımsızlıktan \(E(T_2) = E\big(\sqrt{X_1}\big)\,E\big(\sqrt{X_2}\big)\)’dir. \(t = \lambda x\) dönüşümüyle (\(dt = \lambda\,dx\)) \[ E\big(\sqrt{X}\big) = \int_0^{\infty} x^{1/2}\,\lambda e^{-\lambda x}\,dx = \int_0^{\infty} \left(\frac{t}{\lambda}\right)^{1/2} e^{-t}\,dt = \frac{\Gamma(3/2)}{\sqrt{\lambda}} . \] Son integral tanım gereği \(\Gamma(3/2)\)’dir (Tanım 4.1). Teorem 4.1 uyarınca \(\Gamma(3/2) = \frac{1}{2}\,\Gamma(1/2) = \frac{\sqrt{\pi}}{2}\) olduğundan \(E\big(\sqrt{X}\big) = \dfrac{\sqrt{\pi}}{2\sqrt{\lambda}}\) ve \[ E(T_2) = \frac{\sqrt{\pi}}{2\sqrt{\lambda}}\cdot\frac{\sqrt{\pi}}{2\sqrt{\lambda}} = \frac{\pi}{4\lambda} . \] \(\pi/4 \approx 0{,}785 < 1\) olduğundan \(T_2\), \(1/\lambda\)’nın yanlı bir tahmin edicisidir ve onu ortalamada eksik tahmin eder: \[ \text{Yanlılık}\left(T_2, \frac{1}{\lambda}\right) = \frac{\pi}{4\lambda} - \frac{1}{\lambda} = -\frac{4 - \pi}{4\lambda} . \]
\(T_2\)’nin varyansı ve HKO’su. \(T_2^2 = X_1X_2\) olduğundan bağımsızlıkla \(E(T_2^2) = E(X_1)\,E(X_2) = \dfrac{1}{\lambda^2}\)’dir. Buna göre \[ \operatorname{Var}(T_2) = E(T_2^2) - \big(E(T_2)\big)^2 = \frac{1}{\lambda^2} - \frac{\pi^2}{16\lambda^2} = \frac{16 - \pi^2}{16\lambda^2} . \] Teorem 11.2 ile \[ \begin{aligned} \operatorname{HKO}\left(T_2, \frac{1}{\lambda}\right) &= \frac{16 - \pi^2}{16\lambda^2} + \frac{(4 - \pi)^2}{16\lambda^2} = \frac{16 - \pi^2 + 16 - 8\pi + \pi^2}{16\lambda^2} \\[1mm] &= \frac{32 - 8\pi}{16\lambda^2} = \frac{4 - \pi}{2\lambda^2} . \end{aligned} \]
Karşılaştırma. İki HKO’nun paydası aynıdır; paylar \(4 - \pi \approx 0{,}8584\) ve \(1\)’dir. \(4 - \pi < 1\) olduğundan her \(\lambda > 0\) için \[ \operatorname{HKO}\left(T_2, \frac{1}{\lambda}\right) \approx \frac{0{,}4292}{\lambda^2} < \frac{0{,}5}{\lambda^2} = \operatorname{HKO}\left(T_1, \frac{1}{\lambda}\right) . \] Yani HKO ölçütüne göre yanlı olan \(T_2\), yansız olan \(T_1\)’den daha iyidir. \(T_2\)’nin yanlılığının karesi yalnız \(\approx 0{,}0461/\lambda^2\)’dir; buna karşılık varyansı \(T_1\)’inkinden yaklaşık \(0{,}1169/\lambda^2\) daha küçüktür.
\(\blacksquare\)
Örnek 11.15 (Geometrik Ortalamayı Yansız Yapmak) Örnek 11.14 içindeki kitle ve örneklemle \(T_2 = \sqrt{X_1X_2}\)’yi düzelterek \(1/\lambda\) için yansız bir \(T_3\) tahmin edicisi kurunuz ve \(T_3\)’ü HKO ölçütüne göre \(T_1 = (X_1 + X_2)/2\) ve \(T_2\) ile karşılaştırınız.
Çözüm
\(E(T_2) = \frac{\pi}{4}\cdot\frac{1}{\lambda}\) bulmuştuk. Bu Önerme 11.1 içindeki biçimdir (\(a = \pi/4\), \(c = 0\)). O hâlde \[ T_3 = \frac{4}{\pi}\sqrt{X_1X_2} \] \(1/\lambda\)’nın yansız bir tahmin edicisidir. Yansız olduğu için HKO’su varyansına eşittir; sabit çarpan varyansa karesiyle geçer: \[ \operatorname{HKO}\left(T_3, \frac{1}{\lambda}\right) = \frac{16}{\pi^2}\operatorname{Var}(T_2) = \frac{16}{\pi^2}\cdot\frac{16 - \pi^2}{16\lambda^2} = \frac{16 - \pi^2}{\pi^2\lambda^2} \approx \frac{0{,}6211}{\lambda^2} . \] Bu değer \(T_1\)’in \(\frac{0{,}5}{\lambda^2}\)’sinden de, \(T_2\)’nin \(\approx \frac{0{,}4292}{\lambda^2}\)’sinden de büyüktür. Sonuç olarak üç tahmin edicinin sıralaması \[ \operatorname{HKO}(T_2) < \operatorname{HKO}(T_1) < \operatorname{HKO}(T_3) \] olur. \(T_2\)’nin yanlılığını gidermek onu ölçeklediği için varyansını da büyüttü: yansız hâle getirilen \(T_3\), başladığımız \(T_2\)’den kötüdür. İki yansız tahmin edici arasında ise \(T_1\) daha iyidir.
\(\blacksquare\)
Son olarak, iki tahmin yönteminin farklı sonuç verdiği bir modele dönelim. En çok olabilirlik yöntemi bölümünde \(U(0, \theta)\) kitlesi için momentler yönteminin \(2\bar X\)’i, en çok olabilirlik yönteminin ise en büyük gözlemi verdiğini görmüştük (Örnek 10.15). Hangisinin daha iyi olduğunu artık söyleyebiliriz.
Örnek 11.16 (Düzgün Dağılımda En Büyük Gözlem ile İki Kat Ortalama) \((X_1, X_2, \ldots, X_n)\), \(U(0, \theta)\) dağılımından alınmış bir rastgele örneklem ve \(X_{(n)} = \max\{X_1, \ldots, X_n\}\) olsun. \(\theta\) için \(T_1 = 2\bar X\) ve \(T_2 = X_{(n)}\) tahmin edicilerini HKO ölçütüne göre karşılaştırınız.
Çözüm
\(U(0, \theta)\) kitlesinde \(E(X) = \dfrac{\theta}{2}\) ve \(\operatorname{Var}(X) = \dfrac{\theta^2}{12}\)’dir (Olasılık Teorisi’ndeki düzgün dağılım).
\(T_1 = 2\bar X\). \(E(2\bar X) = 2\cdot\dfrac{\theta}{2} = \theta\), yani \(T_1\) yansızdır. Teorem 7.1 ile \[ \operatorname{HKO}(T_1, \theta) = \operatorname{Var}(2\bar X) = 4\cdot\frac{\theta^2}{12n} = \frac{\theta^2}{3n} . \]
\(T_2 = X_{(n)}\)’in dağılımı. En büyük gözlem \(x\)’i aşmıyorsa bütün gözlemler \(x\)’i aşmıyordur. Bağımsızlıktan \(0 \le x \le \theta\) için \[ P\big(X_{(n)} \le x\big) = P(X_1 \le x) \cdots P(X_n \le x) = \left(\frac{x}{\theta}\right)^{n} . \] Türev alarak yoğunluk \(g(x) = \dfrac{n\,x^{n-1}}{\theta^n}\), \(0 < x < \theta\) bulunur. Buradan \[ E(X_{(n)}) = \int_0^{\theta} x\,\frac{n\,x^{n-1}}{\theta^n}\,dx = \frac{n}{\theta^n}\cdot\frac{\theta^{n+1}}{n+1} = \frac{n\theta}{n+1}, \] ve aynı yolla \(E(X_{(n)}^2) = \dfrac{n\theta^2}{n+2}\). Varyans \[ \operatorname{Var}(X_{(n)}) = \frac{n\theta^2}{n+2} - \frac{n^2\theta^2}{(n+1)^2} = \frac{n\theta^2\big[(n+1)^2 - n(n+2)\big]}{(n+1)^2(n+2)} = \frac{n\theta^2}{(n+1)^2(n+2)}, \] çünkü \((n+1)^2 - n(n+2) = 1\)’dir.
\(T_2\)’nin HKO’su. Yanlılık \(\dfrac{n\theta}{n+1} - \theta = -\dfrac{\theta}{n+1}\)’dir; en büyük gözlem \(\theta\)’yı hiçbir zaman aşamadığı için ortalamada eksik tahmin eder. Teorem 11.2 ile \[ \operatorname{HKO}(T_2, \theta) = \frac{n\theta^2}{(n+1)^2(n+2)} + \frac{\theta^2}{(n+1)^2} = \frac{\theta^2(2n + 2)}{(n+1)^2(n+2)} = \frac{2\theta^2}{(n+1)(n+2)} . \]
Karşılaştırma. Farkı ortak paydada yazalım: \[ \frac{\theta^2}{3n} - \frac{2\theta^2}{(n+1)(n+2)} = \frac{\theta^2\big[(n+1)(n+2) - 6n\big]}{3n(n+1)(n+2)} = \frac{\theta^2(n-1)(n-2)}{3n(n+1)(n+2)} . \] Bu sayı \(n = 1, 2\) için sıfır, \(n \ge 3\) için pozitiftir. Yani \(n \ge 3\) iken yanlı \(T_2\), yansız \(T_1\)’den daha küçük HKO’ya sahiptir. Fark örneklem büyüdükçe açılır: \(T_1\)’in HKO’su \(1/n\) gibi, \(T_2\)’ninki \(1/n^2\) gibi küçülür. Örneğin \(n = 10\) iken \(\operatorname{HKO}(T_1, \theta) = \theta^2/30 \approx 0{,}0333\,\theta^2\), \(\operatorname{HKO}(T_2, \theta) = \theta^2/66 \approx 0{,}0152\,\theta^2\) olur.
\(\blacksquare\)
Örnek 11.17 (En Büyük Gözlemi Yansız Yapmak) \((X_1, X_2, \ldots, X_n)\), \(U(0, \theta)\) dağılımından alınmış bir rastgele örneklem ve \(X_{(n)} = \max\{X_1, \ldots, X_n\}\) olsun. \(X_{(n)}\)’i düzelterek \(\theta\) için yansız bir \(T_3\) tahmin edicisi kurunuz ve HKO’sunu \(X_{(n)}\)’inkiyle karşılaştırınız.
Çözüm
Örnek 11.16 içinde \(E(X_{(n)}) = \dfrac{n}{n+1}\,\theta\) ve \(\operatorname{Var}(X_{(n)}) = \dfrac{n\theta^2}{(n+1)^2(n+2)}\) bulduk. Beklenen değer \(\theta\)’nın sabit bir katı olduğundan Önerme 11.1 (\(a = \frac{n}{n+1}\), \(c = 0\)) ile \[ T_3 = \frac{n+1}{n}\,X_{(n)} \] \(\theta\)’nın yansız bir tahmin edicisidir. Yansız olduğu için HKO’su varyansına eşittir: \[ \operatorname{HKO}(T_3, \theta) = \frac{(n+1)^2}{n^2}\cdot\frac{n\theta^2}{(n+1)^2(n+2)} = \frac{\theta^2}{n(n+2)} . \] \(X_{(n)}\)’in HKO’su \(\dfrac{2\theta^2}{(n+1)(n+2)}\) idi. Ortak \(\dfrac{\theta^2}{n+2}\) çarpanı dışında \(\dfrac{1}{n}\) ile \(\dfrac{2}{n+1}\) karşılaştırılır ve \[ \frac{1}{n} \le \frac{2}{n+1} \iff n + 1 \le 2n \iff n \ge 1 . \] Demek ki her \(n\) için \(\operatorname{HKO}(T_3, \theta) \le \operatorname{HKO}(X_{(n)}, \theta)\)’dır; eşitlik yalnız \(n = 1\)’de olur. Burada, Örnek 11.15 ile tersine, yanlılığı gidermek HKO’yu küçültür: \(X_{(n)}\)’i \(\frac{n+1}{n}\) ile büyütmek varyansı çok az artırır ama yanlılığı tümüyle yok eder. \(n = 10\) iken \(\operatorname{HKO}(T_3, \theta) = \theta^2/120 \approx 0{,}0083\,\theta^2\)’dir.
\(\blacksquare\)
11.3 Etkinlik
Yansız tahmin ediciler arasında HKO varyansa eşittir. Bu yüzden iki yansız tahmin ediciyi karşılaştırmak, varyanslarını karşılaştırmak demektir: varyansı küçük olan, hedefin çevresinde daha dar toplanır.
Tanım 11.5 (Etkinlik ve Göreli Etkinlik) \(T_1\) ve \(T_2\), \(\theta\) parametresinin iki yansız tahmin edicisi olsun. Her \(\theta \in \Theta\) için \(\operatorname{Var}(T_1) \le \operatorname{Var}(T_2)\) ise ve eşitsizlik en az bir \(\theta\) için kesinse \(T_1\)’e \(T_2\)’den daha etkin denir. \(T_1\)’in \(T_2\)’ye göre göreli etkinliği \[ e(T_1, T_2) = \frac{\operatorname{Var}(T_2)}{\operatorname{Var}(T_1)} \] oranıdır.
Yani \(e(T_1, T_2) > 1\) ise \(T_1\) daha etkindir ve \(T_2\)’nin varyansı \(T_1\)’inkinin \(e(T_1, T_2)\) katıdır. En küçük varyanslı yansız tahmin ediciyi aramak, bu ölçütün doğal devamıdır.
Örnek 11.18 (Tek Gözlem ile Örneklem Ortalaması) \((X_1, X_2, \ldots, X_n)\), ortalaması \(\mu\) ve varyansı \(\sigma^2 > 0\) olan bir kitleden alınmış bir rastgele örneklem olsun. \(\mu\) için \(\hat\mu_1 = X_1\) ve \(\hat\mu_2 = \bar X\) tahmin edicilerini etkinlik bakımından karşılaştırınız.
Çözüm
İkisi de yansızdır: \(E(X_1) = \mu\) ve Örnek 11.1 uyarınca \(E(\bar X) = \mu\). Varyansları \[ \operatorname{Var}(X_1) = \sigma^2, \qquad \operatorname{Var}(\bar X) = \frac{\sigma^2}{n} \] olur. \(n \ge 2\) iken \(\sigma^2 > \sigma^2/n\) olduğundan \(\bar X\), \(X_1\)’den daha etkindir ve göreli etkinlik \[ e(\bar X, X_1) = \frac{\operatorname{Var}(X_1)}{\operatorname{Var}(\bar X)} = \frac{\sigma^2}{\sigma^2/n} = n \] bulunur. Tek gözleme yaslanan tahmin edicinin varyansı, bütün örneklemi kullananınkinin \(n\) katıdır.
\(\blacksquare\)
Örnek 11.19 (İlk ve Son Gözlemin Ortalaması) Ortalaması \(\mu\) ve varyansı \(\sigma^2 > 0\) olan bir kitleden \((X_1, X_2, \ldots, X_n)\), \(n \ge 2\), rastgele örneklemi alınıyor. \(T = (X_1 + X_n)/2\) tahmin edicisinin \(\bar X\)’e göre göreli etkinliğini bulunuz.
Çözüm
\(E(T) = \frac{1}{2}(\mu + \mu) = \mu\) olduğundan \(T\) yansızdır. \(X_1\) ile \(X_n\) bağımsız olduğundan \[ \operatorname{Var}(T) = \frac{1}{4}\big(\operatorname{Var}(X_1) + \operatorname{Var}(X_n)\big) = \frac{1}{4}\cdot 2\sigma^2 = \frac{\sigma^2}{2} . \] Buna göre \[ e(\bar X, T) = \frac{\operatorname{Var}(T)}{\operatorname{Var}(\bar X)} = \frac{\sigma^2/2}{\sigma^2/n} = \frac{n}{2} . \] \(n = 2\) iken \(T = \bar X\)’tir ve oran 1’dir. \(n > 2\) için oran 1’den büyüktür: \(\bar X\) daha etkindir. Örneğin \(n = 10\) iken \(T\)’nin varyansı \(\bar X\)’inkinin 5 katıdır.
\(\blacksquare\)
Örnek 11.20 (Düzgün Dağılımda İki Yansız Tahmin Edicinin Etkinliği) \((X_1, X_2, \ldots, X_n)\), \(U(0, \theta)\) dağılımından alınmış bir rastgele örneklem olsun. \(\theta\)’nın iki yansız tahmin edicisi \(2\bar X\) ve \(T_3 = \frac{n+1}{n}\max\{X_1, \ldots, X_n\}\) için göreli etkinliği \(e(T_3, 2\bar X)\)’i bulunuz.
Çözüm
Örnek 11.16 ve Örnek 11.17 içinde varyansları bulduk: \[ \operatorname{Var}(2\bar X) = \frac{\theta^2}{3n}, \qquad \operatorname{Var}(T_3) = \frac{\theta^2}{n(n+2)} . \] Tanımdan \[ e(T_3, 2\bar X) = \frac{\operatorname{Var}(2\bar X)}{\operatorname{Var}(T_3)} = \frac{\theta^2/(3n)}{\theta^2/\big(n(n+2)\big)} = \frac{n+2}{3} . \] \(n = 1\) iken oran 1’dir; gerçekten de o zaman iki tahmin edici de \(2X_1\)’dir. \(n \ge 2\) için oran 1’den büyüktür, yani \(T_3\) daha etkindir; örneğin \(n = 10\) iken \(2\bar X\)’in varyansı \(T_3\)’ünkünün 4 katıdır. Örneklem büyüdükçe fark sınırsız artar.
\(\blacksquare\)
Örnek 11.18 ve Örnek 11.19 içindeki tahmin ediciler gözlemlerin ağırlıklı toplamlarıdır. Bu tür tahmin ediciler arasında örneklem ortalamasının en iyisi olduğunu gösterebiliriz.
Teorem 11.3 (Doğrusal Yansız Tahmin Ediciler Arasında Örneklem Ortalaması) \((X_1, X_2, \ldots, X_n)\), ortalaması \(\mu \in \mathbb{R}\) bilinmeyen ve varyansı \(\sigma^2 > 0\) olan bir kitleden alınmış bir rastgele örneklem olsun. \(a_1, \ldots, a_n\) sabitleri için \(T = \sum_{i=1}^n a_i X_i\) biçimindeki tahmin ediciler arasında \(\mu\)’nün yansız tahmin edicileri tam olarak \(\sum_{i=1}^n a_i = 1\) olanlardır ve bunlar arasında varyansı en küçük olan yalnız \(\bar X\)’tir.
İspat
Yansızlık koşulu. Doğrusallıktan \(E(T) = \sum a_i E(X_i) = \mu \sum a_i\)’dir. Bunun her \(\mu \in \mathbb{R}\) için \(\mu\)’ye eşit olması, örneğin \(\mu = 1\) alınarak, \(\sum a_i = 1\) demektir; tersine \(\sum a_i = 1\) ise her \(\mu\) için \(E(T) = \mu\) olur.
Varyans. Gözlemler bağımsız olduğundan \[ \operatorname{Var}(T) = \sum_{i=1}^n a_i^2 \operatorname{Var}(X_i) = \sigma^2 \sum_{i=1}^n a_i^2 . \] Şimdi \(\sum a_i = 1\) koşulu altında \(\sum a_i^2\)’yi alttan sınırlayalım. Kareyi açıp \(\sum a_i = 1\)’i kullanırsak \[ \sum_{i=1}^n \left(a_i - \frac{1}{n}\right)^2 = \sum_{i=1}^n a_i^2 - \frac{2}{n}\sum_{i=1}^n a_i + n\cdot\frac{1}{n^2} = \sum_{i=1}^n a_i^2 - \frac{1}{n} . \] Sol taraf kareler toplamı olduğu için negatif olamaz. Demek ki \[ \sum_{i=1}^n a_i^2 \ge \frac{1}{n}, \qquad\text{yani}\qquad \operatorname{Var}(T) \ge \frac{\sigma^2}{n} = \operatorname{Var}(\bar X), \] ve eşitlik ancak her \(i\) için \(a_i = 1/n\), yani \(T = \bar X\) iken sağlanır.
\(\blacksquare\)
Teorem yalnız doğrusal tahmin edicileri karşılaştırır. Doğrusal olmayan tahmin ediciler daha iyi olabilir: \(U(0, \theta)\) kitlesinde ortalama \(\mu = \theta/2\)’dir ve Örnek 11.20 gösteriyor ki \(\frac{n+1}{2n}\max X_i\), \(\mu\)’yü \(\bar X\)’ten çok daha küçük varyansla tahmin eder.
11.4 Tutarlılık
Şimdiye kadarki ölçütler örneklem hacmi \(n\) sabitken tahmin edicinin dağılımına baktı. Son ölçüt \(n\) büyüdükçe ne olduğunu sorar: çok veri topladığımızda tahmin edicinin hedefe yaklaşmasını isteriz. Bunu olasılıkta yakınsama ile ifade ederiz.
Tanım 11.6 (Tutarlı Tahmin Edici) \(n\) birimlik örneklemden hesaplanan tahmin ediciyi \(T_n\) ile gösterelim. Her \(\theta \in \Theta\) ve her \(\varepsilon > 0\) için \[ \lim_{n \to \infty} P\big(|T_n - \theta| \ge \varepsilon\big) = 0 \] ise, yani \(T_n\) olasılıkta \(\theta\)’ya yakınsıyorsa, \(T_n\)’ye \(\theta\) parametresinin tutarlı tahmin edicisi denir.
Yani ne kadar dar bir \(\theta \pm \varepsilon\) aralığı seçersek seçelim, örneklem yeterince büyüdüğünde \(T_n\)’nin bu aralığın dışına düşme olasılığı istediğimiz kadar küçülür. Tutarlılığı tanımdan göstermek çoğu zaman zordur; aşağıdaki teorem işi HKO hesabına indirger.
Teorem 11.4 (HKO Sıfıra Giderse Tahmin Edici Tutarlıdır) Her \(\theta \in \Theta\) için \(\displaystyle\lim_{n \to \infty} \operatorname{HKO}(T_n, \theta) = 0\) ise \(T_n\), \(\theta\)’nın tutarlı bir tahmin edicisidir.
İspat
\(\theta \in \Theta\) ve \(\varepsilon > 0\) verilsin. \(|T_n - \theta| \ge \varepsilon\) olayı \((T_n - \theta)^2 \ge \varepsilon^2\) olayıyla aynıdır. Negatif olmayan \((T_n - \theta)^2\) değişkenine Markov eşitsizliğini uygularsak \[ P\big(|T_n - \theta| \ge \varepsilon\big) = P\big((T_n - \theta)^2 \ge \varepsilon^2\big) \le \frac{E\big[(T_n - \theta)^2\big]}{\varepsilon^2} = \frac{\operatorname{HKO}(T_n, \theta)}{\varepsilon^2} . \] \(\varepsilon\) sabitken sağ taraf varsayımdan sıfıra gider. Olasılık negatif olamayacağı için sol taraf da sıfıra gider.
\(\blacksquare\)
Sonuç 11.2 (Tutarlılık için Yeter Koşul) Her \(\theta \in \Theta\) için \[ \lim_{n \to \infty} E(T_n) = \theta \qquad\text{ve}\qquad \lim_{n \to \infty} \operatorname{Var}(T_n) = 0 \] ise \(T_n\), \(\theta\)’nın tutarlı bir tahmin edicisidir. Özel olarak varyansı sıfıra giden asimptotik yansız bir tahmin edici tutarlıdır.
İspat
Teorem 11.2 uyarınca \[ \operatorname{HKO}(T_n, \theta) = \operatorname{Var}(T_n) + \big(E(T_n) - \theta\big)^2 . \] Varsayımdan ilk terim sıfıra gider; \(E(T_n) - \theta \to 0\) olduğundan ikinci terim de sıfıra gider. Böylece \(\operatorname{HKO}(T_n, \theta) \to 0\) olur ve Teorem 11.4 sonucu verir.
\(\blacksquare\)
Örnek 11.21 (Örneklem Ortalamasının Tutarlılığı) Ortalaması \(\mu\) ve varyansı \(\sigma^2 < \infty\) olan bir kitleden alınan \(n\) birimlik örneklemin ortalaması \(\bar X_n\) olsun. \(\bar X_n\)’nin \(\mu\) için tutarlı olduğunu gösteriniz.
Çözüm
\(\bar X_n\) yansız olduğundan HKO’su varyansına eşittir: \[ \operatorname{HKO}(\bar X_n, \mu) = \operatorname{Var}(\bar X_n) = \frac{\sigma^2}{n} \longrightarrow 0 \qquad (n \to \infty). \] Teorem 11.4 uyarınca \(\bar X_n\), \(\mu\)’nün tutarlı bir tahmin edicisidir. Bu sonuç, zayıf büyük sayılar yasasının tahmin dilindeki karşılığıdır.
\(\blacksquare\)
Örnek 11.22 (Ortalamanın Karesinin Tutarlılığı) \((X_1, X_2, \ldots, X_n)\), \(N(\mu, \sigma^2)\) dağılımından alınmış bir örneklem olsun. \((\bar X_n)^2\)’nin \(\mu^2\) için tutarlı olduğunu gösteriniz.
Çözüm
Örnek 11.2 içinde \((\bar X_n)^2\)’nin yanlı ama asimptotik yansız olduğunu gördük. Tutarlılık için HKO’sunu hesaplayalım. Normal kitleden alınan örneklemin ortalaması yine normaldir: \(\bar X_n \sim N(\mu, \sigma^2/n)\) (Teorem 7.4). Standartlaştırarak \(\bar X_n = \mu + \dfrac{\sigma}{\sqrt n}Z\) yazalım; burada \(Z \sim N(0, 1)\). Buna göre \[ (\bar X_n)^2 - \mu^2 = \big(\bar X_n - \mu\big)\big(\bar X_n + \mu\big) = \frac{\sigma Z}{\sqrt n}\left(2\mu + \frac{\sigma Z}{\sqrt n}\right) = \frac{2\mu\sigma}{\sqrt n}Z + \frac{\sigma^2}{n}Z^2 . \] Karesini alalım: \[ \big((\bar X_n)^2 - \mu^2\big)^2 = \frac{4\mu^2\sigma^2}{n}Z^2 + \frac{4\mu\sigma^3}{n\sqrt n}Z^3 + \frac{\sigma^4}{n^2}Z^4 . \] Standart normalin momentleri: \(E(Z^2) = 1\), simetriden \(E(Z^3) = 0\) ve \(E(Z^4) = 3\). Sonuncusu \(M_Z(t) = e^{t^2/2} = 1 + \frac{t^2}{2} + \frac{t^4}{8} + \cdots\) açılımında \(t^4/4!\)’ün katsayısından gelir: \(\frac{4!}{8} = 3\). Beklenen değer alırsak \[ \operatorname{HKO}\big((\bar X_n)^2, \mu^2\big) = \frac{4\mu^2\sigma^2}{n} + \frac{3\sigma^4}{n^2} \longrightarrow 0 \qquad (n \to \infty). \] Teorem 11.4 uyarınca \((\bar X_n)^2\), \(\mu^2\)’nin tutarlı bir tahmin edicisidir. Yani yanlı bir tahmin edici de tutarlı olabilir.
\(\blacksquare\)
Örnek 11.23 (Yansız ama Tutarsız Bir Tahmin Edici) \((X_1, X_2, \ldots, X_n)\), \(N(\mu, \sigma^2)\) dağılımından alınmış bir örneklem ve \(T_n = (X_1 + X_n)/2\) olsun. \(T_n\)’nin \(\mu\) için yansız olduğunu ama tutarlı olmadığını gösteriniz.
Çözüm
Örnek 11.19 içinde \(E(T_n) = \mu\) ve \(\operatorname{Var}(T_n) = \sigma^2/2\) bulduk. \(X_1\) ile \(X_n\) bağımsız normal olduğundan \(T_n\) de normaldir: her \(n \ge 2\) için \(T_n \sim N(\mu, \sigma^2/2)\). Yani \(T_n\)’nin dağılımı \(n\)’ye hiç bağlı değildir; örneklem büyüse de yalnız iki gözlem kullanılır.
\(\varepsilon = \sigma/\sqrt 2\) alalım. \(T_n\)’yi standartlaştırırsak \(Z = \dfrac{T_n - \mu}{\sigma/\sqrt 2} \sim N(0, 1)\) ve \[ \begin{aligned} P\big(|T_n - \mu| \ge \varepsilon\big) &= P\big(|Z| \ge 1\big) \\[1mm] &= 2\big(0{,}5 - P(0 \le Z \le 1)\big) \\[1mm] &= 2(0{,}5 - 0{,}3413) = 0{,}3174 . \end{aligned} \] Burada \(P(0 \le Z \le 1) = 0{,}3413\) değeri standart normal tablosundan okunur. Bu olasılık her \(n\) için aynıdır, dolayısıyla \(n \to \infty\) iken sıfıra gitmez. O hâlde \(T_n\) yansız olduğu hâlde tutarlı değildir. Aynı sonuç Teorem 11.4 ile de uyumludur: \(\operatorname{HKO}(T_n, \mu) = \sigma^2/2\) sıfıra gitmez.
\(\blacksquare\)
Özetle: yansızlık tahmin edicinin merkezine, etkinlik yayılımına, hata kareler ortalaması ikisinin toplam etkisine, tutarlılık ise büyük örneklemlerdeki davranışına bakar. Bu ölçütlerin hiçbiri diğerlerini tek başına garanti etmez. Nokta tahminini burada bitiriyoruz. Bir sonraki kısımda tek bir sayı yerine parametreyi belli bir güvenle içeren aralıklar kuracağız; bunun için önce normal kitleden alınan örneklemlerde \(\bar X\) ve \(S^2\)’nin dağılımlarını Örneklem Dağılımları bölümünde inceleyeceğiz.