Tugas Kelompok 2

7.27

Show that the first order statistic $Y_1$ of a random sample of size $n$ from the distribution having p.d.f. $f(x;\theta )=e^{-(x-\theta )},\theta <x<\infty ,-\infty <\theta <\infty$, zero elsewhere, is a complete sufficient statistic for $\theta$. Fin the unique function of this statistic which is the unbiased unbiased minimum variance estimator of $\theta$.

Jawab

Misalkan $X$ sampel acak dengan pdf $f(x;\theta )=e^{-(x-\theta )}$, $\theta <x<\infty$, $-\infty <\theta <\infty$. cdf dari $X$ adalah $F(x;\theta )={\int }_{\theta }^x{e}^{-(t-\theta )}dt={\left[-e^{-(t-\theta )}\right]}_{\theta }^x=1-e^{-(x-\theta )}$

Berdasarkan teorema PDF marginal dari statistik terurut, pdf dari $Y_1$ dapat diperoleh dengan

$$\begin{array}{rl}{g}_1(y_1;\theta )& =n{\left[1-F\left(y_1\right)\right]}^{n-1}f\left(y_1\right)\\ & =n{\left[1-(1-e^{-(y_1-\theta )})\right]}^{n-1}{e}^{-(y_1-\theta )}\\ & =n{\left[e^{-(y_1-\theta )}\right]}^{n-1}{e}^{-(y_1-\theta )}\\ & =n{e}^{-n(y_1-\theta )},\theta <y_1<\infty \end{array}$$

Perhatikan bahwa fungsi likelihood dari sampel $\mathbf{X}=(X_1,\dots ,X_n)$ adalah

$$\begin{array}{rl}L(\theta ;\mathbf{x})& =\prod _{i=1}^{n}f(x_i;\theta )\\ & =\prod _{i=1}^n{e}^{-(x_i-\theta )}\\ & =e^{-\sum x_i+n\theta }\\ & =e^{n\theta }{e}^{-\sum x_i}\\ & =\left(\frac{g_1(y_1;\theta )}{n{e}^{-n{y}_1}}\right)\cdot e^{-\sum x_i}\end{array}$$

Berdasarkan teorema faktorisasi Neyman, karena $L(\theta ;\mathbf{x})$ dapat difaktorkan menjadi perkalian oleh suatu fungsi dari $Y_1$ yang bergantung dengan $\theta$, dengan suatu fungsi yang tidak bergantung dengan $\theta$, maka $Y_1$ adalah statistik cukup untuk $\theta$.

Note

Because the support of pdf of $Y_1$ is $\theta <y_1<\infty$, which depends upon $\theta$, then we cannot use Regular Exponential Class definition to prove that $Y_1$ is a complete statistic, as it violates the first condition where $\mathcal{S}$ does not depend upon $\theta$.

Instead, we will use pmf definition by showing that if $E[u(Y_1)]=0$, then $u(y_1)=0$ almost surely.

Andaikan benar bahwa $E[u(Y_1)]=0$ untuk setiap $\theta \in \Omega$. Artinya,

$${\int }_{\theta }^{\infty }u(y_1)\cdot n{e}^{-n(y_1-\theta )}d{y}_1=0,\forall \theta \in \Omega$$

Misalkan $w=g(y_1)=y_1-\theta$ sehingga $g^{-1}(w)=w+\theta$, $\frac{d}{dw}{g}^{-1}(w)=1$, $g(\theta )=0$ dan ${\lim }_{y_1\to \infty }g(y_1)=\infty$ . Maka, dengan substitusi variabel integral,

$$\begin{array}{rl}{\int }_{\theta }^{\infty }u(y_1)\cdot n{e}^{-n(y_1-\theta )}d{y}_1& =0\\ {\int }_a^{b}f(y_1)d{y}_1={\int }_{g(a)}^{g(b)}f(g^{-1}(w))\cdot \left|\frac{d}{dw}{g}^{-1}(w)\right|dw& =0\\ {\int }_0^{\infty }u(g^{-1}(w))\cdot n{e}^{-n(g^{-1}(w)-\theta )}\cdot 1dw& =0\\ {\int }_0^{\infty }u(w+\theta )\cdot n{e}^{-nw}dw& =0,\forall \theta \in \Omega \end{array}$$

Diketahui bahwa $n{e}^{-nw}$ pada $(0,\infty )$ adalah pdf dari distribusi eksponensial, yang merupakan anggota regular exponential class, sehingga komplit.

Karena keluarga $\{n{e}^{-nw}:w>0\}$ komplit, maka

$${\int }_0^{\infty }u(w+\theta )\cdot n{e}^{-nw}dw=0⟹u(w+\theta )=u(y_1)=0\text{a.e.},\forall \theta \in \Omega$$

Karena jika benar bahwa $E[u(Y_1)]=0$ untuk setiap $\theta \in \Omega$ diperoleh $u(y_1)=0$ almost surely, maka berdasarkan definisi, keluarga $\{g_1(y_1;\theta ):\theta \in \Omega \}$ komplit.

Karena $Y_1$ adalah statistik cukup $\theta$, dan pdf-nya berasal dari keluarga pdf yang komplit, berdasarkan definisi, maka $Y_1$ adalah statistik cukup yang komplit.

Perhatikan bahwa

$$\begin{array}{rl}E[Y_1]& ={\int }_{\theta }^{\infty }y\cdot n{e}^{-n(y-\theta )}dy\\ & ={\int }_0^{\infty }(u+\theta )n{e}^{-nu}du(\text{misal }u=y-\theta )\\ & ={\int }_0^{\infty }u\cdot n{e}^{-nu}du+\theta {\int }_0^{\infty }n{e}^{-nu}du\\ & =\frac{1}{n}+\theta \end{array}$$

Maka, $E\left[Y_1-\frac{1}{n}\right]=E[Y_1]-\frac{1}{n}=\theta$ adalah estimator dari $Y_1$ yang tak bias. Ingat bahwa $Y_1$ adalah statistik cukup yang komplit. Sehingga, berdasarkan teorema Lehmann-Scheffé, $Y_1-\frac{1}{n}$ adalah MVUE untuk $\theta$.

$\therefore$ MVUE dari $\theta$ adalah $\boxed{Y_1-\frac{1}{n}}$.

7.43

Let $X_1,X_2,\dots ,X_n$ be a random sample from a Poisson distribution with parameter $\theta >0$. Find the unbiased unbiased minimum variance estimator of $\mathrm{Pr}(X\le 1)=(1+\theta )e^{-\theta }$.

Hint: Let $u(x_1)=1,x_1\le 1$, zero elsewhere, and find $E[u(X_1)|Y=y]$, where $Y={\sum }_i^n{X}_i$. Make use of Example 2, Section 4.2

Jawab

Misalkan $X_1,X_2,\dots ,X_n$ adalah sampel acak dari distribusi Poisson dengan parameter $\theta >0$. PMF dari $X_i$ adalah $f(x;\theta )=\frac{{\theta }^x{e}^{-\theta }}{x!},x=0,1,2,\dots$

Perhatikan bahwa PMF ini dapat ditulis sebagai $f(x;\theta )=\exp [x\ln \theta -\theta -\ln (x!)]$

yang merupakan anggota regular exponential class dengan support tetap $\{0,1,2,\dots \}$ yang tidak bergantung pada $\theta$, sehingga keluarga distribusi Poisson adalah komplit.

Fungsi likelihood dari sampel adalah

$$\begin{array}{rl}L(\theta ;\mathbf{x})& =\prod _{i=1}^n\frac{{\theta }^{x_i}{e}^{-\theta }}{x_i!}\\ & =\frac{{\theta }^{{\sum }_{i=1}^n{x}_i}{e}^{-n\theta }}{{\prod }_{i=1}^n{x}_i!}\end{array}$$

Berdasarkan teorema faktorisasi Neyman, $Y={\sum }_{i=1}^n{X}_i$ adalah statistik cukup untuk $\theta$. Karena keluarga Poisson komplit, maka $Y$ adalah statistik cukup yang komplit untuk $\theta$.

Note

Note that you can also use Theorem 7.5.2 to prove $Y=\sum X_i$ is is a Complete Sufficient Statistic.

Definisikan $u(X_1)=\{\begin{array}{ll}1,& X_1\le 1\\ 0,& X_1>1\end{array}$

Perhatikan bahwa

$$\begin{array}{rl}E[u(X_1)]& =P(X_1\le 1)\\ & =P(X_1=0)+P(X_1=1)\\ & =e^{-\theta }+\theta e^{-\theta }\\ & =(1+\theta )e^{-\theta }\end{array}$$

Jadi $u(X_1)$ adalah estimator tak bias untuk $(1+\theta )e^{-\theta }$.

Berdasarkan teorema Lehmann-Scheffé, karena $Y$ adalah statistik cukup yang komplit, maka MVUE dari $(1+\theta )e^{-\theta }$ adalah $\varphi (Y)=E[u(X_1)|Y]$

Hitung $\varphi (y)$:

$$\begin{array}{rl}\varphi (y)& =E[u(X_1)|Y=y]\\ & =P(X_1\le 1|Y=y)\\ & =P(X_1=0|Y=y)+P(X_1=1|Y=y)\end{array}$$

Berdasarkan Example 2, Section 4.2, jika $X_1\sim \text{Poisson}(\theta )$ dan ${\sum }_{i=2}^n{X}_i\sim \text{Poisson}((n-1)\theta )$ independen, maka $Y=X_1+{\sum }_{i=2}^n{X}_i\sim \text{Poisson}(n\theta )$.

Distribusi kondisional $X_1|(Y=y)$ dapat diturunkan:

$$\begin{array}{rl}P(X_1=k|Y=y)& =\frac{P(X_1=k,{\sum }_{i=2}^n{X}_i=y-k)}{P(Y=y)}\\ & =\frac{\frac{{\theta }^k{e}^{-\theta }}{k!}\cdot \frac{[(n-1)\theta {]}^{y-k}{e}^{-(n-1)\theta }}{(y-k)!}}{\frac{(n\theta {)}^y{e}^{-n\theta }}{y!}}\\ & =\left(\genfrac{}{}{0ex}{}{y}{k}\right){\left(\frac{1}{n}\right)}^k{\left(\frac{n-1}{n}\right)}^{y-k}\end{array}$$

Jadi $X_1|(Y=y)\sim \text{Binomial}\left(y,\frac{1}{n}\right)$.

Maka:

$$\begin{array}{rl}P(X_1=0|Y=y)& ={\left(\frac{n-1}{n}\right)}^y\\ P(X_1=1|Y=y)& =\frac{y}{n}{\left(\frac{n-1}{n}\right)}^{y-1}\end{array}$$

Sehingga:

$$\begin{array}{rl}\varphi (y)& ={\left(\frac{n-1}{n}\right)}^y+\frac{y}{n}{\left(\frac{n-1}{n}\right)}^{y-1}\\ & ={\left(\frac{n-1}{n}\right)}^{y-1}\left[\frac{n-1}{n}+\frac{y}{n}\right]\\ & ={\left(\frac{n-1}{n}\right)}^{y-1}\frac{y+n-1}{n}\end{array}$$

$\therefore$ MVUE dari $\mathrm{Pr}(X\le 1)=(1+\theta )e^{-\theta }$ adalah $\boxed{\varphi (Y)={\left(\frac{n-1}{n}\right)}^Y+\frac{Y}{n}{\left(\frac{n-1}{n}\right)}^{Y-1}}$ dengan $Y={\sum }_{i=1}^n{X}_i$.