সমাধান — অধ্যায় ২.৭ · Transformations ও Order Statistics¶

অধ্যায় ফাইল: part-2-probability-foundations/02-07-transformations-order-statistics.md (§৭ অনুশীলনী)। সব সংখ্যাগত উত্তর numpy simulation (fixed seed) ও বিশ্লেষণাত্মক গণনা দিয়ে যাচাই করা হয়েছে।

ক · ধারণাগত (conceptual)¶

সমাধান ১ (★)¶

change-of-variables সূত্রে $f_Y(y)=f_X(g^{-1}(y))\,\lvert dx/dy\rvert$-এ absolute value লাগে কারণ density কখনো ঋণাত্মক হতে পারে না (probability density $\ge 0$)। factor $dx/dy$ আসলে "$y$-অক্ষের এক একক বদলালে $x$-অক্ষ কতটা বদলায়" — একটি দৈর্ঘ্য-অনুপাত (length ratio), আর দৈর্ঘ্য সবসময় ধনাত্মক।

পার্থক্য আসে decreasing $g$-তে। যেমন $g(x)=-\ln x$ বা $g(x)=1-x$ — এখানে $g^{-1}$-ও হ্রাসমান, তাই $dx/dy<0$। absolute value না নিলে $f_Y$ ঋণাত্মক আসত, যা অসম্ভব। increasing $g$-তে $dx/dy>0$, তাই absolute value কিছু বদলায় না — সেখানে এটি নিরীহ। সংক্ষেপে: absolute value-ই একটিমাত্র সূত্রে increasing ও decreasing — দুই ক্ষেত্রকেই সঠিকভাবে ধরে।

সমাধান ২ (★)¶

$\max$ ও $\min$ সহজ কারণ তাদের ঘটনা একটিমাত্র সরল যৌগিক রূপে লেখা যায় যা independence-এ সরাসরি গুণে পরিণত হয়: $$ {X_{(n)}\le x}={X_1\le x}\cap\cdots\cap{X_n\le x}\ \Rightarrow\ F_{\max}(x)=[F(x)]^n, $$ $$ {X_{(1)}> x}={X_1> x}\cap\cdots\cap{X_n> x}\ \Rightarrow\ F_{\min}(x)=1-[1-F(x)]^n. $$ "সর্বোচ্চ $\le x$" মানে নিঃসন্দেহে "প্রত্যেকে $\le x$" — কোনো গণনা লাগে না।

কিন্তু একটি মাঝের order statistic, যেমন median $X_{(k)}$ ($k=(n+1)/2$), $\le x$ হওয়ার শর্ত হলো "$n$টির মধ্যে অন্তত $k$টি $\le x$" — এটি একটি Binomial-গণনা, $\sum_{j=k}^{n}\binom{n}{j}[F(x)]^j[1-F(x)]^{n-j}$। এখানে "কোন কোনটি $\le x$" তার বহু উপায় গুনতে হয় (combinatorial গুণাঙ্ক), তাই density-তেও $\frac{n!}{(k-1)!(n-k)!}$ গুণাঙ্ক আসে — max/min-এ যা সরল ($n$ বা $1$) হয়ে যায়।

সমাধান ৩ (★★)¶

PIT বলে: $X$-এর CDF $F_X$ হলে $F_X(X)\sim\text{Uniform}(0,1)$। এর model-diagnostic প্রয়োগ: ধরা যাক আমরা দাবি করছি ডেটা $X_1,\dots,X_n$ একটি নির্দিষ্ট distribution $F$ থেকে এসেছে। যদি model সঠিক হয়, তবে রূপান্তরিত মান $U_i=F(X_i)$ প্রায় $\text{Uniform}(0,1)$ হওয়া উচিত (PIT অনুসারে)। তাই $U_i$-দের uniformity পরীক্ষা (যেমন histogram সমতল কিনা, বা KS test) সরাসরি model-এর fit যাচাই করে — সমতল না হলে model ভুল। (এই ধারণাই QQ-plot ও probability-integral-transform residual diagnostic-এর ভিত্তি, Part IV/V।)

খ · গণনামূলক (computational)¶

সমাধান ৪ (★)¶

$X\sim\text{Uniform}(0,1)$, $Y=-\ln X$। $g(x)=-\ln x$ — $x\in(0,1]$-এ এটি decreasing ($x\to 0^+$ এ $y\to\infty$, $x=1$ এ $y=0$), পরিসর $y\ge 0$। CDF method (decreasing, তাই দিক উল্টায়): $y\ge 0$-এর জন্য $$ F_Y(y)=P(-\ln X\le y)=P(\ln X\ge -y)=P(X\ge e^{-y}). $$ $X\sim\text{Uniform}(0,1)$, তাই $P(X\ge e^{-y})=1-e^{-y}$ (যেহেতু $0<e^{-y}\le 1$)। অর্থাৎ $$ F_Y(y)=1-e^{-y},\qquad f_Y(y)=\frac{d}{dy}(1-e^{-y})=e^{-y}\quad(y\ge 0), $$ ঠিক $\text{Exponential}(1)$-এর CDF ও density। $\blacksquare$

(Jacobian দিয়েও: $x=e^{-y}$, $dx/dy=-e^{-y}$, $f_Y(y)=1\cdot\lvert -e^{-y}\rvert=e^{-y}$.)

সমাধান ৫ (★★)¶

$X\sim\text{Exponential}(\lambda)$: $f_X(x)=\lambda e^{-\lambda x}$, $x>0$। $Y=\sqrt X$, তাই $g(x)=\sqrt x$ (increasing on $x>0$), inverse $x=g^{-1}(y)=y^2$, এবং $$ \frac{dx}{dy}=2y. $$ Jacobian সূত্র ($y>0$): $$ f_Y(y)=f_X(y^2)\,\lvert 2y\rvert=\lambda e^{-\lambda y^2}\cdot 2y=2\lambda y\,e^{-\lambda y^2},\qquad y>0. $$ এটি একটি Rayleigh-জাতীয় density। যাচাই ($\lambda=1$): এই density-র গড় $\mathbb{E}[Y]=\frac{\sqrt\pi}{2}\approx0.8862$; $10^6$ simulation ($Y=\sqrt{\text{Exp}(1)}$) দেয় $0.8868$ — মেলে। $\blacksquare$

সমাধান ৬ (★★)¶

$X,Y\sim\text{Exponential}(\lambda)$ independent, $S=X+Y$। convolution, $s>0$ (integrand nonzero শুধু $0\le x\le s$-তে, কারণ $X>0$ ও $S-X>0$): $$ f_S(s)=\int_0^s \lambda e^{-\lambda x}\cdot \lambda e^{-\lambda(s-x)}\,dx =\lambda^2 e^{-\lambda s}\int_0^s \underbrace{e^{-\lambda x}e^{\lambda x}}_{=1}\,dx =\lambda^2 e^{-\lambda s}\int_0^s dx. $$ exponent-এ $-\lambda x$ ও $+\lambda x$ কাটাকাটি হয়ে integrand ধ্রুবক $1$, তাই $$ f_S(s)=\lambda^2 e^{-\lambda s}\cdot s=\lambda^2 s\,e^{-\lambda s},\qquad s>0, $$ যা ঠিক $\text{Gamma}(\text{shape}=2,\text{rate}=\lambda)$-এর density। যাচাই ($\lambda=1$): Gamma$(2,1)$-এর mean $=2$, variance $=2$; দুই Exp$(1)$-এর যোগফলের simulation দেয় mean $1.999$, variance $1.997$ — মেলে। (সাধারণভাবে $n$টি i.i.d. Exponential-এর যোগফল Gamma$(n,\lambda)$.) $\blacksquare$

সমাধান ৭ (★★)¶

$X_i\sim\text{Uniform}(0,1)$ i.i.d., $F(x)=x$ on $[0,1]$। min-density সূত্র ($f_{X_{(1)}}(x)=n[1-F(x)]^{n-1}f(x)$): $$ f_{X_{(1)}}(x)=n(1-x)^{n-1}\cdot 1=n(1-x)^{n-1},\qquad 0\le x\le 1. $$ গড়: $$ \mathbb{E}[X_{(1)}]=\int_0^1 x\cdot n(1-x)^{n-1}\,dx. $$ $u=1-x$ ($du=-dx$, সীমা $1\to0$) ধরে, অথবা Beta-integral $\int_0^1 x^a(1-x)^b dx=\frac{a!\,b!}{(a+b+1)!}$ ব্যবহার করে ($a=1,b=n-1$): $$ \mathbb{E}[X_{(1)}]=n\cdot\frac{1!\,(n-1)!}{(n+1)!}=n\cdot\frac{(n-1)!}{(n+1)!}=\frac{n}{n(n+1)}=\frac{1}{n+1}. $$ অর্থাৎ $X_{(1)}\sim\text{Beta}(1,n)$, গড় $\frac{1}{n+1}\to 0$ — $n$ বাড়লে min ক্রমে $0$-র দিকে। ($\max$-এর সাথে symmetric: $\mathbb{E}[X_{(n)}]=\frac{n}{n+1}$.) $\blacksquare$

গ · প্রমাণভিত্তিক (proof-based)¶

সমাধান ৮ (★★)¶

density। $Y=aX+b$, $a\neq 0$। $g(x)=ax+b$ monotone (increasing if $a>0$, decreasing if $a<0$), inverse $x=g^{-1}(y)=\frac{y-b}{a}$, এবং $$ \frac{dx}{dy}=\frac{1}{a},\qquad \left\lvert\frac{dx}{dy}\right\rvert=\frac{1}{\lvert a\rvert}. $$ Jacobian সূত্রে: $$ f_Y(y)=f_X!\left(\frac{y-b}{a}\right)\cdot\frac{1}{\lvert a\rvert}=\frac{1}{\lvert a\rvert}f_X!\left(\frac{y-b}{a}\right).\qquad\blacksquare $$

variance। linearity of expectation থেকে $\mathbb{E}[Y]=a\,\mathbb{E}[X]+b$ (2.5)। সংজ্ঞা প্রয়োগ: $$ \operatorname{Var}(Y)=\mathbb{E}\big[(Y-\mathbb{E}[Y])^2\big]=\mathbb{E}\big[(aX+b-a\mathbb{E}[X]-b)^2\big]=\mathbb{E}\big[a^2(X-\mathbb{E}[X])^2\big]=a^2\operatorname{Var}(X). $$ ($b$ বিলীন হয় — location variance বদলায় না; $a^2$ — scale variance-কে বর্গ-গুণ করে। standard deviation তাই $\lvert a\rvert$-গুণ।) $\blacksquare$

সমাধান ৯ (★★★)¶

$X_i\sim\text{Uniform}(0,1)$, $M_n=X_{(n)}=\max$, $F_{M_n}(x)=x^n$ on $[0,1]$। নতুন variable $T_n=n(1-M_n)\ge 0$। survival function লেখি — কোনো $t\ge 0$ ও যথেষ্ট বড় $n$ (যাতে $t/n\le 1$)-এর জন্য: $$ P(T_n>t)=P\big(n(1-M_n)>t\big)=P\Big(M_n<1-\tfrac{t}{n}\Big)=\Big(1-\tfrac{t}{n}\Big)^n. $$ (এখানে $M_n$ continuous, তাই $<$ ও $\le$ অভিন্ন।) সুপরিচিত limit $\left(1-\frac{t}{n}\right)^n\to e^{-t}$ ($n\to\infty$), সুতরাং $$ \lim_{n\to\infty}P(T_n>t)=e^{-t}\quad\Rightarrow\quad \lim_{n\to\infty}P(T_n\le t)=1-e^{-t}, $$ যা ঠিক $\text{Exponential}(1)$-এর CDF। অর্থাৎ $n(1-X_{(n)})\xrightarrow{d}\text{Exponential}(1)$। ব্যাখ্যা: maximum $1$-এর কত কাছে আসে, সঠিক স্কেল ($\times n$)-এ দেখলে তা Exponential — extreme-value তত্ত্বের (Part III/বাইরে) একটি ক্ষুদ্র, কিন্তু পূর্ণাঙ্গ উদাহরণ। $\blacksquare$

ঘ · কোডিং (coding)¶

সমাধান ১০ (★)¶

import numpy as np
from scipy import stats
rng = np.random.default_rng(0)

x = rng.random(1_000_000)
y = -np.log(x)                       # সমাধান ৪: Y ~ Exponential(1)
ks = stats.kstest(y[:50_000], 'expon')
print(f"E[Y] = {y.mean():.4f}  (theory 1.0)")
print(f"KS statistic = {ks.statistic:.4f},  p-value = {ks.pvalue:.3f}")

প্রকৃত আউটপুট:

E[Y] = 0.9998  (theory 1.0)
KS statistic = 0.0049,  p-value = 0.172

$p$-value $=0.172$ — যথেষ্ট বড়, তাই "$Y$ Exponential($1$) নয়" এই null hypothesis প্রত্যাখ্যানের কোনো প্রমাণ নেই। গড়ও theory $1.0$-এর সাথে মেলে। সিদ্ধান্ত: $-\ln X$ সত্যিই Exponential($1$) দেয় (সমাধান ৪-এর সংখ্যাগত নিশ্চিতকরণ)।

সমাধান ১১ (★★)¶

import numpy as np
rng = np.random.default_rng(1)

n = 21                                       # বিজোড় -> median = X_((n+1)/2) = X_(11)
samp = rng.random((400_000, n))
med = np.median(samp, axis=1)
print(f"E[median] = {med.mean():.4f}   (theory 0.5)")
print(f"Var(median) = {med.var():.5f}   theory 1/(4(n+2)) = {1/(4*(n+2)):.5f}")

প্রকৃত আউটপুট:

E[median] = 0.5000   (theory 0.5)
Var(median) = 0.01085   theory 1/(4(n+2)) = 0.01087

$k=(n+1)/2=11$, তাই median $\sim\text{Beta}(11,11)$ — symmetric, গড় $0.5$, variance $\frac{k(n-k+1)}{(n+1)^2(n+2)}=\frac{11\cdot 11}{22^2\cdot 23}=\frac{1}{4(n+2)}$। simulation দুটো মানই (mean $0.5$, variance $0.01085$ vs theory $0.01087$) মেলায়। লক্ষণীয়: median-এর variance $\frac{1}{4(n+2)}$, যা single observation-এর $\frac{1}{12}$-র চেয়ে অনেক ছোট — অনেক নমুনার median অনেক বেশি স্থিতিশীল (nonparametric center estimate)।

সমাধান ১২ (★★★)¶

import numpy as np
rng = np.random.default_rng(2)

# inverse-CDF sampling for standard Cauchy:  F^{-1}(u) = tan(pi (u - 1/2))
u = rng.random(200_000)
c = np.tan(np.pi * (u - 0.5))               # standard Cauchy নমুনা

running_mean = np.cumsum(c) / np.arange(1, len(c) + 1)
for k in [999, 9_999, 99_999, 199_999]:
    print(f"running mean at n={k+1:>7}: {running_mean[k]:.3f}")

প্রকৃত আউটপুট (seed-নির্ভর, কিন্তু চরিত্র একই):

running mean at n=   1000: 7.492
running mean at n=  10000: 1.154
running mean at n= 100000: -0.114
running mean at n= 200000: 0.487

Cauchy-র sample mean $n$ বাড়লেও স্থির হয় না — লাফাতে থাকে (কখনো $7.5$, কখনো $-0.1$)। কারণ standard Cauchy distribution-এর mean সংজ্ঞায়িত নয়: এর tail এত ভারী ($f(x)\propto \frac{1}{1+x^2}$, $\int \lvert x\rvert f(x)\,dx=\infty$) যে মাঝে মাঝে বিশাল মান আসে, যা গড়কে টেনে নিয়ে যায়। ফলে Law of Large Numbers প্রযোজ্য নয় (LLN-এর শর্ত $\mathbb{E}\lvert X\rvert<\infty$ ভঙ্গ)। তুলনায় Uniform বা Exponential-এর mean সসীম, তাই তাদের sample mean $n$ বাড়লে দ্রুত সত্যিকারের mean-এ স্থির হয় (Part III, LLN)। এই বৈপরীত্যই inverse-transform sampling-এর শক্তি দেখায় (যেকোনো — এমনকি pathological — distribution থেকে নমুনা) এবং Part III-এ LLN-এর শর্ত কেন জরুরি তার প্রেরণা দেয়।