সমাধান — অধ্যায় ২.৭ · Transformations ও Order Statistics

অধ্যায় ফাইল: part-2-probability-foundations/02-07-transformations-order-statistics.md (§৭ অনুশীলনী)। সব সংখ্যাগত উত্তর numpy simulation (fixed seed) ও বিশ্লেষণাত্মক গণনা দিয়ে verify করা হয়েছে।

---

ক · ধারণাগত (conceptual)

সমাধান ১ (★)

change-of-variables সূত্রে \(f_Y(y)=f_X(g^{-1}(y))\,\lvert dx/dy\rvert\)-এ absolute value লাগে কারণ density কখনো ঋণাত্মক হতে পারে না (probability density \(\ge 0\))। factor \(dx/dy\) আসলে "\(y\)-অক্ষের এক একক বদলালে \(x\)-অক্ষ কতটা বদলায়" — একটি দৈর্ঘ্য-অনুপাত (length ratio), আর দৈর্ঘ্য সবসময় ধনাত্মক।

পার্থক্য আসে decreasing \(g\)-তে। যেমন \(g(x)=-\ln x\) বা \(g(x)=1-x\) — এখানে \(g^{-1}\)-ও হ্রাসমান, তাই \(dx/dy<0\)। absolute value না নিলে \(f_Y\) ঋণাত্মক আসত, যা অসম্ভব। increasing \(g\)-তে \(dx/dy>0\), তাই absolute value কিছু বদলায় না — সেখানে এটি নিরীহ। সংক্ষেপে: absolute value-ই একটিমাত্র সূত্রে increasing ও decreasing — দুই ক্ষেত্রকেই সঠিকভাবে ধরে।

সমাধান ২ (★)

\(\max\) ও \(\min\) সহজ কারণ তাদের ঘটনা একটিমাত্র সরল যৌগিক রূপে লেখা যায় যা independence-এ সরাসরি গুণে পরিণত হয়:

\[ \{X_{(n)}\le x\}=\{X_1\le x\}\cap\cdots\cap\{X_n\le x\}\ \Rightarrow\ F_{\max}(x)=[F(x)]^n, \]

\[ \{X_{(1)}> x\}=\{X_1> x\}\cap\cdots\cap\{X_n> x\}\ \Rightarrow\ F_{\min}(x)=1-[1-F(x)]^n. \]

"সর্বোচ্চ \(\le x\)" মানে নিঃসন্দেহে "প্রত্যেকে \(\le x\)" — কোনো গণনা লাগে না।

কিন্তু একটি মাঝের order statistic, যেমন median \(X_{(k)}\) (\(k=(n+1)/2\)), \(\le x\) হওয়ার শর্ত হলো "\(n\)টির মধ্যে অন্তত \(k\)টি \(\le x\)" — এটি একটি Binomial-গণনা, \(\sum_{j=k}^{n}\binom{n}{j}[F(x)]^j[1-F(x)]^{n-j}\)। এখানে "কোন কোনটি \(\le x\)" তার বহু উপায় গুনতে হয় (combinatorial গুণাঙ্ক), তাই density-তেও \(\frac{n!}{(k-1)!(n-k)!}\) গুণাঙ্ক আসে — max/min-এ যা সরল (\(n\) বা \(1\)) হয়ে যায়।

সমাধান ৩ (★★)

PIT বলে: \(X\)-এর CDF \(F_X\) হলে \(F_X(X)\sim\text{Uniform}(0,1)\)। এর model-diagnostic প্রয়োগ: ধরা যাক আমরা দাবি করছি ডেটা \(X_1,\dots,X_n\) একটি নির্দিষ্ট distribution \(F\) থেকে এসেছে। যদি model সঠিক হয়, তবে রূপান্তরিত মান \(U_i=F(X_i)\) প্রায় \(\text{Uniform}(0,1)\) হওয়া উচিত (PIT অনুসারে)। তাই \(U_i\)-দের uniformity পরীক্ষা (যেমন histogram সমতল কিনা, বা KS test) সরাসরি model-এর fit verify করে — সমতল না হলে model ভুল। (এই ধারণাই QQ-plot ও probability-integral-transform residual diagnostic-এর ভিত্তি, Part IV/V।)

---

খ · গণনামূলক (computational)

সমাধান ৪ (★)

\(X\sim\text{Uniform}(0,1)\), \(Y=-\ln X\)। \(g(x)=-\ln x\) — \(x\in(0,1]\)-এ এটি decreasing (\(x\to 0^+\) এ \(y\to\infty\), \(x=1\) এ \(y=0\)), পরিসর \(y\ge 0\)। CDF method (decreasing, তাই দিক উল্টায়): \(y\ge 0\)-এর জন্য

\[ F_Y(y)=P(-\ln X\le y)=P(\ln X\ge -y)=P(X\ge e^{-y}). \]

\(X\sim\text{Uniform}(0,1)\), তাই \(P(X\ge e^{-y})=1-e^{-y}\) (যেহেতু \(0<e^{-y}\le 1\))। অর্থাৎ

\[ F_Y(y)=1-e^{-y},\qquad f_Y(y)=\frac{d}{dy}(1-e^{-y})=e^{-y}\quad(y\ge 0), \]

ঠিক \(\text{Exponential}(1)\)-এর CDF ও density। \(\blacksquare\)

(Jacobian দিয়েও: \(x=e^{-y}\), \(dx/dy=-e^{-y}\), \(f_Y(y)=1\cdot\lvert -e^{-y}\rvert=e^{-y}\).)

সমাধান ৫ (★★)

\(X\sim\text{Exponential}(\lambda)\): \(f_X(x)=\lambda e^{-\lambda x}\), \(x>0\)। \(Y=\sqrt X\), তাই \(g(x)=\sqrt x\) (increasing on \(x>0\)), inverse \(x=g^{-1}(y)=y^2\), এবং

\[ \frac{dx}{dy}=2y. \]

Jacobian সূত্র (\(y>0\)):

\[ f_Y(y)=f_X(y^2)\,\lvert 2y\rvert=\lambda e^{-\lambda y^2}\cdot 2y=2\lambda y\,e^{-\lambda y^2},\qquad y>0. \]

এটি একটি Rayleigh-জাতীয় density। verify (\(\lambda=1\)): এই density-র গড় \(\mathbb{E}[Y]=\frac{\sqrt\pi}{2}\approx0.8862\); \(10^6\) simulation (\(Y=\sqrt{\text{Exp}(1)}\)) দেয় \(0.8868\) — মেলে। \(\blacksquare\)

সমাধান ৬ (★★)

\(X,Y\sim\text{Exponential}(\lambda)\) independent, \(S=X+Y\)। convolution, \(s>0\) (integrand nonzero শুধু \(0\le x\le s\)-তে, কারণ \(X>0\) ও \(S-X>0\)):

\[ f_S(s)=\int_0^s \lambda e^{-\lambda x}\cdot \lambda e^{-\lambda(s-x)}\,dx =\lambda^2 e^{-\lambda s}\int_0^s \underbrace{e^{-\lambda x}e^{\lambda x}}_{=1}\,dx =\lambda^2 e^{-\lambda s}\int_0^s dx. \]

exponent-এ \(-\lambda x\) ও \(+\lambda x\) কাটাকাটি হয়ে integrand ধ্রুবক \(1\), তাই

\[ f_S(s)=\lambda^2 e^{-\lambda s}\cdot s=\lambda^2 s\,e^{-\lambda s},\qquad s>0, \]

যা ঠিক \(\text{Gamma}(\text{shape}=2,\text{rate}=\lambda)\)-এর density। verify (\(\lambda=1\)): Gamma\((2,1)\)-এর mean \(=2\), variance \(=2\); দুই Exp\((1)\)-এর যোগফলের simulation দেয় mean \(1.999\), variance \(1.997\) — মেলে। (সাধারণভাবে \(n\)টি i.i.d. Exponential-এর যোগফল Gamma\((n,\lambda)\).) \(\blacksquare\)

সমাধান ৭ (★★)

\(X_i\sim\text{Uniform}(0,1)\) i.i.d., \(F(x)=x\) on \([0,1]\)। min-density সূত্র (\(f_{X_{(1)}}(x)=n[1-F(x)]^{n-1}f(x)\)):

\[ f_{X_{(1)}}(x)=n(1-x)^{n-1}\cdot 1=n(1-x)^{n-1},\qquad 0\le x\le 1. \]

গড়:

\[ \mathbb{E}[X_{(1)}]=\int_0^1 x\cdot n(1-x)^{n-1}\,dx. \]

\(u=1-x\) (\(du=-dx\), সীমা \(1\to0\)) ধরে, অথবা Beta-integral \(\int_0^1 x^a(1-x)^b dx=\frac{a!\,b!}{(a+b+1)!}\) ব্যবহার করে (\(a=1,b=n-1\)):

\[ \mathbb{E}[X_{(1)}]=n\cdot\frac{1!\,(n-1)!}{(n+1)!}=n\cdot\frac{(n-1)!}{(n+1)!}=\frac{n}{n(n+1)}=\frac{1}{n+1}. \]

অর্থাৎ \(X_{(1)}\sim\text{Beta}(1,n)\), গড় \(\frac{1}{n+1}\to 0\) — \(n\) বাড়লে min ক্রমে \(0\)-র দিকে। (\(\max\)-এর সাথে symmetric: \(\mathbb{E}[X_{(n)}]=\frac{n}{n+1}\).) \(\blacksquare\)

---

গ · প্রমাণভিত্তিক (proof-based)

সমাধান ৮ (★★)

density। \(Y=aX+b\), \(a\neq 0\)। \(g(x)=ax+b\) monotone (increasing if \(a>0\), decreasing if \(a<0\)), inverse \(x=g^{-1}(y)=\frac{y-b}{a}\), এবং

\[ \frac{dx}{dy}=\frac{1}{a},\qquad \left\lvert\frac{dx}{dy}\right\rvert=\frac{1}{\lvert a\rvert}. \]

Jacobian সূত্রে:

\[ f_Y(y)=f_X\!\left(\frac{y-b}{a}\right)\cdot\frac{1}{\lvert a\rvert}=\frac{1}{\lvert a\rvert}f_X\!\left(\frac{y-b}{a}\right).\qquad\blacksquare \]

variance। linearity of expectation থেকে \(\mathbb{E}[Y]=a\,\mathbb{E}[X]+b\) (2.5)। সংজ্ঞা প্রয়োগ:

\[ \operatorname{Var}(Y)=\mathbb{E}\big[(Y-\mathbb{E}[Y])^2\big]=\mathbb{E}\big[(aX+b-a\mathbb{E}[X]-b)^2\big]=\mathbb{E}\big[a^2(X-\mathbb{E}[X])^2\big]=a^2\operatorname{Var}(X). \]

(\(b\) বিলীন হয় — location variance বদলায় না; \(a^2\) — scale variance-কে বর্গ-গুণ করে। standard deviation তাই \(\lvert a\rvert\)-গুণ।) \(\blacksquare\)

সমাধান ৯ (★★★)

\(X_i\sim\text{Uniform}(0,1)\), \(M_n=X_{(n)}=\max\), \(F_{M_n}(x)=x^n\) on \([0,1]\)। নতুন variable \(T_n=n(1-M_n)\ge 0\)। survival function লেখি — কোনো \(t\ge 0\) ও যথেষ্ট বড় \(n\) (যাতে \(t/n\le 1\))-এর জন্য:

\[ P(T_n>t)=P\big(n(1-M_n)>t\big)=P\Big(M_n<1-\tfrac{t}{n}\Big)=\Big(1-\tfrac{t}{n}\Big)^n. \]

(এখানে \(M_n\) continuous, তাই \(<\) ও \(\le\) অভিন্ন।) সুপরিচিত limit \(\left(1-\frac{t}{n}\right)^n\to e^{-t}\) (\(n\to\infty\)), সুতরাং

\[ \lim_{n\to\infty}P(T_n>t)=e^{-t}\quad\Rightarrow\quad \lim_{n\to\infty}P(T_n\le t)=1-e^{-t}, \]

যা ঠিক \(\text{Exponential}(1)\)-এর CDF। অর্থাৎ \(n(1-X_{(n)})\xrightarrow{d}\text{Exponential}(1)\)। ব্যাখ্যা: maximum \(1\)-এর কত কাছে আসে, সঠিক স্কেল (\(\times n\))-এ দেখলে তা Exponential — extreme-value তত্ত্বের (Part III/বাইরে) একটি ক্ষুদ্র, কিন্তু পূর্ণাঙ্গ উদাহরণ। \(\blacksquare\)

---

ঘ · কোডিং (coding)

সমাধান ১০ (★)

import numpy as np
from scipy import stats
rng = np.random.default_rng(0)

x = rng.random(1_000_000)
y = -np.log(x)                       # সমাধান ৪: Y ~ Exponential(1)
ks = stats.kstest(y[:50_000], 'expon')
print(f"E[Y] = {y.mean():.4f}  (theory 1.0)")
print(f"KS statistic = {ks.statistic:.4f},  p-value = {ks.pvalue:.3f}")

প্রকৃত আউটপুট:

E[Y] = 0.9998  (theory 1.0)
KS statistic = 0.0049,  p-value = 0.172

\(p\)-value \(=0.172\) — যথেষ্ট বড়, তাই "\(Y\) Exponential(\(1\)) নয়" এই null hypothesis প্রত্যাখ্যানের কোনো প্রমাণ নেই। গড়ও theory \(1.0\)-এর সাথে মেলে। সিদ্ধান্ত: \(-\ln X\) সত্যিই Exponential(\(1\)) দেয় (সমাধান ৪-এর সংখ্যাগত নিশ্চিতকরণ)।

সমাধান ১১ (★★)

import numpy as np
rng = np.random.default_rng(1)

n = 21                                       # বিজোড় -> median = X_((n+1)/2) = X_(11)
samp = rng.random((400_000, n))
med = np.median(samp, axis=1)
print(f"E[median] = {med.mean():.4f}   (theory 0.5)")
print(f"Var(median) = {med.var():.5f}   theory 1/(4(n+2)) = {1/(4*(n+2)):.5f}")

প্রকৃত আউটপুট:

E[median] = 0.5000   (theory 0.5)
Var(median) = 0.01085   theory 1/(4(n+2)) = 0.01087

\(k=(n+1)/2=11\), তাই median \(\sim\text{Beta}(11,11)\) — symmetric, গড় \(0.5\), variance \(\frac{k(n-k+1)}{(n+1)^2(n+2)}=\frac{11\cdot 11}{22^2\cdot 23}=\frac{1}{4(n+2)}\)। simulation দুটো মানই (mean \(0.5\), variance \(0.01085\) vs theory \(0.01087\)) মেলায়। লক্ষণীয়: median-এর variance \(\frac{1}{4(n+2)}\), যা single observation-এর \(\frac{1}{12}\)-র চেয়ে অনেক ছোট — অনেক নমুনার median অনেক বেশি স্থিতিশীল (nonparametric center estimate)।

সমাধান ১২ (★★★)

import numpy as np
rng = np.random.default_rng(2)

# inverse-CDF sampling for standard Cauchy:  F^{-1}(u) = tan(pi (u - 1/2))
u = rng.random(200_000)
c = np.tan(np.pi * (u - 0.5))               # standard Cauchy নমুনা

running_mean = np.cumsum(c) / np.arange(1, len(c) + 1)
for k in [999, 9_999, 99_999, 199_999]:
    print(f"running mean at n={k+1:>7}: {running_mean[k]:.3f}")

প্রকৃত আউটপুট (seed-নির্ভর, কিন্তু চরিত্র একই):

running mean at n=   1000: 7.492
running mean at n=  10000: 1.154
running mean at n= 100000: -0.114
running mean at n= 200000: 0.487

Cauchy-র sample mean \(n\) বাড়লেও স্থির হয় না — লাফাতে থাকে (কখনো \(7.5\), কখনো \(-0.1\))। কারণ standard Cauchy distribution-এর mean সংজ্ঞায়িত নয়: এর tail এত ভারী (\(f(x)\propto \frac{1}{1+x^2}\), \(\int \lvert x\rvert f(x)\,dx=\infty\)) যে মাঝে মাঝে বিশাল মান আসে, যা গড়কে টেনে নিয়ে যায়। ফলে Law of Large Numbers প্রযোজ্য নয় (LLN-এর শর্ত \(\mathbb{E}\lvert X\rvert<\infty\) ভঙ্গ)। তুলনায় Uniform বা Exponential-এর mean সসীম, তাই তাদের sample mean \(n\) বাড়লে দ্রুত সত্যিকারের mean-এ স্থির হয় (Part III, LLN)। এই বৈপরীত্যই inverse-transform sampling-এর শক্তি দেখায় (যেকোনো — এমনকি pathological — distribution থেকে নমুনা) এবং Part III-এ LLN-এর শর্ত কেন জরুরি তার প্রেরণা দেয়।