সমাধান — অধ্যায় ৩.২ · Types of Convergence¶

অধ্যায় ফাইল: part-3-convergence-processes/03-02-types-of-convergence.md (§৭ অনুশীলনী)। সংখ্যাগত উত্তর numpy/scipy.stats দিয়ে যাচাইযোগ্য (seed উল্লেখ থাকলে reproducible)। সংজ্ঞা: $X_n\xrightarrow{P}X$ মানে প্রতিটি $\varepsilon>0$-এ $P(\lvert X_n-X\rvert>\varepsilon)\to 0$; $X_n\xrightarrow{a.s.}X$ মানে $P(\lim_n X_n=X)=1$; $X_n\xrightarrow{d}X$ মানে $F_n(x)\to F(x)$ প্রতিটি continuity point-এ; $X_n\xrightarrow{L^p}X$ মানে $\mathbb{E}\lvert X_n-X\rvert^p\to 0$।

ক · ধারণাগত (conceptual)¶

সমাধান ১ (★)¶

মূল পার্থক্য — কোথায় "limit" নেওয়া হচ্ছে:

convergence in probability ($\xrightarrow{P}$) একটা probability-র উপর শর্ত: প্রতিটি স্থির $\varepsilon$-এ "বড় ভুল"-এর সম্ভাবনা $P(\lvert X_n-X\rvert>\varepsilon)$ ক্রমে $0$-তে যায়। কিন্তু কোন কোন sample point-এ ভুল বড়, সেটা $n$-এর সাথে বদলাতে পারে।
almost sure convergence ($\xrightarrow{a.s.}$) একটা পথ-ভিত্তিক (pathwise) শর্ত: প্রায় প্রতিটি $\omega$-এর জন্য সংখ্যা-sequence $X_n(\omega)$ আক্ষরিকভাবে $X(\omega)$-তে থিতু হয় ($\lim_n X_n(\omega)=X(\omega)$)।

Figure 4 দিয়ে: - নিচের প্যানেল ("গড়ে ছোট"): $P(\lvert X_n\rvert>\varepsilon)=$ জানালার প্রস্থ $\to 0$ — এটাই $\xrightarrow{P}$। - উপরে-ডান প্যানেল ("প্রতিটি পথে থিতু — এখানে ব্যর্থ"): স্থির $\omega=0.3$-এ $X_n(\omega)$ বারবার $1$-এ লাফ দেয়, অসীমবার — তাই sequence থিতু হয় না, $\xrightarrow{a.s.}$ ভাঙে।

সারকথা: $\xrightarrow{P}$ "গড়ে/সম্ভাবনায় ছোট", $\xrightarrow{a.s.}$ "প্রতিটি (প্রায় সব) পথে থিতু" — দ্বিতীয়টা কঠোরতর।

সমাধান ২ (★)¶

চারটি তীর (Figure 1): 1. $X_n\xrightarrow{a.s.}X\ \Rightarrow\ X_n\xrightarrow{P}X$ 2. $X_n\xrightarrow{L^p}X\ \Rightarrow\ X_n\xrightarrow{P}X$ 3. $X_n\xrightarrow{P}X\ \Rightarrow\ X_n\xrightarrow{d}X$ 4. (ফলে chain:) $a.s.$ বা $L^p\ \Rightarrow\ P\ \Rightarrow\ d$।

কেন $\xrightarrow{d}\not\Rightarrow\xrightarrow{P}$: in distribution কেবল CDF-এর মিল চায় — $X_n$ ও $X$ আলাদা probability space-এ বা ভিন্ন সম্পর্কে থাকতে পারে, একই $\omega$-এ "কাছাকাছি" হওয়ার দরকার নেই। উদাহরণ: $X\sim\mathcal N(0,1)$ আর $X_n=-X$ ধরলে $X_n$-এরও CDF standard Normal (প্রতিসম), তাই $X_n\xrightarrow{d}X$; কিন্তু $\lvert X_n-X\rvert=2\lvert X\rvert$ প্রায়ই বড়, তাই $X_n\xrightarrow{P}X$ নয়।

একমাত্র ব্যতিক্রম: limit একটা constant $c$ হলে $X_n\xrightarrow{d}c\ \Rightarrow\ X_n\xrightarrow{P}c$ (সমাধান ৩ দেখুন)।

সমাধান ৩ (★★)¶

হ্যাঁ, সত্য: $X_n\xrightarrow{d}c\ \Rightarrow\ X_n\xrightarrow{P}c$।

স্বজ্ঞা: একটা ধ্রুবক $c$-এর CDF হলো একটা step function — $c$-এর বাঁয়ে $0$, ডানে $1$, সব ভর ঠিক $c$-তে। $X_n\xrightarrow{d}c$ মানে $F_n$ সেই step-এর কাছে যায়, অর্থাৎ probability ভর $c$-র একটা সরু পরিসরে জমা হয় — তাই $X_n$ অবশ্যই $c$-র কাছাকাছি ঘন হয়, যা ঠিক $\xrightarrow{P}c$।

আনুষ্ঠানিক (sketch): যেকোনো $\varepsilon>0$-এ $$ P(\lvert X_n-c\rvert>\varepsilon)=P(X_nc+\varepsilon)\le F_n(c-\varepsilon)+\bigl(1-F_n(c+\varepsilon)\bigr). $$ $c\pm\varepsilon$ দুটোই limit CDF-এর continuity point (step শুধু $c$-তে), তাই $F_n(c-\varepsilon)\to 0$ ও $F_n(c+\varepsilon)\to 1$, ফলে ডান পাশ $\to 0$। অতএব $X_n\xrightarrow{P}c$। ∎

সমাধান ৪ (★★)¶

$L^2$ (mean-square) convergence গড়ে value (মান)-এর আকার গুনে: $\mathbb{E}\lvert X_n-X\rvert^2$। একটা বিরল spike-এ value বিশাল হলে তার বর্গ আরও বিশাল, আর সেটা probability দিয়ে গুণ হয়ে expectation-এ থেকে যায়।

ছকে দেখা যাক — ধরুন $X_n=n$ probability $\frac1n$-এ, নয়তো $0$: - $P(\lvert X_n\rvert>\varepsilon)=\frac1n\to 0$, তাই $X_n\xrightarrow{P}0$। ✓ (spike বিরল) - $\mathbb{E}[X_n^2]=n^2\cdot\frac1n=n\to\infty$, তাই $X_n\xrightarrow{L^2}0$ নয়। ✗ (spike বড়, বর্গে গুণ হয়ে গড় বাড়ায়)

মূল কথা: $\xrightarrow{P}$ শুধু "বড় ভুল কত সম্ভব" দেখে (event-এর probability), কিন্তু $\xrightarrow{L^2}$ "বড় ভুল কত বড়" তাও দেখে (value-এর মাপ)। বিরল-কিন্তু-বিশাল spike তাই $L^2$ ভাঙে, $\xrightarrow{P}$ অক্ষত রাখে — এজন্যই $\xrightarrow{P}\not\Rightarrow\xrightarrow{L^2}$।

খ · গণনামূলক (computational)¶

সমাধান ৫ (★)¶

$X_n\sim\text{Uniform}(0,\tfrac1n)$, density $=n$ on $[0,\tfrac1n]$।

(ক) $\varepsilon=0.01$-এ: $$ P(\lvert X_n\rvert>0.01)=P(X_n>0.01)= \begin{cases} 1-n(0.01)=1-0.01n, & n<100\ (\text{অর্থাৎ } 0.01<\tfrac1n),\ 0, & n\ge 100\ (\text{অর্থাৎ } 0.01\ge\tfrac1n). \end{cases} $$ (কারণ support $[0,\tfrac1n]$; $0.01$-এর ডানে যত area $=n\cdot(\tfrac1n-0.01)=1-0.01n$ যতক্ষণ $\tfrac1n>0.01$।)

(খ) $n\to\infty$-এ এটা ঠিক $0$ ($n\ge100$ থেকেই $0$), তাই $X_n\xrightarrow{P}0$। ✓

(গ) $\mathbb{E}[X_n]=\dfrac{1/n}{2}=\dfrac{1}{2n}\to 0$, এবং $$ \mathbb{E}[X_n^2]=\int_0^{1/n} x^2\cdot n\,dx=n\cdot\frac{(1/n)^3}{3}=\frac{1}{3n^2}\to 0. $$ যেহেতু $\mathbb{E}\lvert X_n-0\rvert^2=\mathbb{E}[X_n^2]=\frac{1}{3n^2}\to 0$, তাই $X_n\xrightarrow{L^2}0$ — হ্যাঁ। (এই উদাহরণে তিনটাই খাটে: $P$, $L^2$, এমনকি $a.s.$-ও, কারণ support সংকুচিত হয়ে $0$-তে যায়।)

সমাধান ৬ (★★)¶

$\bar X_n=\frac1n\sum_{i=1}^n X_i$, $\mathbb{E}[\bar X_n]=\mu$, $\operatorname{Var}(\bar X_n)=\dfrac{\sigma^2}{n}$ (iid বলে variance যোগ হয়, তারপর $\frac{1}{n^2}$)।

Chebyshev: যেকোনো $\varepsilon>0$-এ $$ P(\lvert\bar X_n-\mu\rvert>\varepsilon)\ \le\ \frac{\operatorname{Var}(\bar X_n)}{\varepsilon^2}=\frac{\sigma^2}{n\,\varepsilon^2}. $$ $n\to\infty$-এ ডান পাশ $\to 0$, তাই $P(\lvert\bar X_n-\mu\rvert>\varepsilon)\to 0$ প্রতিটি $\varepsilon$-এ — অর্থাৎ $\boxed{\bar X_n\xrightarrow{P}\mu}$ (এটাই Weak Law of Large Numbers, 3.3-এর কেন্দ্র)।

সংখ্যায়: $\sigma^2=4$, $\varepsilon=0.5$, bound $\le 0.05$ চাই: $$ \frac{4}{n(0.5)^2}=\frac{4}{0.25\,n}=\frac{16}{n}\le 0.05\ \Rightarrow\ n\ge \frac{16}{0.05}=320. $$ তাই $\boxed{n\ge 320}$। (Chebyshev রক্ষণশীল bound; বাস্তবে আরও ছোট $n$-এই কাজ হতে পারে।)

সমাধান ৭ (★★)¶

$M_n=\max(U_1,\dots,U_n)$, $U_i$ iid Uniform$(0,1)$।

(ক) $M_n\le x\iff$ সব $U_i\le x$, আর স্বাধীনতা বলে $$ F_n(x)=P(M_n\le x)=\prod_{i=1}^n P(U_i\le x)=x^n,\qquad 0\le x\le 1. $$

(খ) $T_n=n(1-M_n)$-এর tail: $$ P(T_n>t)=P!\left(M_n<1-\tfrac{t}{n}\right)=\left(1-\frac{t}{n}\right)^{n}\xrightarrow[n\to\infty]{}e^{-t},\qquad t\ge 0. $$ তাই $P(T_n\le t)\to 1-e^{-t}$, যা Exponential$(1)$-এর CDF। অতএব $\boxed{n(1-M_n)\xrightarrow{d}\text{Exponential}(1)}$। (extreme-value তত্ত্বের একটা ক্লাসিক ফল; এখানে rescale করে nondegenerate limiting distribution পাওয়া গেল।)

সমাধান ৮ (★★)¶

উৎস Exponential$(1)$: $\mu=1$, $\sigma^2=1\Rightarrow\sigma=1$। তাই $$ Z_n=\frac{\bar X_n-\mu}{\sigma/\sqrt n}=\frac{\bar X_n-1}{1/\sqrt n}=\sqrt n\,(\bar X_n-1). $$ Central Limit Theorem (3.4) অনুযায়ী যেকোনো finite-variance iid উৎসের জন্য $Z_n\xrightarrow{d}\mathcal N(0,1)$ — উৎস skewed (Exponential) হলেও। $n=30$ মাঝারি-বড়, তাই $Z_n$ আনুমানিক standard Normal (Figure 3-এ $n=30$ curve প্রায় $\Phi$-র গায়ে)।

$$ P(Z_n\le 1.96)\approx \Phi(1.96)=\boxed{0.975}. $$ (Exponential ডানে skewed বলে ছোট $n$-এ সামান্য ত্রুটি থাকে; $n=30$-এ আনুমান যথেষ্ট ভালো, $n=500$-এ প্রায় নিখুঁত।)

গ · প্রমাণভিত্তিক (proof-based)¶

সমাধান ৯ (★★) — $L^2\Rightarrow P$¶

প্রমাণ করি: $X_n\xrightarrow{L^2}X\ \Rightarrow\ X_n\xrightarrow{P}X$।

যেকোনো $\varepsilon>0$ নিন। লক্ষ করুন $\lvert X_n-X\rvert>\varepsilon \iff \lvert X_n-X\rvert^2>\varepsilon^2$। অ-ঋণাত্মক random variable $\lvert X_n-X\rvert^2$-এ Markov inequality প্রয়োগ করে: $$ P(\lvert X_n-X\rvert>\varepsilon)=P\bigl(\lvert X_n-X\rvert^2>\varepsilon^2\bigr)\ \le\ \frac{\mathbb{E}\lvert X_n-X\rvert^2}{\varepsilon^2}. $$ (এই বিশেষ রূপটাই Chebyshev-এর সাধারণ চেহারা।) ধরে নেওয়া আছে $\mathbb{E}\lvert X_n-X\rvert^2\to 0$, তাই স্থির $\varepsilon$-এ ডান পাশ $\to 0$। অতএব $P(\lvert X_n-X\rvert>\varepsilon)\to 0$ প্রতিটি $\varepsilon$-এ, অর্থাৎ $X_n\xrightarrow{P}X$। ∎

(একইভাবে যেকোনো $p\ge 1$-এ $\xrightarrow{L^p}\Rightarrow\xrightarrow{P}$, Markov-কে $\lvert\cdot\rvert^p$-এ লাগিয়ে।)

সমাধান ১০ (★★) — $P\Rightarrow d$¶

প্রমাণ করি: $X_n\xrightarrow{P}X\ \Rightarrow\ X_n\xrightarrow{d}X$। ধরুন $x$ একটা continuity point of $F$ (অর্থাৎ $F$ সেখানে ধাপহীন)। যেকোনো $\delta>0$-এ ঘটনা-অন্তর্ভুক্তি: $$ {X_n\le x}\subseteq{X\le x+\delta}\cup{\lvert X_n-X\rvert>\delta}. $$ (কারণ $X_n\le x$ হলে হয় $X\le x+\delta$, নয়তো $X>x+\delta$ অথচ $X_n\le x$ — তখন $\lvert X_n-X\rvert>\delta$।) probability নিয়ে: $$ F_n(x)=P(X_n\le x)\le F(x+\delta)+P(\lvert X_n-X\rvert>\delta). $$ $X_n\xrightarrow{P}X$ বলে শেষ পদ $\to 0$, তাই $\limsup_n F_n(x)\le F(x+\delta)$।

প্রতিসম যুক্তিতে (এবার $\{X\le x-\delta\}\subseteq\{X_n\le x\}\cup\{\lvert X_n-X\rvert>\delta\}$): $$ F(x-\delta)\le F_n(x)+P(\lvert X_n-X\rvert>\delta)\ \Rightarrow\ \liminf_n F_n(x)\ge F(x-\delta). $$ একত্রে: $$ F(x-\delta)\ \le\ \liminf_n F_n(x)\ \le\ \limsup_n F_n(x)\ \le\ F(x+\delta). $$ এখন $\delta\downarrow 0$ নিন; $x$ continuity point বলে $F(x\pm\delta)\to F(x)$, তাই $\lim_n F_n(x)=F(x)$। যেহেতু এটা $F$-এর প্রতিটি continuity point-এ খাটে, $X_n\xrightarrow{d}X$। ∎

সমাধান ১১ (★★★) — typewriter: $P$ কিন্তু $a.s.$ নয়¶

নির্মাণ (E1). sample space $\Omega=[0,1]$ Lebesgue measure-সহ। index $n$-কে $(b,j)$ দিয়ে গুনি যেখানে block $b=0,1,2,\dots$ আর $j=0,\dots,2^b-1$; সংশ্লিষ্ট interval $$ I_{b,j}=\left[\frac{j}{2^b},\ \frac{j+1}{2^b}\right),\qquad X_{(b,j)}(\omega)=\mathbf 1{\omega\in I_{b,j}}. $$ $n$ বাড়লে $(b,j)$ lexicographically এগোয়: প্রতিটি block-এ জানালা বাঁ থেকে ডানে পিছলায়, তারপর $b$ বাড়লে প্রস্থ অর্ধেক হয়ে আবার বাঁ থেকে শুরু।

(ক) $X_n\xrightarrow{P}0$: index $n=(b,j)$-এ $$ P(\lvert X_n\rvert>\varepsilon)=P(X_n=1)=P(\omega\in I_{b,j})=\text{length}(I_{b,j})=\frac{1}{2^{b}}. $$ $n\to\infty$ মানে $b\to\infty$, তাই এই probability $\to 0$ প্রতিটি $\varepsilon\in(0,1)$-এ। অতএব $X_n\xrightarrow{P}0$। ✓

(খ) কোনো $\omega$-এ converge করে না: স্থির $\omega\in[0,1)$ নিন। প্রতিটি block $b$-তে ঠিক একটি $j$ আছে যেখানে $\omega\in I_{b,j}$ (কারণ $\{I_{b,j}\}_j$ ওই $b$-তে $[0,1)$-এর একটা partition), তাই $X_{(b,j)}(\omega)=1$ — অর্থাৎ $X_n(\omega)=1$ অসীমবার (প্রতি block-এ একবার)। আবার প্রতিটি block-এ অন্তত একটা $j'\ne j$ আছে (যখন $b\ge1$) যেখানে $X_{(b,j')}(\omega)=0$, তাই $X_n(\omega)=0$-ও অসীমবার।

সুতরাং sequence $X_n(\omega)$-এ $1$ ও $0$ দুটোই অসীমবার আসে; এর কোনো limit নেই, বিশেষত $\lim_n X_n(\omega)=0$ মিথ্যা। যেহেতু এটা প্রতিটি $\omega$-তেই ঘটে (measure-$1$ সেট তো বটেই), $P(\lim_n X_n=0)=0\ne 1$, তাই $X_n\xrightarrow{a.s.}0$ মিথ্যা।

উপসংহার: $X_n\xrightarrow{P}0$ অথচ $X_n\not\xrightarrow{a.s.}0$ — তাই $\xrightarrow{P}\ \not\Rightarrow\ \xrightarrow{a.s.}$। ∎ (লক্ষণীয়: $\xrightarrow{P}$ থেকে শুধু একটা subsequence আছে যা $a.s.$ converge করে — পুরো sequence নয়।)

ঘ · কোডিং (coding)¶

সমাধান ১২ (★)¶

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(0)
eps = 0.01
ns = np.arange(1, 2001)
mc = np.empty(len(ns))
for i, n in enumerate(ns):
    x = rng.uniform(0, 1 / n, size=10_000)     # X_n ~ Uniform(0, 1/n)
    mc[i] = (np.abs(x) > eps).mean()           # estimate P(|X_n| > eps)

theory = np.maximum(0.0, 1.0 - ns * eps)       # = 1 - 0.01 n যতক্ষণ n<100, নইলে 0

plt.figure(figsize=(8, 4))
plt.plot(ns, mc, lw=1, alpha=0.7, label="Monte Carlo estimate")
plt.plot(ns, theory, "r--", lw=1.5, label=r"theory $\max(0, 1-0.01n)$")
plt.axhline(0, color="black", lw=0.8)
plt.xlabel("n"); plt.ylabel(r"$P(|X_n| > 0.01)$")
plt.title(r"$X_n \sim U(0,1/n)$ converges in probability to 0")
plt.legend(); plt.tight_layout(); plt.show()

যা দেখা যাবে: probability $n<100$-এ রৈখিকভাবে নামে, $n\ge100$ থেকে ঠিক $0$ (কারণ তখন support $[0,1/n]$ পুরোটাই $0.01$-এর বাঁয়ে)। Monte Carlo বিন্দুগুলো theory-রেখার গায়ে বসে — $X_n\xrightarrow{P}0$ নিশ্চিত।

সমাধান ১৩ (★★)¶

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(42)
n_paths, N = 200, 300
paths = np.cumsum(rng.uniform(-1, 1, size=(n_paths, N)), axis=1) / np.arange(1, N + 1)
ns = np.arange(1, N + 1)

fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(11, 4.5))

eps = 0.25
ax1.axhspan(-eps, eps, color="green", alpha=0.15)
ax1.plot(ns, paths.T, color="grey", lw=0.5, alpha=0.3)
ax1.axhline(0, color="black"); ax1.set_title(f"paths, eps={eps}")
ax1.set_xlabel("n"); ax1.set_ylabel(r"$X_n=\bar X_n$")

for eps in [0.4, 0.25, 0.1]:                    # ছোট eps -> ধীরে নামে
    outside = (np.abs(paths) > eps).mean(axis=0)
    ax2.plot(ns, outside, label=f"eps={eps}")
ax2.set_xlabel("n"); ax2.set_ylabel(r"fraction with $|X_n|>$ eps")
ax2.set_title("smaller eps -> slower decay"); ax2.legend()
plt.tight_layout(); plt.show()

যা দেখা যাবে: সব path $\pm\varepsilon$ ব্যান্ডে ঢুকে যায় (left)। outside-fraction প্রতিটি $\varepsilon$-এই $0$-তে নামে, কিন্তু $\varepsilon$ যত ছোট তত ধীরে — কারণ ছোট ব্যান্ডে ঢুকতে বড় $n$ লাগে ($\operatorname{Var}(\bar X_n)=\sigma^2/n$, এখানে Uniform$(-1,1)$-এ $\sigma^2=1/3$)।

সমাধান ১৪ (★★★)¶

import numpy as np
import matplotlib.pyplot as plt

# typewriter index (b, j): block b has 2^b windows, each width 1/2^b
blocks = [(b, j, 2**b, j/2**b, (j+1)/2**b) for b in range(7) for j in range(2**b)]
Nshow = 40
ns = np.arange(1, Nshow + 1)

omega = 0.3
val = np.array([1.0 if lo <= omega < hi else 0.0 for (_, _, _, lo, hi) in blocks[:Nshow]])
width = np.array([1.0 / m for (_, _, m, _, _) in blocks[:Nshow]])

fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(11, 4))
ax1.stem(ns, val)                                # spikes -> no a.s. limit
ax1.set_title(f"X_n at fixed omega={omega}: spikes (no a.s.)")
ax1.set_xlabel("n"); ax1.set_ylabel(r"$X_n(\omega)$")

ax2.plot(ns, width, "g-o", ms=4)                 # window width -> 0 => in prob
ax2.fill_between(ns, 0, width, color="green", alpha=0.15)
ax2.set_title(r"$P(|X_n|>\varepsilon)$ = window width -> 0 (in prob)")
ax2.set_xlabel("n"); ax2.set_ylabel(r"$P(|X_n|>\varepsilon)$")
plt.tight_layout(); plt.show()

যা দেখা যাবে: বাঁয়ে একটা স্থির $\omega$-তে value বারবার $1$-এ লাফায় (থিতু হয় না — almost sure ব্যর্থ); ডানে $P(\lvert X_n\rvert>\varepsilon)=$ জানালার প্রস্থ ধাপে-ধাপে $0$-তে নামে (in probability সফল)। দুই কাহিনি একসাথে — ঠিক §৬-এর Figure 4-এর সারাংশ। (এটাই অধ্যায়ের _code/figs_3-2.py-র fig_typewriter-এর সরল রূপ।)

যাচাই-টীকা: সমাধান ৫–৮ হাতে-গণনা; ৬-এ Chebyshev bound রক্ষণশীল (প্রকৃত $n$ ছোট হতে পারে)। সমাধান ৯–১১ আদর্শ পাঠ্যবই-প্রমাণ (Wasserman Ch. 5-এর সঙ্গে সঙ্গতিপূর্ণ)। কোড-উত্তর ১২–১৪ reproducible seed-সহ; matplotlib-এ চালালে বর্ণিত আচরণ দেখা য