সমাধান — Chapter 2.2: Conditional Probability, Independence & Bayes' Theorem¶

অধ্যায় part-2-probability-foundations/02-02-conditional-independence-bayes.md-এর §৭ অনুশীলনীর পূর্ণ সমাধান।

৭.১ Conceptual¶

Q1 (★) — Mutually exclusive বনাম independent¶

দুটো সম্পূর্ণ ভিন্ন ধারণা:

Mutually exclusive (disjoint) একটা set-সম্পর্ক: $A \cap B = \varnothing$, অর্থাৎ একসাথে ঘটতে পারে না। এটা ঘটনাগুলোর ফলাফল-সম্পর্কিত।
Independent একটা probability-সম্পর্ক: $P(A\cap B)=P(A)P(B)$, অর্থাৎ একটার ঘটা অন্যটার সম্ভাবনা বদলায় না।

$P(A),P(B)>0$ হলে একই সাথে disjoint ও independent হওয়া অসম্ভব। কারণ disjoint হলে $A\cap B=\varnothing$, তাই $P(A\cap B)=0$। কিন্তু independent হলে $P(A\cap B)=P(A)P(B)>0$ (যেহেতু দুটোই ধনাত্মক)। $0 \ne$ (ধনাত্মক) — স্ববিরোধ। আসলে disjoint event-রা চরম dependent (নির্ভরশীল): $A$ ঘটেছে জানলেই নিশ্চিত $B$ ঘটেনি, অর্থাৎ $P(B\mid A)=0 \ne P(B)$।

Q2 (★) — Prior, likelihood, posterior¶

Prior $P(B)$: data/সাক্ষ্য দেখার আগে hypothesis $B$ সত্য হওয়ার বিশ্বাস।
Likelihood $P(A\mid B)$: hypothesis $B$ সত্য হলে এই নির্দিষ্ট data $A$ দেখার সম্ভাবনা — data কতটা $B$-এর সাথে "মানানসই"।
Posterior $P(B\mid A)$: data $A$ দেখার পরে $B$-তে হালনাগাদ (updated) বিশ্বাস।

"posterior $\propto$ likelihood $\times$ prior": নতুন বিশ্বাস = পুরোনো বিশ্বাস (prior) কে সাক্ষ্য কতটা সমর্থন করে (likelihood) তা দিয়ে গুণ করে পাওয়া যায়; $\propto$ মানে শেষে evidence $P(A)$ দিয়ে ভাগ করে সব posterior-এর যোগফল $1$ করা (normalize) বাকি। মূল কথা — সাক্ষ্য বিশ্বাসকে গুণনাত্মকভাবে সংশোধন করে, শূন্য থেকে নয়।

Q3 (★★) — Base-rate fallacy¶

Base-rate fallacy: কোনো ঘটনার শর্তাধীন সম্ভাবনা বিচার করার সময় তার আগের (পটভূমিগত) হার — base rate বা prior — উপেক্ষা করে কেবল সাক্ষ্যের নির্ভুলতা দেখা। ফলে বিরল ঘটনার ক্ষেত্রে positive সাক্ষ্যকে অতিরিক্ত গুরুত্ব দেওয়া হয়।

উদাহরণ (medical test ছাড়া) — বিমানবন্দরের সন্ত্রাসী-শনাক্তকরণ algorithm। ধরো এটা ৯৯% নির্ভুল, কিন্তু প্রকৃত সন্ত্রাসী ১ কোটিতে ১ জন। তাহলে algorithm যাকে "সন্দেহভাজন" বলবে তাদের প্রায় সবাই নিরীহ — কারণ base rate এত কম যে false-positive-এর সংখ্যা প্রকৃত ক্ষেত্রকে ছাপিয়ে যায়। অন্য উদাহরণ: spam filter যেখানে spam বিরল, কিংবা বিরল রোগের গণ-স্ক্রিনিং, কিংবা DNA-match-এ "ডাটাবেস খুঁজে পাওয়া" সন্দেহভাজন।

৭.২ Computational¶

Q4 (★) — তাস: রাজা ও লাল¶

$52$ তাসে $4$ রাজা, $26$ লাল, এবং $2$ লাল রাজা (♥K, ♦K)। তাই $P(A)=4/52=1/13$, $P(B)=26/52=1/2$, $P(A\cap B)=2/52=1/26$।

\[ P(A\mid B)=\frac{P(A\cap B)}{P(B)}=\frac{1/26}{1/2}=\frac{1}{13}, \qquad P(B\mid A)=\frac{P(A\cap B)}{P(A)}=\frac{1/26}{1/13}=\frac{1}{2}. \]

Independent? যাচাই: $P(A)P(B)=\frac{1}{13}\cdot\frac{1}{2}=\frac{1}{26}=P(A\cap B)$ ✓। হ্যাঁ, independent। স্বজ্ঞায়ও স্পষ্ট: "লাল" জানলে রাজা হওয়ার সম্ভাবনা ($1/13$) মোটেও বদলায় না — কারণ রঙ ও পদ (rank) আলাদা বৈশিষ্ট্য, প্রতিটি রঙে সমান অনুপাতে রাজা আছে।

Q5 (★★) — Spam filter¶

$P(S)=0.4$ (prior), $P(S^c)=0.6$; $P(\text{free}\mid S)=0.6$, $P(\text{free}\mid S^c)=0.04$। Bayes' theorem: $$ P(S\mid \text{free}) = \frac{P(\text{free}\mid S)P(S)}{P(\text{free}\mid S)P(S)+P(\text{free}\mid S^c)P(S^c)} = \frac{0.6\times0.4}{0.6\times0.4 + 0.04\times0.6}. $$ হিসাব: numerator $=0.24$; হরে $0.24 + 0.024 = 0.264$; তাই $$ P(S\mid \text{free}) = \frac{0.24}{0.264} = \frac{10}{11} \approx 0.909 = 90.9\%. $$ "free" শব্দটা spam-এর শক্তিশালী সাক্ষ্য — prior $40\%$ থেকে posterior $\approx 91\%$-তে লাফ দিল। (এটাই Naive Bayes spam filter-এর একটা-শব্দের রূপ; Part VI-এ অনেক শব্দ একসাথে conditional independence ধরে গুণ করা হয়।)

Q6 (★★) — সাধারণ রোগ (prevalence $0.5$)¶

একই test (sens $0.99$, fpr $0.05$), কিন্তু prior $P(D)=0.5$।

এক positive-এর পর: $$ P(D\mid +)=\frac{0.99\times0.5}{0.99\times0.5+0.05\times0.5}=\frac{0.495}{0.495+0.025}=\frac{0.495}{0.520}\approx 0.952. $$

দুই positive-এর পর (প্রথম posterior $0.9519$ কে নতুন prior ধরে): $$ P(D\mid +,+)=\frac{0.99\times0.9519}{0.99\times0.9519+0.05\times0.0481}\approx \frac{0.9424}{0.9424+0.0024}\approx 0.9975. $$

মন্তব্য: একই test, কিন্তু base rate $1\%$ থেকে $50\%$-এ ওঠায় এক positive-এর posterior $16.7\%$ থেকে $95.2\%$-এ লাফ দিল — অর্থাৎ positive-এর "অর্থ" প্রায় পুরোটাই prior/base rate-এর ওপর নির্ভর করে (চিত্র ৪-এর মূল বার্তা)।

Q7 (★★★) — Monty Hall¶

দরজা ১ বাছলে; উপস্থাপক দরজা ৩ খুলে ছাগল দেখালেন। Hypothesis: গাড়ি কোন দরজায় ($H_1,H_2,H_3$), প্রতিটির prior $1/3$। সাক্ষ্য $A=\{$উপস্থাপক দরজা ৩ খুললেন$\}$। likelihood (উপস্থাপক জানেন গাড়ি কোথায়, তোমার দরজা বা গাড়ির দরজা খোলেন না):

গাড়ি@১: উপস্থাপক দরজা ২ বা ৩ — যেকোনোটা খুলতে পারেন, তাই $P(A\mid H_1)=1/2$।
গাড়ি@২: উপস্থাপককে দরজা ৩-ই খুলতে হবে (দরজা ১ তোমার, দরজা ২-এ গাড়ি), তাই $P(A\mid H_2)=1$।
গাড়ি@৩: উপস্থাপক দরজা ৩ খুলতে পারেন না (গাড়ি ওখানে), তাই $P(A\mid H_3)=0$।

evidence: $P(A)=\tfrac12\cdot\tfrac13 + 1\cdot\tfrac13 + 0\cdot\tfrac13 = \tfrac16+\tfrac13 = \tfrac12$। Bayes: $$ P(H_2\mid A)=\frac{1\cdot\frac13}{\frac12}=\frac{2}{3}, \qquad P(H_1\mid A)=\frac{\frac12\cdot\frac13}{\frac12}=\frac{1}{3}. $$

Switch করলে গাড়ি জেতার সম্ভাবনা $2/3$, না করলে (থাকলে) $1/3$। তাই সবসময় switch করা উচিত। স্বজ্ঞা: উপস্থাপকের দরজা-খোলা আকস্মিক নয় — এটা তথ্যবহ সাক্ষ্য (তিনি জেনেশুনে একটা ছাগল-দরজা সরালেন), যা switch-দরজায় সম্ভাবনা কেন্দ্রীভূত করে।

৭.৩ Proof-based¶

Q8 (★★) — $A,B$ independent ⇒ $A,B^c$ independent¶

$A$-কে $B$ ও $B^c$-এর সাপেক্ষে বিচ্ছিন্নভাবে ভাঙি (যেহেতু $B,B^c$ partition): $$ A = (A\cap B) \cup (A\cap B^c), \quad \text{বিচ্ছিন্ন,} \implies P(A)=P(A\cap B)+P(A\cap B^c). $$ তাই $P(A\cap B^c)=P(A)-P(A\cap B)$। এখন independence ($P(A\cap B)=P(A)P(B)$) বসাই: $$ P(A\cap B^c)=P(A)-P(A)P(B)=P(A)\big(1-P(B)\big)=P(A)\,P(B^c). $$ এটাই $A$ ও $B^c$-এর independence-এর সংজ্ঞা। $\;\blacksquare$ (একইভাবে দেখানো যায় $A^c,B^c$-ও independent।)

Q9 (★★★) — Pairwise কিন্তু mutually independent নয়¶

দুটো ছক্কা: $\Omega$-তে $36$টি সমসম্ভাব্য outcome। $A=\{$প্রথমটা জোড়$\}$, $B=\{$দ্বিতীয়টা জোড়$\}$, $C=\{$যোগফল জোড়$\}$।

Marginal probabilities: প্রথম ছক্কা জোড় হওয়ার সম্ভাবনা $1/2$, তাই $P(A)=1/2$; একইভাবে $P(B)=1/2$। যোগফল জোড় হয় যখন দুটোই জোড় বা দুটোই বিজোড় — সম্ভাবনা $\frac14+\frac14=\frac12$, তাই $P(C)=1/2$।

Pairwise যাচাই: - $P(A\cap B)=P(\text{দুটোই জোড়})=\frac12\cdot\frac12=\frac14=P(A)P(B)$ ✓ - $A\cap C$: প্রথম জোড় এবং যোগফল জোড় ⟹ দ্বিতীয়টাও জোড়। তাই $A\cap C=\{$দুটোই জোড়$\}$, $P(A\cap C)=\frac14=P(A)P(C)$ ✓ - একইভাবে $P(B\cap C)=\frac14=P(B)P(C)$ ✓

তিনটি জোড়াই গুণফল-শর্ত মানে — pairwise independent।

Mutual independence ভাঙে: $A\cap B\cap C$ = (দুটোই জোড়) এবং (যোগফল জোড়)। কিন্তু দুটোই জোড় হলে যোগফল এমনিতেই জোড় — তাই $A\cap B\cap C = A\cap B = \{$দুটোই জোড়$\}$, যার $P=\frac14$। অন্যদিকে $$ P(A)P(B)P(C)=\tfrac12\cdot\tfrac12\cdot\tfrac12=\tfrac18. $$ যেহেতু $\frac14 \ne \frac18$, তাই $P(A\cap B\cap C)\ne P(A)P(B)P(C)$ — mutually independent নয়। $\;\blacksquare$

শিক্ষা: pairwise independence (প্রতি জোড়া স্বাধীন) mutual independence-এর চেয়ে দুর্বল শর্ত — তিনটে একসাথে মানে আরও বেশি কিছু চায়। এখানে $C$ আসলে $A,B$-এর ওপর নির্ভরশীল (যেকোনো দুটো জানলে তৃতীয়টা নির্ধারিত), যদিও জোড়ায় জোড়ায় তা ধরা পড়