第六部分：進階主題¶

< 返回目錄 | < 上一題：GPU 容量規劃 | 下一題：故障類型診斷 >

第 7 題：二元常態與相關性分析¶

場景：奇怪的相關性¶

你在 Grafana 上盯著兩條曲線——響應時間和錯誤率。

「奇怪，每次響應時間飆高的時候，錯誤率也跟著上升...」你喃喃自語。

同事湊過來：「這是巧合嗎？還是有因果關係？」

你想了想：「不一定是因果，但可能有相關性。如果能量化這個關係，也許可以用響應時間來預警錯誤率即將超標。」

你的問題：響應時間和錯誤率之間，有沒有數學上可量化的關聯？能不能用一個來預測另一個？

(a) 相關係數估計¶

3 分 ・大三

第一個問題：如何量化「兩個變數一起變動」的程度？

你需要知道：描述兩個變數聯合分布的數學工具

假設某時段的（平均響應時間 $X$, 錯誤率 $Y$）服從二元常態分布。

題目：

寫出二元常態的聯合 PDF
從 $n = 100$ 組觀測計算樣本相關係數 $\hat{\rho}$
說明 $\rho = 0$ 與「$X$、$Y$ 獨立」的關係

解答

聯合 PDF：

\[f_{X,Y}(x,y) = \frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}} \exp\left(-\frac{Q}{2(1-\rho^2)}\right)\]

其中 $Q = \left(\frac{x-\mu_X}{\sigma_X}\right)^2 - 2\rho\left(\frac{x-\mu_X}{\sigma_X}\right)\left(\frac{y-\mu_Y}{\sigma_Y}\right) + \left(\frac{y-\mu_Y}{\sigma_Y}\right)^2$
樣本相關係數：

\[\hat{\rho} = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum(x_i-\bar{x})^2 \sum(y_i-\bar{y})^2}}\]
二元常態特殊性質：$\rho = 0$ 等價於 $X \perp Y$

（對一般分布，$\rho = 0$ 只表示「線性無關」，不一定獨立）

這個計算有什麼用？

量化觀察：你的直覺「響應時間高時錯誤率也高」可以用 $\rho$ 來量化。

$\rho > 0$：正相關——一個高，另一個也傾向高
$\rho < 0$：負相關——一個高，另一個傾向低
$|\rho|$ 越接近 1：關聯越強

計算出 $\hat{\rho} = 0.6$，說明有中等程度的正相關。

數學小結：你剛才發現了二元 Normal 分布

當兩個變數有線性相關性時，可以用 二元 Normal 分布 建模。

性質	公式
邊際分布	$X \sim N(\mu_X, \sigma_X^2)$，$Y \sim N(\mu_Y, \sigma_Y^2)$
相關係數	$\rho = \frac{\text{Cov}(X,Y)}{\sigma_X \sigma_Y}$，$-1 \leq \rho \leq 1$
獨立性	二元常態下，$\rho = 0 \Leftrightarrow X \perp Y$

重要性質：二元常態的邊際分布和條件分布都是常態！

進階挑戰：ρ = 0 就代表獨立嗎？¶

4 分 ・大三

你算出響應時間 $X$ 和錯誤率 $Y$ 的相關係數 $\rho \approx 0$。同事說：「太好了，它們獨立！」

但你猶豫了...

你需要知道：$\rho = 0$ 只表示「線性無關」，不一定獨立！

題目：考慮 $(X, Y)$ 的聯合 PDF： $$f(x, y) = \begin{cases} \frac{1}{\pi} & \text{if } x^2 + y^2 \leq 1 \\ 0 & \text{otherwise} \end{cases}$$ （均勻分布在單位圓盤上）

求邊際分布 $f_X(x)$
計算 $\text{Cov}(X, Y)$，驗證 $\rho = 0$
判斷 $X$ 和 $Y$ 是否獨立（檢驗 $f(x,y) = f_X(x) f_Y(y)$）

提示

邊際分布：對 $y$ 積分，積分範圍是 $[-\sqrt{1-x^2}, \sqrt{1-x^2}]$
利用圓的對稱性：$E[X] = E[Y] = 0$，$E[XY] = ?$
獨立性：取一個具體的點 $(0.5, 0.5)$，比較 $f(0.5, 0.5)$ 和 $f_X(0.5) \cdot f_Y(0.5)$

解答

Step 1：邊際分布

\[f_X(x) = \int_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}} \frac{1}{\pi} \, dy = \frac{2\sqrt{1-x^2}}{\pi}, \quad -1 \leq x \leq 1\]

同理 $f_Y(y) = \frac{2\sqrt{1-y^2}}{\pi}$

Step 2：計算 Cov(X, Y)

由對稱性，$E[X] = E[Y] = 0$

\[\text{Cov}(X, Y) = E[XY] - E[X]E[Y] = E[XY]\]

\[E[XY] = \iint_{x^2+y^2 \leq 1} xy \cdot \frac{1}{\pi} \, dx \, dy\]

由圓的對稱性，$E[XY] = 0$（被積函數 $xy$ 關於原點反對稱）

所以 $\rho = 0$

Step 3：獨立性判斷

如果獨立，則 $f(x,y) = f_X(x) \cdot f_Y(y) = \frac{4\sqrt{(1-x^2)(1-y^2)}}{\pi^2}$

在點 $(0.5, 0.5)$： - 實際：$f(0.5, 0.5) = \frac{1}{\pi} \approx 0.318$（因為 $0.5^2 + 0.5^2 = 0.5 < 1$） - 假設獨立：$f_X(0.5) \cdot f_Y(0.5) = \frac{4 \times 0.866 \times 0.866}{\pi^2} \approx 0.304$

$0.318 \neq 0.304$，不獨立！

這個計算有什麼用？

考試必考：「不相關」和「獨立」的區別是經典考點。

不相關（$\rho = 0$）：只說明沒有線性關係
獨立：完全沒有任何關係（$f(x,y) = f_X(x) f_Y(y)$）

獨立 $\Rightarrow$ 不相關，但不相關 $\not\Rightarrow$ 獨立！

數學小結：獨立性 vs 不相關

性質	符號	含義	條件
獨立	$X \perp Y$	$f(x,y) = f_X(x)f_Y(y)$	強條件
不相關	$\rho = 0$	$\text{Cov}(X,Y) = 0$	弱條件
關係		獨立 → 不相關	但反之不成立
例外		二元常態下：$\rho = 0 \Leftrightarrow$ 獨立	特殊！

(b) 條件分布預警¶

4 分 ・碩一

更進一步的問題：知道 $\rho = 0.6$，那如果知道響應時間，能預測錯誤率嗎？

這就是「條件期望」的應用——用已知資訊縮小不確定性。

你需要知道：給定 $X = x$ 時，$Y$ 的條件分布

題目：

推導 $Y | X = x$ 的條件分布
若 $\rho = 0.6$，$\mu_X = 2$s，$\sigma_X = 0.3$s，$\mu_Y = 0.05$，$\sigma_Y = 0.01$，當 $X = 3$s 時，預測 $E[Y|X=3]$
設計預警規則：響應時間超過多少時，預期錯誤率會超過 10%？

解答

二元常態的條件分布：

\[Y | X = x \sim N\left(\mu_Y + \rho \frac{\sigma_Y}{\sigma_X}(x - \mu_X), \sigma_Y^2(1-\rho^2)\right)\]

條件期望是 $x$ 的線性函數！
$E[Y|X=3] = 0.05 + 0.6 \times \frac{0.01}{0.3} \times (3 - 2) = 0.05 + 0.02 = 0.07$

預期錯誤率 7%
解 $E[Y|X=x_0] = 0.10$：

$0.05 + 0.6 \times \frac{0.01}{0.3} \times (x_0 - 2) = 0.10$

$0.02(x_0 - 2) = 0.05$

$x_0 = 4.5$ 秒

預警規則：當響應時間 > 4.5 秒，預警錯誤率可能超標。

這個計算有什麼用？

建立預警系統：

不用等到錯誤率真的超標才告警
當響應時間飆高時，就可以提前預警

比直接監控更早：響應時間異常通常比錯誤率上升更早發生（因為系統先變慢，然後才開始超時失敗）。

響應時間	預期錯誤率	動作
2s（正常）	5%	正常
3s	7%	注意
4.5s	10%	預警
6s	13%	告警

進階挑戰：推導二元常態的條件分布¶

4 分 ・大三

「你怎麼知道 $Y|X$ 是常態分布？能推導嗎？」

你需要知道：從聯合 PDF 推導條件 PDF 的完整過程

題目：設 $(X, Y)$ 服從二元常態，聯合 PDF 為： $$f(x,y) = \frac{1}{2\pi\sigma_X\sigma_Y\sqrt{1-\rho^2}} \exp\left(-\frac{Q}{2(1-\rho^2)}\right)$$ 其中 $$Q = \frac{(x-\mu_X)^2}{\sigma_X^2} - 2\rho\frac{(x-\mu_X)(y-\mu_Y)}{\sigma_X\sigma_Y} + \frac{(y-\mu_Y)^2}{\sigma_Y^2}$$

求邊際分布 $f_X(x)$（提示：對 $y$ 積分，配方）
求條件 PDF $f_{Y|X}(y|x) = \frac{f(x,y)}{f_X(x)}$
識別 $Y|X=x$ 的分布（期望、變異數）

提示

邊際分布的積分用 Gaussian 積分公式：$\int_{-\infty}^{\infty} e^{-ax^2} dx = \sqrt{\pi/a}$
條件 PDF 的計算：把 $Q$ 中關於 $y$ 的部分配方成 $(y - \text{某個函數})^2$ 的形式
觀察指數裡的形式，識別出 Normal 分布

解答

Step 1：邊際分布（略證）

對 $y$ 積分，利用 Gaussian 積分公式： $$f_X(x) = \frac{1}{\sqrt{2\pi}\sigma_X} \exp\left(-\frac{(x-\mu_X)^2}{2\sigma_X^2}\right)$$ 即 $X \sim N(\mu_X, \sigma_X^2)$

Step 2：條件 PDF

\[f_{Y|X}(y|x) = \frac{f(x,y)}{f_X(x)}\]

將 $Q$ 中關於 $y$ 的部分配方： $$Q = \left(\frac{y - \mu_Y - \rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X)}{\sigma_Y\sqrt{1-\rho^2}}\right)^2 + \text{(與 } y \text{ 無關的項)}$$

Step 3：識別分布

\[Y|X=x \sim N\left(\mu_Y + \rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X), \; \sigma_Y^2(1-\rho^2)\right)\]

條件期望：$E[Y|X=x] = \mu_Y + \rho\frac{\sigma_Y}{\sigma_X}(x-\mu_X)$
條件變異數：$\text{Var}(Y|X) = \sigma_Y^2(1-\rho^2)$（與 $x$ 無關！）

這個推導有什麼用？

考試必考：二元常態的條件分布是經典題型。

記憶技巧： - 條件期望是 $X$ 的線性函數（斜率 = $\rho\sigma_Y/\sigma_X$） - 條件變異數是常數（不依賴 $X$） - $|\rho|$ 越大 → 條件變異數越小 → 預測越準

數學小結：二元常態的條件分布

性質	公式
條件分布	$Y \mid X=x \sim N(\mu_{Y \mid X}, \sigma_{Y \mid X}^2)$
條件期望	$\mu_{Y \mid X} = \mu_Y + \rho\frac{\sigma_Y}{\sigma_X}(x - \mu_X)$
條件變異數	$\sigma_{Y \mid X}^2 = \sigma_Y^2(1 - \rho^2)$

幾何意義： - 條件期望是迴歸線：$E[Y \mid X=x] = a + bx$ - 條件變異數是殘差變異：預測誤差的大小

第 7 題小結：你的相關性分析工具箱¶

「響應時間高時，錯誤率也高？」
    │
    ├─► 問題 1：如何量化這個關聯？
    │       └─► 工具：相關係數 ρ（二元 Normal）
    │
    ▼
「ρ = 0.6，中等正相關」
    │
    ├─► 問題 2：能用響應時間預測錯誤率嗎？
    │       └─► 工具：條件期望 E[Y|X=x]
    │
    ▼
「當 X > 4.5s，預期錯誤率 > 10%」
    │
    └─► 應用：比直接監控更早的預警系統

< 返回目錄 | < 上一題：GPU 容量規劃 | 下一題：故障類型診斷 >

性質	公式
邊際分布	\(X \sim N(\mu_X, \sigma_X^2)\)，\(Y \sim N(\mu_Y, \sigma_Y^2)\)
相關係數	\(\rho = \frac{\text{Cov}(X,Y)}{\sigma_X \sigma_Y}\)，\(-1 \leq \rho \leq 1\)
獨立性	二元常態下，\(\rho = 0 \Leftrightarrow X \perp Y\)

性質	符號	含義	條件
獨立	\(X \perp Y\)	\(f(x,y) = f_X(x)f_Y(y)\)	強條件
不相關	\(\rho = 0\)	\(\text{Cov}(X,Y) = 0\)	弱條件
關係		獨立 → 不相關	但反之不成立
例外		二元常態下：\(\rho = 0 \Leftrightarrow\) 獨立	特殊！

性質	公式
條件分布	\(Y \mid X=x \sim N(\mu_{Y \mid X}, \sigma_{Y \mid X}^2)\)
條件期望	\(\mu_{Y \mid X} = \mu_Y + \rho\frac{\sigma_Y}{\sigma_X}(x - \mu_X)\)
條件變異數	\(\sigma_{Y \mid X}^2 = \sigma_Y^2(1 - \rho^2)\)