독립사건
Updated:
요약
1. P(A∩B)=P(B)*P(A│B)=P(A)*P(B│A)
2. Total probability theorem
P(B)=P(A)P(B│A)+P(A^{c})P(B│A^{c})
3. Bayes rule
$$P(A|B)=\frac{P(A)P(B|A)}{P(B)}$$
4-1. Venn diagram is never enough to decide independence
4-2. Independence is not disjointment
ref : https://www.youtube.com/watch?v=19Ql_Q3l0GA&list=PLUl4u3cNGP61MdtwGTqZA0MreSaDybji8&index=3
확률의 독립은 숫자놀이라는 느낌을 받는다.
Independence is more than a venn diagram. Numbers need to care out right
결론 : 사건의 독립을 따지고 싶다면 벤 다이어 그램 그리지 말고 곱셈 계산을 해야 한다. 전체집합을 정확히 판별하면서.
사건의 독립 발음하기
A is independent of X
(by the symmetry of relation $P(A \cap X)=P(X)P(A)$ )
if A is independent of X, then X is independent of A
(probability of) A intersect B given X
(probability of) A given X
(probability of) B given X
$P(A \cap B | Y)=P(A | Y)*P(B | Y)$
A and B are conditionally independent
사건의 독립
인데, 수학책에 따르면 아래와 같이 정의한다고 한다.
위의 표현은 멋지고 아름답게 쓴 것이고 풀어서 쓰면 아래와 같다.
여기서 한 가지를 지적하고자 한다.
위의 두 개의 식에서는 2개 이상의 사건(random variable)을 다루고 있음을 볼 수 있다.
2개 이상의 random variable을 다루면 pairwise independence(혹은 k-wise independence)와 independence를 구분해야 하는 일이 생긴다.
이를 후술하도록 하겠다.
사건의 독립과 disjoint
그림 1. disjoint는 venn diagram으로 나타낼 수 있다.
disjoint는 위와 같이 벤 다이어그램으로 표현할 수 있다.
그러나 independence를 표현하기에 벤 다이어그램은 충분치 않다.
Disjoint $\neq$ Independence
-길게 설명하기
그림 2. disjoint has zero intersect
그림 2 와 같은 관계에서 사건 A가 발생했다는 사실을 입수했다면, 사건 B는 발생하지 않았다는 판단을 내릴 수 있다.
다시말해 사건 A가 발생했다는 사실은 사건 B의 발생에 지대한 영향을 미친다.
그러나 만일 사건 A와 B가 독립이라면
사건 A가 발생했다는 사실을 입수했다고 해서 사건 B가 발생했는지의 여부를 판별할 수 없다.
-짧게 설명하기
A and B are independent
$P(A|B)=P(A)$
A and B are disjoint
$P(A|B)=0$
조건부 확률과 사건의 독립
조건부라는 말은 사건의 독립성에 영향을 미칠 수 있다.
conditioning may affect independence
다시말해
$P(A \cap B)=P(A)*P(B)$
가 성립해도
$P(A \cap B | Y)=P(A | Y)*P(B | Y)$
는 성립하지 않을 수 있다는 것.
그림 3. A and B are independence
위 그림에서 두 집합 A와 B는 서로 독립이라고 하자.
그리고 사건 C가 발생했다는 사실을 입수했다고 하자.
사건 C가 발생했다는 사실을 알고 난 후에도 두 사건 A와 B는 독립이라고 말할 수 있는가?
그림 4. conditioning may affect independence
우리는 사건 C가 발생했다는 사실을 입수했으므로 전체집합은 $\Omega$ 에서 C로 바뀐다.
조건부 확률에서는 전체집합이 변한다. 따라서
사건 C가 발생했다는 사실을 알고 난 후에도 두 사건 A와 B는 독립이라고 말할 수 있는가?
는 물음은
$A \cap C$ 와 $B \cap C$ 가 독립인가?
라는 것을 묻는 것이다.
대부분의 경우 $A \cap C$ 와 $B \cap C$ 는 독립이 아니다.
그런데 애초에 사건의 독립 (independece)는 곱셈 결과만 맞으면 되므로 독립일 수도, 아닐 수도 있다.
pairwise independence
페어와이즈 인디펜던스
pairwise independence doesn’t imply independence
예를 들어 세 random variable Q,W,E에 대해
$P(Q \cap W) = P(Q)*P(W)$
$P(W \cap E) = P(W)*P(E)$
$P(E \cap Q) = P(E)*P(Q)$
가 성립한다고 할 때 Q,W,E는 independent한가? 답은 알 수 없다.
왜냐하면 $P(Q \cap W \cap E) = P(Q)P(W)P(E)$ 를 제시하지 않았기 때문이다.
뭔소리냐면 Q와 W, W와 E 등등 각각의 pair는 independent 한데, Q,W,E set는 independent하지 않다는 것이다.
잘 모르겠으니 예시를 보자.
-Pairwise independent example
Two independent fair coin toss
A : First toss is Head(H)
B : Second toss is Head(H)
C : First toss and second toss give same result.
그림 5.
위의 문제에서 P(A)=1/2, P(B)=1/2, A is independent of B 를 이끌어낼 수 잇다.
그리고 $P(C)=1/2, P(C \cap A) = 1/4$,
$P(A \cap B \cap C) = 1/4, P(C | A \cap B) = 1$ 임을 알 수 있다.
그리고 A,B,C는 independent 하지 않음을 알 수 있다.
$P(C) \neq P(C | A \cap B)$
즉 A와 B, B와 C, C와 A는 independent하므로 A,B,C는 pairwise independent 하지만 independent 하지는 않다는 것이다.
img source
그림 1 https://www.math-only-math.com/disjoint-of-sets-using-Venn-diagram.html
그림 2 https://en.wikipedia.org/wiki/Disjoint_sets
Ref
-
John N Tsitsiklis, Introduction to probability, 2nd ED, 2008
-
Wikipedia, pairwise independence
https://en.wikipedia.org/wiki/Pairwise_independence
- stackexchange