선택 공리 · 무한 · 역설

당연한 것 같은데 당연하지 않을 때

When the obvious turns treacherous — the Axiom of Choice

"비어 있지 않은 상자들에서 하나씩 고른다." 이보다 당연한 말이 있을까요? 그런데 무한이 끼어드는 순간, 이 당연한 한 문장이 — 완두콩으로 태양을 만드는 괴물 같은 결론까지 — 끌고 옵니다.

0공 하나가 공 둘이 된다

딱딱한 공 하나를 유한 개의 조각으로 자릅니다. 그 조각들을 늘이지도, 휘지도 않고 오직 돌리고 옮기기만 해서 다시 맞추면 — 원래와 똑같은 공이 두 개가 됩니다. 부피가 두 배가 된 거죠. 같은 방식으로 완두콩 하나를 잘라 태양만 한 공으로 재조립할 수도 있습니다.

바나흐–타르스키 정리 (1924)

$\mathbb R^3$의 공은 다섯 조각으로 분해해, 회전·평행이동만으로 재조립하면 원래와 합동인 공 둘을 만들 수 있다. — 농담이 아니라 증명된 정리입니다.

"부피는 보존돼야 하잖아?" 맞습니다 — 보통의 조각이라면요. 비밀은 이 조각들이 부피를 잴 수조차 없는 (비가측) 괴물이라는 데 있습니다. "모든 도형엔 부피가 있다"는 우리의 당연한 믿음이, 여기선 깨집니다. 그리고 이 괴물을 빚어내는 단 하나의 재료가 바로 — 너무나 당연해 보이는 선택 공리입니다.

1선택 공리란 무엇인가

말은 정말 시시합니다.

선택 공리 (Axiom of Choice, AC)

비어 있지 않은 집합들이 아무리 많이 모여 있어도, 각 집합에서 원소를 하나씩 동시에 골라내는 함수 (선택 함수)가 존재한다.

상자가 유한 개라면 당연합니다 — 그냥 하나씩 집으면 되니까요. 무한 개라도 고르는 규칙이 있으면 됩니다. 예컨대 "자연수로 이루어진 집합들"이 무한히 많아도, 각 집합에서 가장 작은 수를 고르면 되죠. 문제는 — 규칙을 도무지 댈 수 없는 무한입니다.

러셀의 양말

신발이 무한 켤레 있으면, 각 켤레에서 "왼쪽 신발"을 고르면 됩니다(규칙 있음, 공리 불필요). 그런데 똑같은 양말이 무한 켤레라면? 좌우를 구별할 방법이 없어, "하나씩 고르는 법"을 적어낼 수가 없습니다. 그래도 "고른 결과가 존재한다"고 우기는 것 — 그게 선택 공리입니다.

2유한에선 당연, 무한에선 — 증명도 반증도 안 된다

너무 당연해 보여서, 오랫동안 사람들은 이게 다른 기본 공리들(ZF, 체르멜로–프렝켈 집합론)에서 증명되는 정리일 거라 여겼습니다. 결말은 충격적이었죠.

괴델(1938): 선택 공리는 ZF와 모순되지 않는다(반증 불가).
코언(1963, 강제법): 선택 공리의 부정도 ZF와 모순되지 않는다(증명 불가).

즉 선택 공리는 나머지 공리들로부터 독립적입니다 — 참이라 증명할 수도, 거짓이라 반증할 수도 없는, 말 그대로 "선택"의 문제예요. 받아들이면 강력한 정리들이 따라오지만, 동시에 다음 같은 역설들도 함께 따라옵니다.

혼자가 아니다 — 연속체 가설

이런 "참도 거짓도 아닌" 명제는 또 있습니다. 연속체 가설(정수와 실수 '사이' 크기의 무한은 없다)도 역시 괴델(1940)과 코언(1963)에 의해 ZFC로부터 독립임이 밝혀졌죠. 수학의 표준 토대조차, 스스로 답하지 못하는 질문들을 품고 있습니다.

3역설의 엔진 — 비가측 집합과 자유군

바나흐–타르스키의 괴물 조각은 어디서 올까요? 가장 작은 씨앗은 비탈리 집합입니다. 구간 $[0,1]$에서 "차가 유리수면 한 식구"라는 규칙으로 점들을 무한히 많은 동치류로 가르고, 각 식구에서 대표 하나씩을 골라(← 바로 여기서 선택 공리!) 모은 집합 $V$를 봅시다. $V$를 유리수만큼 평행이동한 복제들은 서로 겹치지 않으면서 $[0,1]$ 일대를 빈틈없이 덮는데 — 그러면 $V$에는 길이(측도)를 줄 수가 없습니다. 0이라 하면 전체가 0이 되고, 양수라 하면 무한이 되거든요.

더 깊은 엔진은 자유군 $F_2$입니다. 두 개의 회전만으로도 "관계식이 전혀 없는" 자유군이 만들어지는데, 이 군은 자기 자신을 복제하는 역설적 구조를 품고 있어요. 아래 $F_2$의 케일리 그래프 — 무한히 뻗는 네 갈래 나무 — 에서 그 비밀을 봅니다.

자유군 $F_2$의 나무 — 한 조각이 세 조각으로

중심에서 네 방향($a,\,a^{-1},\,b,\,b^{-1}$)으로 무한히 갈라지는 나무입니다. "4조각으로"는 첫 글자별 네 무더기, "복제 시연"은 단 두 조각 — $W(a)$와 $a$만큼 민 $W(a^{-1})$ — 만으로 나무 전체가 채워짐을 보여 줍니다. 아래 증명과 함께 보세요.

한 줄짜리 복제 — 간단한 증명

나무 위에서 진짜 "복제"가 어떻게 일어나는지 봅시다. $F_2$의 모든 단어($e$ 제외)를 첫 글자로 네 무더기로 가릅니다: $W(a),\,W(a^{-1}),\,W(b),\,W(b^{-1})$. 이제 $W(a^{-1})$(첫 글자가 $a^{-1}$인 단어들)의 맨 앞에 $a$를 붙여 보죠. $a\cdot a^{-1}$이 소거되니, 결과는 "첫 글자가 $a$가 아닌 모든 단어" — 즉 $W(a^{-1})\cup W(b)\cup W(b^{-1})\cup\{e\}$가 됩니다.

$$ \underbrace{W(a)}_{\text{한 조각}} \;\cup\; \underbrace{a\cdot W(a^{-1})}_{\text{또 한 조각을 민 것}} \;=\; F_2 \quad(\text{나무 전체!}) $$

단 두 조각(하나는 그대로, 하나는 $a$만큼 민 것)으로 나무 전체가 만들어졌습니다. 똑같이 $W(b)\cup b\cdot W(b^{-1}) = F_2$도 성립하죠. 그러니 네 조각으로 나무 두 그루가 나옵니다 — 이게 복제의 정체입니다.

마지막 한 걸음: 회전군 $SO(3)$이 이 $F_2$를 품으므로(다음 장), 공의 점들을 이 단어 무더기대로 갈라 회전만으로 똑같이 복제할 수 있습니다. 측정 불가능한 자투리 몇 개를 손보면 — 공 하나가 공 둘이 됩니다. 그것이 바나흐–타르스키입니다.

4왜 하필 3차원부터일까 — 가환성

바나흐–타르스키의 복제는 3차원에서만 일어납니다. 똑같은 시도를 직선($\mathbb R$)이나 평면 ($\mathbb R^2$)에서 하면 — 안 됩니다. 왜일까요? 비밀은 앞 장의 그 자유군 $F_2$가 어디에 사는가에 있습니다.

3차원 회전군 $SO(3)$ 안에는 $F_2$가 통째로 들어 있습니다(서로 무관한 두 회전이면 충분). 그래서 공을 $F_2$의 역설적 분해 그대로 쪼개 복제할 수 있죠. 반면 직선·평면의 등거리 변환군은 가환적(amenable)이라 — 거칠게 말해 "평균을 매길 수 있어" — 평행이동·회전에 변하지 않는 유한가법 측도가 온 부분집합 위에 존재합니다(바나흐, 1923). 그런 측도가 있으면 "부피가 두 배"는 결코 불가능하죠.

한 줄 요약

"복제하는 군" $F_2$는 $SO(3)$엔 살지만 $\mathbb R$·$\mathbb R^2$의 등거리군엔 못 삽니다 — 그래서 역설은 3차원에서 비로소 깨어납니다. 차원이 역설의 문을 여는 셈이죠.

5ℝ도 줄 세울 수 있다? — 정렬정리와 초른의 보조정리

선택 공리는 전혀 달라 보이는 명제들과 완전히 동치입니다. 그중 둘이 특히 유명하죠.

정렬정리(체르멜로, 1904): 어떤 집합이든 잘 정렬할 수 있다 — 모든 부분집합에 "가장 작은 원소"가 있도록. 실수 $\mathbb R$조차요. (다만 그 순서를 아무도 적어낼 수는 없습니다.)
초른의 보조정리: 적당한 조건의 부분순서집합엔 극대원이 있다 — 대수·해석학 증명의 숨은 일꾼.

제리 보나의 농담

"선택 공리는 명백히 참이고, 정렬정리는 명백히 거짓이며, 초른의 보조정리야 누가 알겠어?" — 셋이 논리적으로 동치인데도 직관은 이토록 제멋대로입니다. 당연함이란 게 얼마나 못 믿을 잣대인지요.

또 하나: "모든 벡터공간은 기저를 가진다"도 선택 공리와 동치입니다. 실수 $\mathbb R$을 유리수 위의 벡터공간으로 보면 하멜 기저가 존재하는데, 이걸 쓰면 $f(x+y)=f(x)+f(y)$를 만족하면서도 $f(x)=cx$가 아닌 — 그래프가 평면을 빽빽이 채우는 괴상한 불연속 함수가 튀어나옵니다. 역시, 아무도 그 함수를 적어낼 수는 없죠.

6무한 죄수와 상자 — 선택 공리로 푸는 브레인 티저

역설만 있는 건 아닙니다. 선택 공리는 도저히 불가능해 보이는 퍼즐을 풀어내기도 합니다.

퍼즐

상자들이 100줄로 늘어서 있습니다. 한 줄은 끝없이 이어지는 상자들이고, 상자마다 실수가 하나씩 들어 있죠(상대가 악의적으로 아무 값이나 넣어도 됩니다). 수학자도 100명. $k$번 수학자는 자기 줄을 뺀 나머지 99줄을 통째로 다 본 뒤, 자기 줄에서는 딱 한 상자만 남기고 모두 열어 봅니다. 그리고 그 남긴 한 상자 속 수를 맞혀야 합니다. 서로 의논은 못 해요. 몇 명이나 맞힐 수 있을까요?

혼자라면 가망이 없어 보입니다 — 못 본 상자 하나에 무슨 수가 들었든 상대 마음이니까요. 그런데 100명이 같은 약속을 미리 정해 두면, 무려 99명이 맞힙니다. 차근차근 보죠.

1단계 — "쌍둥이 수열"끼리 묶고, 대표를 하나씩 정한다

무한 수열 둘이 어느 지점부터 끝까지 완전히 똑같으면(= 서로 다른 자리가 유한 개뿐이면) "쌍둥이"라 부릅시다. 가능한 모든 수열을 이 쌍둥이 가족으로 쪼갠 뒤, 가족마다 대표 수열을 딱 하나씩 미리 정해 둡니다. 가족이 어마어마하게 많아 "고르는 규칙"을 적을 순 없지만 — 선택 공리가 "그래도 고를 수 있다"고 보장해 주죠. 이 퍼즐에서 선택 공리가 일하는 곳은 오직 여기뿐입니다.

핵심 관찰: 한 줄에서 상자 하나를 못 봐도, 나머지 무한히 많은 상자(= 꼬리)는 다 보이니 그 줄이 어느 가족에 속하는지 알 수 있습니다(쌍둥이 여부는 유한 개 차이를 무시하니까요). 가족을 알면 그 가족의 대표 수열도 곧바로 알죠.

2단계 — 각자 이렇게 추측한다

$k$번 수학자의 작전:
① 자기 줄을 뺀 99줄을 본다. 줄마다 "그 줄이 자기 대표와 마지막으로 어긋나는 위치"를 찾고, 그중 가장 큰 값보다 한 칸 더 뒤를 위치 $N$으로 잡는다.
② 자기 줄에서 $N$번째 상자만 남기고 다 열어, 자기 줄의 가족(대표)을 알아낸다.
③ "$N$번째 상자엔 내 대표의 $N$번째 값이 들어 있다"고 답한다.

이 추측이 틀리는 경우는 딱 하나 — 내 줄이 내 대표와 $N$번째에서도 아직 다를 때뿐입니다. 즉 내 줄의 "마지막 어긋남 위치"가 $N$보다 뒤일 때, 다시 말해 내 어긋남 위치가 다른 99명의 것보다 더 멀 때죠. 그런데 100개의 위치 중 "혼자 가장 뒤"인 사람은 많아야 한 명! 그래서 최소 99명이 정답입니다. 아래에서 100명의 '어긋남 위치'를 무작위로 뽑아 직접 확인해 보세요.

100명 중 몇 명이 맞힐까 — 실패자는 많아야 하나

막대 하나가 수학자 한 명의 "어긋남 위치"(자기 줄이 대표와 마지막으로 다른 곳)입니다. 혼자 가장 높은 막대(빨강)만 틀리죠 — 최댓값이 둘 이상이면(동점) 아무도 안 틀려 전원 정답입니다. 같은 원리로, 가산무한 명의 죄수가 모자 색을 맞히는 퍼즐에선 유한 명 빼고 전부 맞힙니다.

같은 트릭, 다른 옷 — 모자 퍼즐

가산무한 명의 죄수가 한 줄로 서서 각자 빨강/파랑 모자를 씁니다. 모두가 자기 것만 빼고 다른 모든 모자를 본 뒤, 동시에 자기 색을 외쳐요. 미리 "쌍둥이 수열 + 대표" 전략을 짜 두면 — 틀리는 사람은 유한 명뿐입니다(거의 전원 정답!). 상자 퍼즐과 완전히 똑같은 엔진이죠.

7선택이 없는 세계 — 또 다른 괴담

선택 공리를 받아들이면 역설이 따라온다고 했죠. 그렇다고 버리면 평화로울까요? 천만에요. 선택 공리 없이 ZF만 있는 세계에선 이런 일들이 "일어날 수도" 있습니다.

무한한데 가산 부분집합이 없는 집합(데데킨트 유한인 무한집합) — "무한이면 $1,2,3,\dots$을 뽑을 수 있다"는 당연함이 깨집니다.
실수 전체 $\mathbb R$이 '가산집합들의 가산 합집합'일 수도 — 가산을 아무리 모아도 가산이라는 상식이 무너지죠.
기저가 없는 벡터공간도, 순서조차 매길 수 없는 집합도 나타날 수 있습니다.

즉 선택 공리는 "역설을 부르는 위험물"이면서 동시에 상식을 떠받치는 기둥입니다. 빼도 이상하고 넣어도 이상한 — 무한이란 원래 그런 곳이에요.

8다 가질 순 없다 — 결정성 공리

역설의 뿌리는 비가측 집합(비탈리)이었습니다. 그렇다면 "모든 집합에 부피를 줄 수 있는" 세계를 택하면 어떨까요? 그 길이 결정성 공리(Axiom of Determinacy, AD)입니다.

전체 선택 공리 대신 AD를 받아들이면 — 실수의 모든 집합이 르베그 가측이 됩니다. 비탈리 집합도, 바나흐–타르스키도 사라지죠! 하지만 공짜는 없습니다: 정렬정리가 깨집니다(ℝ을 더는 줄 세울 수 없어요). AD와 전체 선택 공리는 양립할 수 없습니다.

우아한 맞교환

전체 선택 공리를 택하면 대수는 매끈해지지만(모든 벡터공간에 기저, 모든 체에 대수적 폐포…) 해석엔 비가측 괴물이 깃듭니다. 결정성 공리를 택하면 모든 집합이 얌전해지지만 정렬정리를 잃죠. 무한의 세계에선 "좋은 것을 전부" 가질 수는 없습니다 — 무엇을 포기할지 고르는 것이 곧 공리의 선택입니다.

9적어낼 수 없다 — 구성주의의 반론

이 페이지 내내 한 후렴이 반복됐습니다 — "존재는 하는데 아무도 적어낼 수 없다"(ℝ의 정렬, 하멜 기저, 상자 전략의 대표들…). 바로 그 점 때문에 구성주의 수학자들은 선택 공리를 거부합니다. 이들에게 "존재한다"는 곧 "구성하는 방법을 보여라"이고, 명시적 규칙 없이 무한히 많은 선택을 "그냥 존재한다"고 선언하는 AC는 받아들일 수 없는 비약이거든요.

더 놀라운 건 디아코네스쿠 정리(1975): 구성적 집합론 안에서는 선택 공리가 배중률("$P$이거나 $\lnot P$이다")을 함의합니다. 고전 수학이 공짜로 여기는 그 배중률을, AC가 끌어내 버리는 거죠. "당연한 것"들이 사실 서로 얼마나 깊이 얽혀 있는지 보여 주는 또 하나의 장면입니다.

10그래서, 우리는 받아들인다

완두콩으로 태양을 만들고, ℝ을 줄 세우고, 적어낼 수 없는 함수를 불러내는 — 이 위험한 공리를 왜 대다수 수학자는 그냥 씁니다? 없으면 일상 수학이 무너지기 때문입니다. "모든 벡터공간은 기저를 가진다", "콤팩트 공간의 곱은 콤팩트(티호노프 정리)", 해석학과 대수학 곳곳의 정리가 선택 공리에 기대고 있어요. 선택 공리가 없으면 "모든 무한집합은 가산 부분집합을 품는다"는 소박한 사실조차 보장되지 않습니다.

역설들은 선택 공리가 틀렸다는 증거가 아니라, 무한이 우리의 유한한 직관을 벗어난다는 신호일 뿐입니다. 유한한 세계에서 갈고닦은 "당연함"이 무한 앞에서 길을 잃는 것 — 그게 이 이야기의 전부죠. 당연한 것 같은데 당연하지 않을 때, 수학은 직관을 버리는 대신 그것이 어디까지 통하는지를 정확히 묻습니다. 그리고 그 물음이, 완두콩 속에서 태양을 꺼내 보여 줍니다.

참고 자료

바나흐–타르스키 역설 — Banach–Tarski paradox · Hausdorff paradox
선택 공리 · 독립성 — Axiom of choice · Gödel(1938) 무모순성 · Cohen(1963) 독립성(강제법)
러셀의 양말 — B. Russell, Introduction to Mathematical Philosophy (1919)
비가측 집합 — Vitali set · Non-measurable set
정렬정리 · 초른 보조정리 — Well-ordering theorem · Zorn's lemma · Hamel basis
상자/모자 퍼즐 — Hardin & Taylor, A Peculiar Connection Between the Axiom of Choice and Predicting the Future (2008) · "100 mathematicians and boxes" riddle
가환성 (왜 3차원부터) — Amenable group · Banach measure / amenability
선택 없는 세계 · 결정성 공리 — Dedekind-infinite set · Axiom of determinacy
구성주의 · 연속체 가설 — Diaconescu's theorem · Continuum hypothesis