뫼비우스 변환

개요 — 동기·문제의식

복소해석에서 다루는 사상들 중 가장 "다재다능한" 것 하나를 고르라면 단연 Möbius 변환(= 일차분수변환, bilinear transformation)이다. $\widehat{\mathbb{C}} = \mathbb{C}\cup\{\infty\}$(리만 구면, riemann sphere and infinity)의 자기동형사상 전체이며, 원과 직선을 원·직선으로 보내고, 임의의 서로 다른 세 점을 임의의 서로 다른 세 점으로 보내는 변환이 항상, 그리고 유일하게 존재한다. 이 극도의 유연성(세 점을 자유롭게 지정할 수 있다)과 극도의 경직성(세 점이 정해지면 변환 전체가 완전히 고정된다)이 공존한다는 점이 이 변환군을 특별하게 만든다. 단위원판·상반평면·띠 영역 사이를 오가는 표준 도구로서, conformal mapping riemann의 리만 사상정리를 실제로 구성하는 재료의 절반이 Möbius 변환이다.

직관 (기하)

Möbius 변환이 왜 원·직선을 원·직선으로 보내는지는 세 가지 "쉬운" 변환의 합성으로 분해하면 명확해진다: 평행이동(모양을 전혀 바꾸지 않고 옮기기만 함), 회전·확대(모양을 그대로 유지한 채 돌리고 크기만 바꿈) — 이 둘은 원·직선 보존이 자명하다. 문제는 세 번째 재료인 역변환 $z\mapsto1/z$이다. 이것을 리만 구면 위에서 생각하면 그림이 선명해진다: 구면 반전(inversion)은 북극(무한대에 대응하는 점)을 지나는 "원"(구면 위의 대원)들을 다른 원으로 보내는 등각적 대칭 조작이며, 평면으로 투영했을 때 원과 직선이 구별되는 이유는 단지 "무한대를 지나는가 아닌가"의 차이일 뿐이다 — 구면 위에서는 직선도 그냥 무한대를 지나는 원이다. 그래서 "원과 직선을 하나로 묶어 다룬다"는 것은 인위적인 트릭이 아니라, 리만 구면 관점에서는 애초에 구별할 필요가 없는 자연스러운 사실이다.

세 점이 변환을 완전히 결정한다는 사실은 기하적으로 "Möbius 변환은 딱 3개의 복소 자유도(계수 $a,b,c,d$를 비례 상수 하나로 나눈 것)를 가진다"는 것과 대응한다 — 평면의 아핀변환이 두 점(또는 세 실수 자유도)으로 결정되는 것과 유사하게, Möbius 변환은 세 개의 "표식점(landmark point)"만 지정하면 전체 사상이 강제된다. 교차비는 이 경직성을 정량화하는 도구다: 네 점의 교차비가 Möbius 변환 아래에서 불변이라는 사실은, "네 점 사이의 상대적 배치"라는 순수하게 기하적인 정보가 Möbius 변환이라는 매우 유연한 사상 아래에서도 살아남는 유일한 불변량임을 말해준다 — 좌표를 아무리 자유롭게 바꿔도 절대 지울 수 없는 "형태의 지문"과 같다.

정의

Möbius 변환:¹ $$w = T(z) = \frac{az+b}{cz+d},\qquad ad - bc \ne 0\ (a,b,c,d\in\mathbb{C}).$$ $ad-bc\ne0$ 조건은 비퇴화(분자·분모가 서로 배수 관계가 아님, 즉 $T$가 상수함수로 무너지지 않음)를 보장한다. $\widehat{\mathbb{C}}\to\widehat{\mathbb{C}}$의 전단사로 확장: $c\ne0$이면 $T(-d/c)=\infty$, $T(\infty)=a/c$; $c=0$이면 $T(\infty)=\infty$(단순 아핀변환 $az+b$, $a\ne0$).

기본 변환 분해. 모든 Möbius 변환($c\ne0$인 경우)은 다음의 합성이다: $$T(z) = \frac{a}{c} + \frac{bc-ad}{c}\cdot\frac{1}{cz+d}$$ 즉 (1) 평행이동 $z\mapsto z+d/c$, (2) 역변환 $z\mapsto1/z$, (3) 회전·확대·평행이동 $z\mapsto \frac{bc-ad}{c^2}z + \frac{a}{c}$의 합성이다. ($c=0$이면 (2)가 필요 없는 순수 아핀변환.)

교차비(cross-ratio). 네 점 $z, z_1, z_2, z_3$(서로 다름)의 교차비: $$(z, z_1, z_2, z_3) = \frac{(z-z_1)(z_2-z_3)}{(z-z_3)(z_2-z_1)}.$$ 한 점이 $\infty$이면 그 점을 포함하는 두 인수의 비가 극한적으로 $1$이 되도록 정의(예: $z_3=\infty$이면 $(z,z_1,z_2,\infty) = \dfrac{z-z_1}{z_2-z_1}$).

고정점(fixed point): $T(z)=z$를 만족하는 $z\in\widehat{\mathbb{C}}$.

주요 정리

정리 (군 구조).² Möbius 변환 전체는 합성에 대해 군을 이룬다. 계수행렬 $\begin{pmatrix} a&b\\ c&d\end{pmatrix}\in\mathrm{GL}(2,\mathbb{C})$의 곱이 합성에 대응하고, 스칼라배($\lambda\ne0$로 $a,b,c,d$를 동시에 스케일)는 같은 변환을 주므로, Möbius 변환군은 $\mathrm{PGL}(2,\mathbb{C}) = \mathrm{GL}(2,\mathbb{C})/(\text{스칼라})$와 동형이다.

정리 (고정점, 항등변환의 특징화).³ 항등변환이 아닌 Möbius 변환은 $\widehat{\mathbb{C}}$에서 많아야 두 개의 고정점을 가진다. 세 개 이상의 고정점을 가지면 항등변환이다.

정리 (3점 결정).⁴ 확장평면의 서로 다른 세 점 $z_1,z_2,z_3$을 확장평면의 임의의 서로 다른 세 점 $w_1,w_2,w_3$으로 보내는 Möbius 변환이 유일하게 존재하며, 교차비로 주어진다: $$(w, w_1, w_2, w_3) = (z, z_1, z_2, z_3).$$

정리 (원-직선 보존).⁵ Möbius 변환은 $\widehat{\mathbb{C}}$의 "원"(원 또는 직선, 리만 구면 관점에서는 구별 없음)을 "원"으로 보낸다.

정리 (교차비 불변).⁶ Möbius 변환은 교차비를 보존한다: $T$가 Möbius 변환이면 $(T(z),T(z_1),T(z_2),T(z_3)) = (z,z_1,z_2,z_3)$. 따라서 네 점 $z,z_1,z_2,z_3$이 하나의 "원"(원 또는 직선) 위에 있을 필요충분조건은 이들의 교차비가 실수인 것이다.

예제

예제 1 (Cayley 변환). $w = \dfrac{z-i}{z+i}$는 상반평면 $\{\operatorname{Im} z>0\}$을 단위원판 $\{|w|<1\}$로 보낸다. 확인: 실축 위 $z=x$(실수)이면 $|w| = \dfrac{|x-i|}{|x+i|} = \dfrac{\sqrt{x^2+1}}{\sqrt{x^2+1}} = 1$ ⟹ 실축(상반평면의 경계) ↦ 단위원(원판의 경계). $z=i$(상반평면 내부의 점)를 대입하면 $w=0$(원판 중심) — 경계가 경계로, 내부의 한 점이 내부로 가는 것을 확인했으므로 연결성에 의해 상반평면 전체가 원판 전체로 대응된다. ∎

예제 2 (3점 사상, 교차비로 직접 계산). $1,\,i,\,-1$을 각각 $0,\,1,\,\infty$로 보내는 변환을 구하자. 정의에 의해 이 변환은 바로 교차비 자체다: $w = (z,1,i,-1) = \dfrac{(z-1)(i-(-1))}{(z-(-1))(i-1)} = \dfrac{(z-1)(i+1)}{(z+1)(i-1)}$. 분자·분모에 $(i+1)$의 켤레 처리($\dfrac{i+1}{i-1} = \dfrac{(i+1)^2}{(i-1)(i+1)} = \dfrac{2i}{-2} = -i$)로 정리하면 $w = -i\,\dfrac{z-1}{z+1}$.

예제 3 (직선의 상 = 원, 대수적 확인). $w = 1/z$에서 직선 $\operatorname{Re} z = 1$의 상을 구하자. $z = 1+it$ ($t\in\mathbb{R}$)로 매개화하면 $w = \dfrac{1}{1+it} = \dfrac{1-it}{1+t^2}$. $u=\operatorname{Re}w = \dfrac{1}{1+t^2}$, $v=\operatorname{Im}w=\dfrac{-t}{1+t^2}$이면 $u^2+v^2 = u$를 직접 계산으로 확인할 수 있고, 완전제곱으로 정리하면 $\left(u-\tfrac12\right)^2+v^2 = \tfrac14$ — 중심 $\tfrac12$, 반지름 $\tfrac12$인 원(원점을 지남, 원점은 $t\to\infty$의 극한에 대응). 원-직선 보존 정리가 예측한 대로 직선이 원으로 바뀌었다.

예제 4 (교차비로 공원 판정). 네 점 $0, 1, i, 1+i$가 한 원 위에 있는지 교차비로 판정하자. $(1+i, 0, 1, i) = \dfrac{(1+i-0)(1-i)}{(1+i-i)(1-0)} = \dfrac{(1+i)(1-i)}{1\cdot1} = \dfrac{1-i^2}{1} = 2$. 실수이므로 네 점은 한 원(또는 직선) 위에 있다 — 실제로 이 네 점은 단위정사각형의 꼭짓점이며, 정사각형의 외접원 위에 있다는 사실과 정확히 일치한다.

예제 5 (고정점으로 변환 특성화). $T(z) = \dfrac{z}{2z-1}$의 고정점을 구하자. $z = \dfrac{z}{2z-1} \Rightarrow z(2z-1) = z \Rightarrow 2z^2-2z=0 \Rightarrow z(z-1)=0$, 고정점 $z=0,1$ — 정확히 2개(정리에서 예측한 상한과 일치, $T\ne I$이므로 최대 2개). 만약 세 번째 고정점 후보(예: $z=1/2$)를 대입해보면 $T(1/2) = \dfrac{1/2}{0}=\infty \ne 1/2$이므로 고정점이 아님을 즉시 확인 — 실제로 3개 이상의 고정점을 가지려는 시도는 항상 실패해야 한다(정리의 예측대로).

예제 6 (합성으로 복잡한 변환 분해). $T(z) = \dfrac{2z+3}{z-1}$을 기본 변환의 합성으로 분해하자. 나눗셈으로 $T(z) = 2 + \dfrac{5}{z-1}$이므로, $z\mapsto z-1$(평행이동) $\to$ $\zeta\mapsto1/\zeta$(역변환) $\to$ $\eta\mapsto5\eta+2$(확대+평행이동)의 합성. 이 분해가 원-직선 보존 정리의 증명에서 실제로 쓰이는 절차이며, 복잡한 변환의 상을 계산할 때도 단계별로 쪼개서 추적하면 실수를 줄일 수 있다.

흔한 오해와 함정

• "모든 일차분수식이 Möbius 변환이다" — $ad-bc=0$이면 분자·분모가 비례해 $T(z)$가 상수함수로 붕괴한다(퇴화). 이런 경우는 전단사가 아니므로 Möbius 변환에서 제외한다 — 정의의 $ad-bc\ne0$ 조건이 바로 이를 배제한다.
• "원의 상은 항상 원이다(직선이 될 수 없다)" — 틀렸다. 원이 변환의 극점 $z=-d/c$를 지나면 그 상은 직선이 된다(원점을 지나는 원이 역변환 아래 직선이 되는 것과 같은 현상, 예제 3의 역방향). "원-직선"을 하나로 묶어 생각해야 하는 이유.
• "세 점을 지정하면 항상 원판 전체를 원판으로 보내는 변환을 얻는다" — 3점 결정 정리는 점들 사이의 대응만 보장하지, 영역의 경계 방향(내부가 내부로 가는지 외부로 가는지)까지는 자동으로 결정하지 않는다. 실제로 영역이 맞게 대응하는지는 경계 위 세 점의 순서(방향)까지 맞춰야 한다(예제 1처럼 내부의 한 점을 직접 확인하는 것이 안전한 이유).
• "교차비가 실수라는 것과 네 점이 한 직선 위에 있다는 것은 다른 조건이다" — 리만 구면 관점에서는 같은 조건이다. 직선은 $\infty$를 지나는 원이므로, "공원(같은 원 위)"이라는 하나의 조건이 유클리드 평면에서 "공원 또는 공선(같은 직선 위)"으로 나뉘어 보일 뿐이다.
• "고정점 정리는 임의의 정칙함수에도 성립한다" — 아니다. 이것은 Möbius 변환 특유의 강한 경직성이다(1차분수식이라 고정점 방정식이 최대 이차방정식이 되기 때문). 일반적인 해석함수는 무한히 많은 고정점을 가지면서도 항등함수가 아닐 수 있다(항등정리가 적용되지 않는 이산적 고정점 집합이라면).

큰 그림 / 연결

Möbius 변환은 극형식과 거듭제곱근의 회전·확대라는 가장 단순한 사상들을 역변환 하나로 결합해 훨씬 풍부한 사상군을 만들어내며, riemann sphere and infinity의 확장평면 $\widehat{\mathbb{C}}$가 바로 이 변환군이 전단사로 작용하는 자연스러운 무대다. conformal mapping riemann에서는 Möbius 변환이 단위원판·상반평면 사이를 오가는 표준 등각사상의 절반을 담당하며(나머지 절반은 지수·로그 등 elementary-functions), 특히 최대절댓값 원리에서 다룬 Schwarz 보조정리와 결합하면 원판의 모든 자기동형사상이 Möbius 변환(구체적으로는 Blaschke 인자와 회전의 합성)임을 완전히 분류할 수 있다 — 두 정리가 만나는 지점이다. 교차비의 불변성은 사영기하학의 핵심 불변량 개념과 직접 대응하며(algebra/사영기하 쪽 개념과 연결되는 지점), 원-직선 보존 정리는 topology of the plane에서 다루는 연결성·컴팩트성 논증과 함께 영역의 상을 결정하는 실전적 절차(예제 1의 "경계 확인 + 내부 한 점 확인" 전략)의 이론적 근거가 된다.

연습문제

1. $0,1,\infty$를 각각 $-1,0,1$로 보내는 Möbius 변환을 구하라.
2. $w = \dfrac{1}{z}$로 단위원 $|z|=1$의 상을 구하라.
3. 상반평면을 자기 자신으로 보내는 Möbius 변환은 $a,b,c,d$가 (비례상수를 조정하면) 실수이고 $ad-bc>0$임을 보여라.
4. $w = \dfrac{z-1}{z+1}$로 우반평면 $\operatorname{Re} z>0$의 상을 구하라.
5. $T(z) = \dfrac{3z-1}{z+1}$의 고정점을 구하고, 고정점 정리의 상한(2개)과 비교하라.
6. 네 점 $0,2,2i,2+2i$가 한 원 위에 있는지 교차비로 판정하라.
7. $T(z) = \dfrac{z-2}{2z-1}$을 평행이동·역변환·확대의 합성으로 분해하라.
8. 원 $|z-1|=1$이 $w=1/z$ 아래 어디로 가는지 구하고(힌트: 원점을 지나는 원), 원-직선 보존 정리와 대조하라.

관련 개념

• 극형식과 거듭제곱근 — 회전·확대라는 기본 재료
• riemann sphere and infinity — Möbius 변환이 전단사로 작용하는 무대 $\widehat{\mathbb{C}}$
• conformal mapping riemann — 등각사상의 표준 재료, 리만 사상정리의 절반
• 최대절댓값 원리 — Schwarz 보조정리와 결합해 원판 자기동형사상을 완전 분류
• 초등함수 — 지수·로그 등 등각사상의 나머지 절반
• topology of the plane — 연결성·컴팩트성을 이용한 영역 상(image) 판정의 이론적 근거