삼각화와 일차분해

개요 — 동기·문제의식

고윳값과 특성다항식에서 보았듯, 고유기저가 항상 존재하는 것은 아니다 — 연산자의 다항식 예제 4의 $\begin{pmatrix}2&1&0\\0&2&0\\0&0&2\end{pmatrix}$처럼 최소다항식이 중복 인수를 가지면 대각화가 불가능하다. 그렇다면 차선책은 무엇인가? Lang은 두 가지 답을 내놓는다. 첫째, 삼각화 — $\mathbb{C}$ 위에서는 대각화가 안 되더라도 항상 상삼각 형태로는 만들 수 있다. 둘째, 더 강력한 주분해(primary decomposition) — 최소(또는 특성)다항식의 서로소 인수분해가 공간 전체를 불변부분공간들의 직합으로 쪼개준다는 것. 이 두 결과는 조르당 표준형이라는 최종 목적지로 가는 핵심 다리다.

또한 표현론의 초석인 Schur의 보조정리도 이 장에서 등장한다 — "단순한" 공간 위에서 모든 것과 교환하는 연산자는 스칼라배뿐이라는, 겉보기엔 좁아 보이지만 강력한 제약이다.

직관

대각화가 "공간을 1차원 고유공간들로 쪼개기"라면, 삼각화는 더 약한 요구다: "공간을 부분공간들의 사슬(체인)로 쌓아 올리되, $A$가 각 단계를 그 다음 단계 안에 가두도록"이다. 기하적으로 사다리를 오르는 것과 같다 — 각 층 $V_i$에서 $A$를 적용한 결과가 같은 층이나 그 아래에만 머문다(상삼각). 대각화는 이 사다리의 극단적인 경우, 즉 각 층이 정확히 고유공간 하나씩만 늘어나는 특수한 사다리다.

주분해는 다른 종류의 직관을 준다. 최소다항식 $m_A=\prod_i(t-\alpha_i)^{m_i}$가 주어지면, 공간을 "고유값 $\alpha_i$ 근처에서 $A$가 어떻게 행동하는지"에 따라 블록으로 쪼갠다 — 정확히 그 고유값에 속한 부분(일반화된 고유공간)들의 직합으로. 이는 정수론에서 중국인의 나머지 정리가 정수를 소인수 거듭제곱별 정보로 쪼개는 것과 정확히 같은 원리다: 서로소인 인수들은 독립적인 "방"들을 만들어낸다.

정의

체 $K$ 위 유한차원 공간 $V$, $\dim V=n\ge1$, 선형사상 $A:V\to V$가 주어졌다고 하자.

불변부분공간. $W\subseteq V$가 $AW\subseteq W$를 만족하면 $W$를 $A$-불변(invariant) 부분공간이라 한다.¹

팬(fan). 부분공간들의 사슬 $V_1\subset V_2\subset\cdots\subset V_n=V$로서 각 $\dim V_i=i$이고 각 $V_i$가 $A$-불변인 것을 $A$의 팬이라 한다. 팬 기저 $\{v_1,\dots,v_n\}$는 $\{v_1,\dots,v_i\}$가 $V_i$의 기저가 되는 기저다.¹

삼각화 가능. 어떤 기저에 대해 $A$의 행렬이 상삼각이면 $A$가 삼각화 가능(triangulable) 하다고 한다. 이는 $B^{-1}AB$가 상삼각인 가역 $B$가 존재한다는 것과 동치다.

불변부분공간의 핵 표현. 다항식 $f\in K[t]$에 대해 $W=\ker f(A)$는 항상 $A$-불변이다. (증명: $f(A)w=O\Rightarrow f(A)(Aw)=A f(A)w=O$, $tf(t)=f(t)t$ 이므로.)²

일반화된 고유공간. $\alpha\in\mathbb{C}$, $m\ge1$에 대해 $W_\alpha=\ker(A-\alpha I)^m$을 $\alpha$에 대응하는 (차수 $m$) 일반화된 고유공간이라 한다.

단순 $S$-공간(Schur). $S$가 연산자들의 집합일 때, $V\neq\{O\}$이고 $V$, $\{O\}$ 외에 $S$-불변(모든 $B\in S$에 대해 불변) 부분공간이 없으면 $V$를 단순 $S$-공간이라 한다.⁷

주요 정리

정리 1 (팬 기저 ⟹ 상삼각). 팬 기저 $\{v_1,\dots,v_n\}$에 대해 $A$의 행렬은 상삼각이다 — 역도 성립한다(상삼각행렬이 주어지면 표준기저가 팬 기저를 이룬다).³

정리 2 ($\mathbb{C}$ 위에서 팬의 존재 = 항상 삼각화 가능). $V$가 $\mathbb{C}$ 위 유한차원이면 $A$는 항상 팬을 갖는다 — 즉 모든 복소 연산자는 삼각화 가능하다.⁴

따름 1.3–1.4. $\mathbb{C}$ 위 유한차원 공간의 모든 연산자(또는 모든 복소행렬)는 어떤 기저(가역행렬 $B$)에 대해 상삼각으로 표현된다.⁴

이 정리의 대각성분은 정확히 고유값들이다(상삼각행렬의 행렬식은 대각성분의 곱이므로 특성다항식이 $\prod(t-a_{ii})$). 따라서 멱영(nilpotent) 연산자 = 모든 고유값이 $0$인 연산자라는 특징을 얻는다.⁵

정리 3 (주분해, 서로소 두 인수). $f(A)=O$이고 $f=f_1f_2$ ($\deg f_i\ge1$, $\gcd(f_1,f_2)=1$)이면 $$V=\ker f_1(A)\oplus\ker f_2(A),$$ 각 항이 $A$-불변이다.⁶

정리 4 (주분해, 일반 형태). $\mathbb{C}$ 위에서 $P(t)=\prod_{i=1}^r(t-\alpha_i)^{m_i}$ ($\alpha_i$ 서로 다름)이고 $P(A)=O$이면 $$V=W_1\oplus\cdots\oplus W_r,\qquad W_i=\ker(A-\alpha_iI)^{m_i},$$ 각 $W_i$가 $A$-불변이다 — 이를 일반화된 고유공간으로의 주분해라 한다.⁶

따름 (D+N 분해). 모든 복소 연산자는 $A=D+N$ ($D$ 대각화 가능, $N$ 멱영, $DN=ND$)으로 쓸 수 있다 — 각 $W_i$ 위에서 $D$는 $\alpha_iI$로, $N=A-D$는 $W_i$ 위에서 멱영으로 작용한다.⁹

정리 5–6 (Schur의 보조정리). $V$가 단순 $S$-공간이고 $A$가 모든 $B\in S$와 교환하면, $A$는 가역이거나 영사상이다.⁷ $V$가 $\mathbb{C}$ 위 유한차원이면 더 강하게: $A=\lambda I$인 스칼라 $\lambda$가 존재한다.⁸

예제

예제 1 (멱영 행렬, $2\times2$). $N=\begin{pmatrix}0&1\\0&0\end{pmatrix}$. $N^2=O$이므로 멱영(지표 2). 특성다항식 $t^2$ — 고유값은 $0$뿐(정리 2 직후 논의와 일치). $N$은 이미 상삼각(자명한 팬: $V_1=\langle e_1\rangle$, $V_2=K^2$).

예제 2 (멱영 행렬, $3\times3$, 지표 3). $N=\begin{pmatrix}0&1&0\\0&0&1\\0&0&0\end{pmatrix}$. $N^2=\begin{pmatrix}0&0&1\\0&0&0\\0&0&0\end{pmatrix}\neq O$, $N^3=O$. 멱영 지표 3. 고유공간은 $\ker N=\langle e_1\rangle$ — 1차원뿐이므로 대각화 불가능, 이것이 바로 조르당 표준형의 가장 작은 Jordan 블록의 원형이다.

예제 3 (팬 기저 직접 구성, 원전 소개 — Lang 연습문제 스타일). $A=\begin{pmatrix}1&1\\0&2\end{pmatrix}$ (이미 상삼각)에 대해, 표준기저 $\{e_1,e_2\}$가 팬 기저다: $V_1=\langle e_1\rangle$은 $Ae_1=e_1\in V_1$이므로 불변, $V_2=K^2$는 자명히 불변. 만약 $A$가 상삼각이 아니지만 삼각화 가능하다면(예: $A=\begin{pmatrix}3&-1\\1&1\end{pmatrix}$, 특성다항식 $(t-2)^2$, 고유공간 1차원), 먼저 고유벡터 $v_1=(1,1)$을 찾고 임의의 보충벡터 $v_2$(예: $e_1$)를 더해 $\{v_1,v_2\}$를 팬 기저로 쓸 수 있다 — 이 기저에서 $A$의 행렬은 $\begin{pmatrix}2&*\\0&2\end{pmatrix}$ 형태의 상삼각이 된다.

예제 4 (주분해, 구체적 다항식 인수분해). $A=\begin{pmatrix}1&0&0\\0&2&1\\0&0&2\end{pmatrix}$. 특성다항식 $P(t)=(t-1)(t-2)^2$, 최소다항식도 직접 확인하면 $m_A(t)=(t-1)(t-2)^2$ (왜냐하면 $(A-2I)=\begin{pmatrix}-1&0&0\\0&0&1\\0&0&0\end{pmatrix}$이고 $(A-2I)^2\neq O$ — $e_2$방향에 적용하면 0이 아님을 직접 계산으로 확인 가능). 인수 $(t-1)$과 $(t-2)^2$는 서로소이므로 정리 3에 의해 $$V=\ker(A-I)\oplus\ker(A-2I)^2 = \langle e_1\rangle \oplus \langle e_2,e_3\rangle$$ ($\ker(A-2I)^2$는 $(A-2I)^2=\begin{pmatrix}1&0&0\\0&0&0\\0&0&0\end{pmatrix}$의 핵이므로 $e_2,e_3$가 생성하는 2차원 공간). 이는 정확히 블록 $\begin{pmatrix}1\end{pmatrix}\oplus\begin{pmatrix}2&1\\0&2\end{pmatrix}$ 구조와 일치 — 고유값 $1$짜리 1차원 블록과 고유값 $2$짜리 (멱영부 포함) 2차원 블록의 직합.

예제 5 (Markov 행렬과 삼각화의 응용). 각 열의 합이 $1$인 $n\times n$ 복소행렬을 Markov 행렬이라 한다. $|a_{ij}|\le1$인 Markov 행렬의 모든 고유값은 $|\lambda|\le1$을 만족한다.¹⁰ 증명 스케치: 정리 2(삼각화)에 의해 $BAB^{-1}$이 상삼각, 대각성분이 $\lambda_1,\dots,\lambda_n$. $A^k$도 Markov(닫혀 있음을 직접 확인)이고 성분이 유계이므로 $(BAB^{-1})^k=BA^kB^{-1}$의 성분도 유계. 만약 어떤 $|\lambda_i|>1$이면 $(BAB^{-1})^k$의 $(i,i)$ 성분이 $\lambda_i^k\to\infty$가 되어 모순.

예제 6 (Schur 보조정리의 구체적 사례). $V=K^n$, $S=\{$모든 선형사상$\}$이면 $V$는 단순 $S$-공간이다(자명한 부분공간 외에는 모든 사상에 의해 불변일 수 없음 — 0이 아닌 진부분공간 $W$가 있으면 $W$ 바깥으로 보내는 사상이 항상 존재). Schur에 의해, $V$ 위 모든 선형사상과 교환하는 연산자는 $\lambda I$ 꼴뿐이다 — "중심"이 스칼라뿐이라는 사실의 선형대수적 버전.

흔한 오해와 함정

• "삼각화 가능 = 대각화 가능" — 틀림. $\mathbb{C}$ 위에서는 모든 연산자가 삼각화 가능하지만(정리 2), 대각화는 최소다항식이 중복 없는 일차인수의 곱일 때만 가능하다(예제 1, 2가 삼각화는 되지만 대각화는 안 되는 예).
• "불변부분공간의 보충공간도 불변" — 일반적으로 거짓. 정리 2의 증명에서 정확히 이 문제(W가 $A$-불변이 아닐 수 있음)를 사영 $P_2A$로 우회했다.
• 주분해를 직교분해와 혼동 — 주분해 $V=\bigoplus W_i$는 대수적 직합일 뿐, 일반적으로 $W_i$들이 서로 직교하지는 않는다(스칼라곱이 정의되어 있지 않을 수도 있다). 직교 분해는 스펙트럼 정리의 대칭/Hermite 경우에서만 보장된다.
• 서로소 조건을 빠뜨리고 정리 3 적용 — $\gcd(f_1,f_2)\neq1$이면 직합 분해가 깨진다(Bézout 항등식 자체가 성립하지 않으므로). 인수가 서로소인지 항상 확인해야 한다.
• Schur 보조정리를 "모든 연산자가 스칼라"로 오해 — 정리 6은 모든 $B\in S$와 교환하는 연산자에 대한 것이지, $S$ 자체의 원소에 대한 주장이 아니다. $S$가 모든 선형사상의 집합이면 $S$ 자체에는 스칼라가 아닌 원소가 무수히 많다.

큰 그림 / 연결

삼각화와 주분해는 연산자의 다항식의 $K[t]$-작용 이론이 조르당 표준형으로 결실을 보는 길목이다 — 멱영 블록 위에서 순환부분공간을 찾으면 Jordan 기저가 나온다. 거슬러 올라가면 이 모든 것은 고윳값과 특성다항식의 고유값 존재성(정리 2의 귀납 시작점)에 의존한다. 직합 분해라는 발상 자체는 합과 직합에서 다룬 일반적 직합 이론의 응용이며, $A$가 대칭/Hermite인 특수한 경우에는 스펙트럼 정리이 같은 분해를 직교 분해로 강화해준다. Schur의 보조정리는 표현론으로 가는 관문이며, 대수학 위키의 군론·가군 이론에서 훨씬 일반적인 형태(Jacobson density 정리 등)로 재등장한다. 미분방정식의 관점에서는, 주분해가 $\prod(D-\alpha_iI)^{m_i}y=0$ 꼴의 선형 상미분방정식을 각 $\alpha_i$에 대한 더 단순한 방정식 $(D-\alpha_iI)^{m_i}y=0$들로 분해하는 표준 기법과 정확히 같다.

연습문제

1. $A=\begin{pmatrix}0&1&0\\0&0&1\\0&0&0\end{pmatrix}$의 멱영 지표를 구하고, $\ker A$, $\ker A^2$, $\ker A^3$의 차원을 각각 구하라.
2. $A=\begin{pmatrix}5&-1\\1&3\end{pmatrix}$가 삼각화는 가능하지만 대각화는 불가능함을 보여라(특성다항식과 고유공간의 차원으로).
3. $f=f_1f_2$, $f_1=t-1$, $f_2=t-2$가 서로소임을 보이고, $A=\begin{pmatrix}1&0\\1&2\end{pmatrix}$에 대해 $V=\ker(A-I)\oplus\ker(A-2I)$를 명시적으로 구하라($f(A)=(A-I)(A-2I)=O$임을 먼저 확인).
4. $A:V\to V$가 가역이고 $\{V_1,\dots,V_n\}$이 $A$의 팬이면, 이것이 $A^{-1}$의 팬이기도 함을 보여라.
5. 상삼각행렬 $A$가 주어졌을 때, $A^r$의 고유값들이 $A$의 고유값들의 $r$제곱임을 보여라.
6. $A$가 $A^3=A$를 만족하는 (유한차원) 연산자일 때, $V=V_0\oplus V_1\oplus V_{-1}$ ($V_0=\ker A$, $V_{\pm1}$은 $\pm1$-고유공간)임을 보여라. (힌트: $t^3-t=t(t-1)(t+1)$의 서로소 인수분해에 정리 4를 적용.)
7. $A=\lambda I$가 아닌 한, $A:V\to V$가 자명하지 않은 불변부분공간을 가짐을 보장하는 조건은 무엇인가 — Schur의 보조정리의 대우를 이용해 설명하라.

관련 개념

• 고윳값과 특성다항식 — 고유값은 삼각형의 대각
• 연산자의 다항식 — 서로소 인수분해와 Cayley–Hamilton이 분해를 이끎
• 조르당 표준형 — 멱영 블록을 더 정밀화
• 합과 직합 — 분해는 불변부분공간의 직합
• 스펙트럼 정리 — $A$가 대칭/Hermite일 때의 직교 유사물