스펙트럼 정리

개요 — 동기·문제의식

선형사상과 행렬에서 던진 질문은 이것이었다: 주어진 연산자 $A:V\to V$에 대해, $A$의 행렬이 대각이 되도록 기저를 고를 수 있는가? 일반적인 연산자에 대해서는 답이 "아니오"다 — 고유값이 모자라거나(중복도 문제), 고유벡터가 공간을 못 채울 수 있다(나중에 조르당 표준형에서 다루는 실패 사례). 그런데 스칼라곱을 가진 공간 위에서, $A$가 그 스칼라곱과 "잘 어울리는" 특별한 종류 — 대칭·에르미트·유니터리(대칭·에르미트·유니터리 연산자) — 라면, 대각화가 항상 성립할 뿐 아니라 대각화 기저를 정규직교(orthonormal) 로 고를 수 있다. 이것이 스펙트럼 정리다 — 선형대수 초급 이론의 정점이자, 일반적으로는 실패할 수 있는 문제가 가설을 추가하는 순간 최선의 형태로 항상 성공하는 보기 드문 사례다.

스펙트럼 정리가 왜 중요한가는 응용을 보면 분명해진다: 이차형식의 주축 정리, 통계학의 주성분분석(PCA), 진동계의 정규모드, 양자역학의 관측가능량 등 "대칭적인 양"을 다루는 거의 모든 곳에 나타난다. Lang은 이를 두 단계로 쌓는다 — 먼저 실수 대칭 연산자의 경우를 증명하고(§VIII.3–4), 그 뒤 에르미트·유니터리의 경우로 같은 논증을 그대로 옮긴다(§VIII.5–6).

직관

대칭 행렬 $A$를 기하학적으로 생각하면: 일반적인 선형사상은 공간을 회전시키며 늘리거나 줄인다(방향과 늘이는 방향이 다를 수 있다). 그런데 $A$가 대칭이면, 서로 수직인 몇 개의 특별한 방향(고유벡터)이 있어서, $A$는 그 방향들을 따로따로, 각자의 비율(고유값)로만 늘이거나 줄인다 — 방향을 꺾지 않는다. 즉 $A$의 작용은 "회전 없이 좌표축을 따라 늘이고 줄이는" 것으로 완전히 분해된다. 타원의 주축, 관성타원체의 주축, 응력텐서의 주응력 방향이 모두 이 그림이다.

증명의 구조도 이 그림을 그대로 따라간다: 고유벡터 하나 $v_1$을 찾고(존재성은 미적분의 최댓값 논증 또는 복소수 논증으로), 그 직교여공간 $v_1^\perp$가 $A$에 대해 안정(stable) 함을 보이고, 차원을 하나 줄여 귀납한다. 안정성이 핵심이다 — $v_1^\perp$ 위에서 $A$를 다시 대칭 연산자로 볼 수 있어야 귀납이 돌아간다.

정의

대각화 가능(diagonalizable). $A:V\to V$가 고유벡터로 이루어진 기저 $\{v_1,\dots,v_n\}$를 가지면, 즉 $Av_i=c_iv_i$이면, 이 기저에 대한 $A$의 행렬은 대각행렬 $\mathrm{diag}(c_1,\dots,c_n)$이다.¹ 이런 기저가 존재하면 $A$를 대각화할 수 있다(또는 $A$가 대각화 가능)고 한다.

스펙트럼 기저(spectral basis). 고유벡터로 이루어진 기저를 스펙트럼 기저라 부른다 — 같은 뜻이다. 스펙트럼 정리가 약속하는 것은 정규직교 스펙트럼 기저의 존재다.

마지막 행이 중요한 예외다: 실수 직교 연산자는 복소 고유값이 실수가 아닐 수 있으므로(예: 회전), 일반적으로 대각화되지 않는다. 대신 Thm 6.3–6.4가 보장하는 것은 $1\times1$과 $2\times2$ 블록(항등·반사·회전)으로의 분해다.

주요 정리

두 보조정리가 실수 대칭의 경우를 떠받친다.

정리 3.1–3.2. 실수 대칭행렬은 (a priori 복소수인) 모든 고유값이 실수이며, 0이 아닌 실수 고유벡터를 갖는다.²

정리 4.2 (직교여공간의 안정성). $v$가 대칭 $A$의 고유벡터이고 $w\perp v$이면 $Aw\perp v$ — 즉 $v^\perp$는 $A$에 대해 안정.³

정리 4.3 (스펙트럼 정리). 양의 정부호 스칼라곱을 가진 유한차원 실수 공간 위의 대칭 연산자 $A$는 정규직교 고유벡터 기저를 갖는다.⁴

정리 4.4 (행렬 형태). 모든 실수 대칭행렬 $A$는 $A=UD\,{}^tU$로 인수분해된다. 여기서 $U$는 직교행렬($U^{-1}={}^tU$), $D$는 대각.⁵

Rayleigh 몫과 변분 특성. $f(X)={}^tXAX$를 단위구 $\|X\|=1$ 위에서 본 함수라 하자.

정리 3.3. $f$가 단위구 위에서 최댓값을 갖는 점 $P$는 $A$의 고유벡터다.⁶

에르미트·유니터리로의 이행. 복소수 위에서는 모든 연산자가 고유값을 가지므로(정리 2.3) 정리 3.1의 역할이 자동으로 채워진다. 나머지 논증 — 직교여공간의 안정성(정리 5.2, 6.1), 정규직교 기저로의 귀납(정리 5.3, 6.2) — 은 글자 그대로 같다.⁷ 다른 점은 단 하나, 에르미트 연산자의 고유값은 (대칭과 마찬가지로) 실수이지만, 유니터리 연산자의 고유값은 절댓값 $1$인 복소수라는 것 — $\langle Av,v\rangle$가 보존되는 노름의 제곱이기 때문이다.⁸

왜 정규직교가 중요한가. 일반적인 대각화(아무 고유기저)는 기저가 비스듬해도 상관없다. 스펙트럼 정리는 정규직교 기저를 주므로, 기저변환 행렬 $U$가 직교/유니터리 — 즉 기하를 보존한다(길이·각도가 그대로). 이것이 이차형식의 주축정리(쌍대공간과 쌍선형형식에서 다루는 부호수와 직결), PCA의 분산 최대화 방향, 진동계의 정규모드까지 일관되게 적용되는 이유다.

예제

예제 1 (실수 대칭 $2\times2$, 명시적 대각화). $A=\begin{pmatrix}2&-3/2\\-3/2&1\end{pmatrix}$를 생각하자(Lang §VIII.3의 이차형식 $f(x,y)=2x^2-3xy+y^2$에 대응하는 행렬). 특성다항식은 $$\det(A-tI)=(2-t)(1-t)-\tfrac94=t^2-3t+2-\tfrac94=t^2-3t-\tfrac14.$$ 근의 공식으로 $\lambda=\dfrac{3\pm\sqrt{9+1}}{2}=\dfrac{3\pm\sqrt{10}}{2}$. 고유값 $\lambda_1=\frac{3+\sqrt{10}}2$(큰 쪽), $\lambda_2=\frac{3-\sqrt{10}}2$(작은 쪽)가 실수임을 확인할 수 있다(대칭이므로 정리 3.1 보장). 각 고유값에 대해 $(A-\lambda I)X=0$을 풀어 고유벡터를 얻고, 정규화해 단위벡터로 만들면 정규직교 기저 $\{u_1,u_2\}$를 얻는다. $U=(u_1\ u_2)$로 두면 $A=U\,\mathrm{diag}(\lambda_1,\lambda_2)\,{}^tU$ — 정리 4.4의 명시적 사례. 단위원 위에서 $f$의 최댓값은 $\lambda_1=\frac{3+\sqrt{10}}2$, 최솟값은 $\lambda_2$, 둘 다 정리 3.3/따름 3.4 그대로다.⁹

예제 2 (가장 단순한 대칭 $2\times2$: 명확히 손으로). $A=\begin{pmatrix}2&1\\1&2\end{pmatrix}$. 특성다항식 $(2-t)^2-1=t^2-4t+3=(t-1)(t-3)$, 고유값 $1,3$. $\lambda=3$: $(A-3I)X=0\Rightarrow -x+y=0\Rightarrow X=(1,1)$. $\lambda=1$: $x+y=0\Rightarrow X=(1,-1)$. 정규화: $u_1=\frac1{\sqrt2}(1,1)$, $u_2=\frac1{\sqrt2}(1,-1)$ — 이미 직교(서로 다른 고유값의 고유벡터는 자동으로 직교, 연습문제 참고). $U=\frac1{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}$, $D=\begin{pmatrix}3&0\\0&1\end{pmatrix}$. 검산: ${}^tUU=I$ (직교 확인), $UD\,{}^tU=\frac12\begin{pmatrix}1&1\\1&-1\end{pmatrix}\begin{pmatrix}3&0\\0&1\end{pmatrix}\begin{pmatrix}1&1\\1&-1\end{pmatrix}=\frac12\begin{pmatrix}3&1\\3&-1\end{pmatrix}\begin{pmatrix}1&1\\1&-1\end{pmatrix}=\frac12\begin{pmatrix}4&2\\2&4\end{pmatrix}=\begin{pmatrix}2&1\\1&2\end{pmatrix}=A$. ✓

예제 3 (실수 대칭 $3\times3$, 대각행렬은 자명). $A=\mathrm{diag}(a_1,a_2,a_3)$ 자체가 이미 대칭이고 이미 대각이다. 표준기저 $\{e_1,e_2,e_3\}$가 그대로 정규직교 스펙트럼 기저($U=I$). 이는 사소해 보이지만 "대각행렬은 항상 자기 자신이 스펙트럼 분해다"라는 사실을 확인시켜 주며, 일반 대칭행렬의 대각화가 "그 행렬을 어떤 회전된 좌표계에서 본 대각행렬"이라는 정리 4.4의 해석을 정당화한다.

예제 4 (복소 에르미트 $2\times2$). $A=\begin{pmatrix}2&i\\-i&2\end{pmatrix}$는 ${}^t\bar A=\begin{pmatrix}2&i\\-i&2\end{pmatrix}=A$이므로 에르미트. 특성다항식: $(2-t)^2-i(-i)=(2-t)^2-1=t^2-4t+3=(t-1)(t-3)$ — 고유값 $1,3$, 둘 다 실수(정리 5.1 그대로). $\lambda=3$: $(A-3I)X=0\Rightarrow \begin{pmatrix}-1&i\\-i&-1\end{pmatrix}X=0\Rightarrow -x+iy=0\Rightarrow x=iy$. $y=1$로 두면 $X=(i,1)$, 정규화 $u_1=\frac1{\sqrt2}(i,1)$. $\lambda=1$: $x=-iy$, $X=(-i,1)$, $u_2=\frac1{\sqrt2}(-i,1)$. 확인: $\langle u_1,u_2\rangle=\frac12(i\overline{(-i)}+1\cdot1)=\frac12(i\cdot i+1)=\frac12(-1+1)=0$ — 직교. $U=\frac1{\sqrt2}\begin{pmatrix}i&-i\\1&1\end{pmatrix}$는 유니터리($U^*U=I$), $U^*AU=\mathrm{diag}(3,1)$.

예제 5 (실수 유니터리/직교 — 회전행렬, 대각화 실패 사례). $A=R(\theta)=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}$ ($\theta\ne0,\pi$)는 직교이지만 — 특성다항식 $t^2-2\cos\theta\,t+1$의 판별식 $4\cos^2\theta-4<0$이므로 — 실 고유값이 없다.¹⁰ 이것이 표의 마지막 행이 말하는 예외다: 실수 유니터리 연산자는 일반적으로 (실수 위에서) 대각화되지 않는다. 대신 정리 6.3–6.4가 보장하듯, $V$ 전체가 이미 하나의 $2$차원 "회전 블록"이다 — 더 잘게 쪼갤 수 없을 뿐, 분해 자체는 여전히 성립한다. 복소수 위에서 보면 고유값은 $e^{\pm i\theta}$로 존재하고, 그 경우엔 (복소) 대각화가 가능하다(연습문제 13의 $U^{-1}AU=B$).

흔한 오해와 함정

• "대칭이 아니어도 직교 고유벡터를 기대" — 틀림. 정리 4.2의 증명은 대칭성 $\langle Aw,v\rangle=\langle w,Av\rangle$을 정확히 사용한다. 비대칭 행렬은 서로 다른 고유값의 고유벡터도 직교하지 않을 수 있다.
• "실수 행렬이면 항상 실수 고유값" — 틀림. 정리 3.1은 대칭행렬에 대해서만 보장한다. 일반 실수 행렬(예: 회전행렬)은 복소 고유값을 가질 수 있다.
• "직교/유니터리 연산자도 항상 대각화 가능" — 복소수 위에서는 참(정리 6.2)이지만, 실수 위에서는 거짓 — 회전은 대각화 안 됨, 대신 블록형(정리 6.3–6.4)이 최선이다.
• 고유벡터를 정규화하지 않고 $U$가 직교라고 주장 — $U$가 직교이려면 열벡터들이 단위노름이고 서로 직교해야 한다. 노름을 빼먹으면 ${}^tUU\ne I$.
• 서로 다른 고유공간에서 임의로 고른 기저가 자동으로 직교한다고 착각 — 서로 다른 고유값에 속한 고유벡터는 자동으로 직교하지만(연습문제 참고), 같은 고유값(중복 고유공간) 안에서는 임의의 기저가 직교라는 보장이 없다 — Gram–Schmidt(스칼라곱과 직교성)로 따로 직교화해야 한다.
• Rayleigh 몫의 최댓값이 "가장 큰 고유값 근처의 근사"라고 생각 — 근사가 아니라 정확히 같다(따름 3.4) — 부등식이 아니라 등식.

큰 그림 / 연결

스펙트럼 정리는 고윳값과 특성다항식에서 시작한 고유값 이론의 정점이자, 대칭·에르미트·유니터리 연산자가 정의한 세 연산자 클래스의 존재 이유다. 기하적으로는 쌍대공간과 쌍선형형식의 이차형식·부호수 이론과 직결된다 — 이차형식 $f(X)={}^tXAX$의 주축이 정확히 $A$의 고유벡터 방향이고, 부호수는 고유값의 부호 패턴이다. 대각화가 실패하는 일반적인 경우(비대칭, 또는 고유벡터가 부족한 경우)의 차선책이 조르당 표준형이다 — 스펙트럼 정리가 "최선의 경우"라면 Jordan 형은 "일반적인 경우의 최선"이다. 더 넓게는, 통계학의 주성분분석(공분산 행렬은 항상 대칭 → 항상 정규직교 고유기저 존재), 양자역학(에르미트 연산자가 관측가능량), 진동 역학(질량·강성 행렬의 일반화 고유값 문제), 그래프 이론(인접행렬·라플라시안의 스펙트럼)이 전부 이 정리 위에 서 있다. 함수해석학에서는 컴팩트 자기수반 연산자에 대한 무한차원 일반화(역시 "스펙트럼 정리"라 불림)로 이어진다.

연습문제

1. $A=\begin{pmatrix}3&1\\1&3\end{pmatrix}$의 고유값과 정규직교 고유벡터 기저를 구하고, $A=UD\,{}^tU$ 형태로 쓰라.
2. $A=\begin{pmatrix}0&2\\2&0\end{pmatrix}$를 대각화하라. 단위원 위에서 $f(X)={}^tXAX$의 최댓값·최솟값을 구하라.
3. 대칭 $A$의 서로 다른 고유값 $\lambda_1\ne\lambda_2$에 속한 고유벡터 $v_1,v_2$가 직교함을 직접 보여라. (힌트: $\lambda_1\langle v_1,v_2\rangle=\langle Av_1,v_2\rangle=\langle v_1,Av_2\rangle=\lambda_2\langle v_1,v_2\rangle$.)
4. $A$가 대칭이고 모든 고유값이 양수이면, $\langle Av,v\rangle>0$ for all $v\ne0$(즉 $A$가 양의 정부호)임을 보여라.
5. $\theta=\pi$일 때 회전행렬 $R(\pi)=-I$가 실수 고유값을 가짐을 확인하라(예외적인 경우). $\theta=0$일 때도 확인하라.
6. 에르미트 $2\times2$ 행렬 $A=\begin{pmatrix}1&1-i\\1+i&3\end{pmatrix}$가 에르미트임을 확인하고, 고유값이 실수임을 (계산 없이) 정리 5.1로 설명하라.
7. $A$가 대칭이고 가역이면 $A^{-1}$도 대칭이고, $A$와 $A^{-1}$이 같은 고유벡터를 가짐(고유값은 역수)을 보여라.
8. 대칭 $A,B$가 $AB=BA$를 만족하면 $A,B$를 동시에 대각화하는 정규직교 기저가 존재함을 직관적으로 설명하라(증명은 §VIII.4 연습문제 20 참고).

관련 개념

• 대칭·에르미트·유니터리 연산자 — 이 정리가 대각화하는 연산자들
• 고윳값과 특성다항식 — 정리되는 고유값/고유벡터
• 스칼라곱과 직교성 — 정규직교 기저와 Gram–Schmidt
• 쌍대공간과 쌍선형형식 — 이차형식의 주축형
• 선형사상과 행렬 — 이 정리가 해결하는 일반적인 대각화 문제
• 조르당 표준형 — 대각화가 실패할 때의 차선책