고윳값과 특성다항식

개요 — 동기·문제의식

선형사상 $A:V\to V$ 는 일반적으로 벡터를 회전시키고 늘이고 뒤섞는다 — 임의의 $v$에 대해 $Av$는 $v$와 전혀 다른 방향을 향할 수 있다. 그런데 어떤 특별한 방향 $v$에 대해서는 $A$가 방향을 보존하고 길이만 스칼라배로 바꾼다: $Av=\lambda v$. 이런 방향이 존재한다면 $A$는 그 방향에서만큼은 "그냥 숫자 곱셈"처럼 단순해진다. 이 관찰이 선형대수 후반부 전체의 출발점이다 — $A$를 가장 단순한 형태(대각행렬)로 표현할 기저를 찾으려는 시도가 고유벡터·고유값 이론이고, Lang은 이를 임의의 체 $K$ 위에서 추상적으로 시작해 $\mathbb{C}$의 대수적 폐포성으로 완성한다.¹

왜 중요한가: 미분방정식 $\dot F=AF$의 풀이(예제 2 참조), 이차형식의 최댓값(§VIII.3), 대각화·삼각화(삼각화와 일차분해)·Jordan 표준형(조르당 표준형)이 전부 "고유값을 안다"는 가정 위에 선다. 이 페이지는 그 기초 — 고유공간의 구조, 특성다항식이라는 계산 도구, 그리고 $\mathbb{C}$ 위에서의 존재성 정리 — 를 다룬다.

직관

고유벡터를 찾는 일은 "$A$가 단순히 늘이기만 하는 직선을 찾아라"는 기하적 질문이다. $\mathbb{R}^2$에서 회전 행렬은 그런 직선이 (실수 범위에서는) 전혀 없다 — 모든 벡터가 방향을 바꾼다. 반면 대각행렬은 모든 좌표축이 고유벡터다. 일반적인 $A$는 이 두 극단 사이 어딘가에 있고, 고유벡터를 찾는다는 것은 $A$가 "사실은 대각행렬처럼 행동하는" 숨은 좌표계를 찾는 것과 같다.

계산적으로는 $Av=\lambda v\iff (A-\lambda I)v=O$, 즉 $A-\lambda I$가 영이 아닌 핵을 가져야 한다 — 행렬식이 $0$이어야 한다는 뜻이다. 이 단순한 관찰이 고유값 탐색을 선형방정식(어떤 $\lambda$에 대해 $A-\lambda I$가 특이행렬인가)에서 다항식의 근 찾기(그 행렬식을 $\lambda$의 다항식으로 펼친 것의 근)로 바꿔준다. 이것이 특성다항식이다.

정의

체 $K$ 위 벡터공간 $V$와 선형사상 $A:V\to V$가 주어졌다고 하자.

고유벡터·고유값. $v\in V$, $v\neq O$가 $A$의 고유벡터(eigenvector) 라는 것은 어떤 $\lambda\in K$에 대해 $Av=\lambda v$가 성립한다는 것이다. 이때 $\lambda$를 $v$에 대응하는 고유값(eigenvalue) 이라 한다 ($v\neq O$이면 $\lambda$는 유일하게 결정된다).¹ $A$가 $n\times n$ 행렬이면, $A$의 고유벡터란 $K^n$의 (열)벡터 $X$로서 $AX=\lambda X$인 것이다.

고유공간. 고유값 $\lambda$를 갖는 모든 고유벡터와 영벡터를 모은 집합 $$V_\lambda=\{v\in V: Av=\lambda v\}=\ker(A-\lambda I)$$ 는 $V$의 부분공간이며, $\lambda$에 대응하는 고유공간(eigenspace) 이라 한다.²

특성다항식. $A=(a_{ij})$가 $n\times n$ 행렬일 때 $$P_A(t)=\det(tI-A)$$ 를 $A$의 특성다항식이라 한다. 첫 열로 전개하면 $P_A(t)=t^n-(\text{tr}A)t^{n-1}+\cdots$ 형태의 차수 $n$, 최고차항 계수 $1$인 다항식임을 알 수 있다.⁶

주요 정리

정리 1 (서로 다른 고유값의 독립성). 고유값 $\lambda_1,\dots,\lambda_m$이 서로 다른 고유벡터 $v_1,\dots,v_m$은 선형독립이다.³

따름. $\dim V=n$이고 $A$가 서로 다른 고유값을 갖는 $n$개의 고유벡터를 가지면, 그 고유벡터들은 $V$의 기저를 이룬다 — 즉 $A$는 대각화 가능하다.⁴

정리 2 (특이성에 의한 특징짓기). $\lambda$가 $A$의 고유값 $\iff$ $A-\lambda I$가 가역이 아니다.⁵

정리 3 (특성다항식과 고유값). $\lambda$가 $A$의 고유값 $\iff \lambda$가 특성다항식 $P_A(t)=\det(tI-A)$의 근.⁶

이 정리는 고유값을 찾는 문제를 다항식의 근 찾기로 환원하지만, 그 자체로 쉽다는 보장은 아니다 — 3차 이상의 특성다항식은 일반적으로 근의 명시적 공식이 없거나(5차 이상은 대수적으로 불가능) 복잡하다.

정리 4 (닮음 불변성). $B$가 가역이면, $A$와 $B^{-1}AB$는 같은 특성다항식을 갖는다.⁷

따라서 특성다항식은 기저에 무관하다 — 행렬이 아니라 연산자 $A$ 자체의 불변량이다. 기저를 바꾸면 행렬은 $B^{-1}AB$로 바뀌지만 특성다항식은 그대로다.

정리 5 (복소수 위에서의 존재성). $A$가 $n\times n$ 복소행렬이면, $A$는 (영이 아닌) 고유벡터와 $\mathbb{C}$ 안의 고유값을 갖는다.⁸

이는 순전히 해석적인 입력(대수학의 기본정리)이 선형대수의 구조 정리로 변환되는 좋은 예다. $\mathbb{R}$ 위에서는 이 정리가 거짓이다 — 회전은 실수 고유값을 갖지 않는다(예제 4 참조). 이 간극을 메우는 것이 대칭/Hermite 연산자에 대한 스펙트럼 정리이고, 일반적인 경우는 삼각화와 일차분해·조르당 표준형이 처리한다.

예제

예제 1 (대각행렬). $A=\text{diag}(a_1,\dots,a_n)$이면 표준 기저벡터 $E_i$가 고유값 $a_i$의 고유벡터다: $AE_i=a_iE_i$. 가장 단순한 경우지만 모든 대각화의 "목표 형태"다.¹

예제 2 ($2\times2$, 실수 고유값). $A=\begin{pmatrix}2&-1\\-3&4\end{pmatrix}$의 특성다항식은 $$P_A(t)=\det\begin{pmatrix}t-2&1\\3&t-4\end{pmatrix}=(t-2)(t-4)-3=t^2-6t+5=(t-5)(t-1).$$ 고유값은 $5,\,-1$이 아니라 $t=5,1$이다(전형적인 계산 실수 지점 — 인수분해를 다시 점검: $t^2-6t+5=0\Rightarrow t=5,1$). $\lambda=5$일 때 $(A-5I)X=O$, 즉 $-3x-y=0$에서 $X_1=\begin{pmatrix}1\\-3\end{pmatrix}$; $\lambda=1$일 때 $x-y=0$에서 $X_2=\begin{pmatrix}1\\1\end{pmatrix}$. 두 고유값이 서로 다르므로 $X_1,X_2$는 독립이고 $A$는 대각화 가능.⁹

예제 3 (중복 고유값, 고유공간이 1차원). $A=\begin{pmatrix}2&0&0\\0&2&1\\0&0&3\end{pmatrix}$의 특성다항식은 $(t-2)^2(t-3)$. $\lambda=2$의 고유공간을 구하려면 $(A-2I)X=O$: 세 번째 방정식 $y=0$, 두 번째 방정식에서 $z=0$ — 따라서 $\lambda=2$의 고유공간은 1차원(대수적 중복도 2이지만 기하적 중복도 1), $\lambda=3$의 고유공간도 1차원.⁹ 대수적 중복도 $>$ 기하적 중복도인 이 현상이 대각화 불가능성의 원천이며, 조르당 표준형이 이를 다룬다.

예제 4 (회전, 실수 고유값 없음). $R(\theta)=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}$의 특성다항식은 $$t^2-2\cos\theta\, t+1,$$ 판별식 $4\cos^2\theta-4=-4\sin^2\theta\le0$. $\sin\theta\neq0$이면 판별식이 음수이므로 실수 고유값이 없다 — 기하적으로 당연하다, 진짜 회전($\theta\neq0,\pi$)은 어떤 방향도 자기 자신의 배수로 보내지 않는다.¹ 복소수 범위에서는 고유값 $\cos\theta\pm i\sin\theta=e^{\pm i\theta}$를 얻는다(정리 5가 보장하는 정확히 그 존재성). 이 예가 $\mathbb{R}$과 $\mathbb{C}$ 위 이론의 결정적 차이를 보여준다.

예제 5 (복소 고유값, 실계수 행렬). $A=\begin{pmatrix}2&-5\\1&-2\end{pmatrix}$의 특성다항식은 $t^2-4=$ 아니라 직접 계산: $\det(tI-A)=(t-2)(t+2)+5=t^2+1$. 고유값은 $\pm i$ — 실수 행렬이지만 고유값은 순허수다. 이 경우 고유벡터도 본질적으로 복소수 성분을 가져야 한다.⁹

예제 6 (미분방정식과 고유벡터, 대각인 경우). $\dot F=AF$ ($A$가 대각행렬 $\text{diag}(\lambda_1,\dots,\lambda_n)$)는 좌표별로 분리되어 $f_i(t)=c_ie^{\lambda_i t}$. 일반해의 기저는 정확히 $A$의 고유벡터들이고, 동시에 미분연산자 $D=d/dt$의 고유벡터이기도 하다(함수공간에서 $D(e^{\lambda t})=\lambda e^{\lambda t}$이므로).¹ $A$가 대각이 아니면 먼저 고유기저로 좌표를 바꾼 뒤 같은 논법을 적용한다 — 고유값 이론이 선형 ODE 풀이의 표준 도구가 되는 이유다.

예제 7 (켤레와 고유값 — 정리 4의 응용). $B=\begin{pmatrix}0&1\\1&1\end{pmatrix}$, $Q=\begin{pmatrix}1&1\\0&1\end{pmatrix}$이면 $A=Q^{-1}BQ$는 $B$와 다른 행렬이지만(직접 계산하면 다른 성분을 가짐) 정리 4에 의해 반드시 같은 특성다항식 $t^2-t-1$을 가져야 한다 — 황금비 관련 고유값 $\frac{1\pm\sqrt5}{2}$. 닮음변환으로 행렬의 외형은 바뀌어도 고유값은 절대 바뀌지 않는다는 사실의 직접 확인.

흔한 오해와 함정

• "고유벡터의 합은 고유벡터" — 틀림. $\lambda_1\neq\lambda_2$인 고유벡터 $v_1,v_2$가 있으면 $v_1+v_2$는 일반적으로 고유벡터가 아니다. $A(v_1+v_2)=\lambda_1v_1+\lambda_2v_2$이고 이는 $\lambda_1\neq\lambda_2$이면 $v_1+v_2$의 배수가 아니다. (반면 같은 고유값을 갖는 고유벡터들의 합은 그 고유공간 안에 머문다 — 정리 1.)
• 특성다항식의 근 = 항상 쉬운 계산 — 틀림. 정리 3은 존재론적 환원일 뿐, 3차 이상에서는 근을 구체적으로 찾는 일이 실제로 어려울 수 있다(Lang 자신이 §VIII.2 Example 1에서 인정).
• 대수적 중복도 = 기하적 중복도라고 가정 — 일반적으로 거짓. 예제 3처럼 $\dim V_\lambda$가 $(t-\lambda)$의 거듭제곱 차수보다 작을 수 있다. 같을 때만(모든 고유값에 대해) 대각화 가능.
• 실수 행렬이니 고유값도 실수일 것 — 틀림(예제 4, 5). 실계수 다항식이라도 복소근을 가질 수 있다; 실수 행렬의 복소 고유값은 항상 켤레쌍으로 나타난다.
• 닮음 불변량이라고 모든 것이 불변이라 착각 — 특성다항식·대수적 중복도·고유값 집합은 닮음 불변이지만, 고유벡터 자체나 고유공간을 이루는 구체적 벡터는 기저(닮음)에 따라 달라진다.

큰 그림 / 연결

특성다항식과 고유벡터는 정준형 이론 전체의 출발점이다. 다음 단계는 $A$를 $K[t]$가 작용하는 대상으로 보아 최소다항식과 Cayley–Hamilton을 얻는 것(연산자의 다항식) — 최소다항식의 근은 정확히 고유값들과 같지만 중복도가 다를 수 있다. 고유기저가 존재하지 않을 때는 삼각화와 주분해(삼각화와 일차분해)로, 더 정밀하게는 Jordan 표준형(조르당 표준형)으로 후퇴한다. $A$가 대칭/Hermite이면 스펙트럼 정리이 실수 고유값과 직교 고유기저의 존재를 무조건 보장한다. 행렬식이 특성다항식 정의의 핵심 도구임은 행렬식에서 다루며, 대각화는 선형사상과 행렬에서 본 기저변환의 특별한 경우다. 더 멀리는, 양자역학의 관측가능량(에르미트 연산자의 고유값=측정가능값), 안정성 해석(고유값의 부호/절댓값), 주성분분석(공분산행렬의 고유벡터) 등 과학 전반에서 "어떤 연산이 단순해지는 방향을 찾는다"는 이 발상이 반복된다.

연습문제

1. $A=\begin{pmatrix}3&1\\0&3\end{pmatrix}$의 고유값과 각 고유공간의 차원을 구하라. 대각화 가능한가?
2. $A=\begin{pmatrix}1&2\\2&1\end{pmatrix}$의 특성다항식, 고유값, 고유벡터를 모두 구하라.
3. $a\neq0$일 때 $A=\begin{pmatrix}0&a\\0&0\end{pmatrix}$의 고유벡터들이 1차원 공간을 생성함을 보이고 기저를 제시하라.
4. $A$가 가역이고 $\lambda$가 $A$의 고유값이면 $\lambda\neq0$이고 $\lambda^{-1}$이 $A^{-1}$의 고유값임을 보여라.
5. $A,B$가 같은 크기의 정사각행렬일 때 $AB$와 $BA$가 같은 고유값을 가짐을 보여라 (힌트: $\lambda\neq0$인 경우와 $\lambda=0$인 경우를 나눠 생각하라).
6. $R(\theta)=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}$가 $R(\theta)=\pm I$가 아닌 한 실수 고유값을 갖지 않음을 판별식으로 보여라.
7. $A$가 $n\times n$ 대각행렬이 아닌 상삼각행렬일 때, 고유값이 대각성분들임을 보이고, 왜 고유공간의 차원이 $1$보다 작아질 수 있는지 예제 3 스타일로 설명하라.
8. $V$가 유한차원이고 $A:V\to V$의 특성다항식이 $n=\dim V$개의 서로 다른 근을 가지면 $V$가 $A$의 고유벡터로 이루어진 기저를 가짐을 보여라.

관련 개념

• 선형사상과 행렬 — 대각화 = 고유기저; 닮음
• 행렬식 — $\det(tI-A)$로 특성다항식을 정의
• 스펙트럼 정리 — 대칭 연산자에 대해 실수 정규직교 고유기저를 보장
• 연산자의 다항식 — 최소다항식과 Cayley–Hamilton이 이를 정밀화
• 삼각화와 일차분해 — 고유기저가 없을 때
• 조르당 표준형 — 가장 정밀한 정준형