V. 스펙트럼 이론 · 10/16

대칭·에르미트·유니터리 연산자

수반연산자와 세 연산자 계급

읽음 0/0 갱신 2026-06-30

개요 — 동기·문제의식

스칼라곱과 직교성가 벡터공간에 길이·각도·직교성을 주었다면, 이제 자연스러운 질문은: 어떤 선형사상이 이 구조와 "잘 어울리는가"? 일반적인 선형사상 $A$는 스칼라곱을 마구 뒤틀 수 있다 — 직교했던 벡터를 직교가 아니게 만들고, 노름을 임의로 바꾼다. 그런데 스칼라곱과 상호작용하는 방식이 특별히 깔끔한 세 부류의 연산자가 있다: $A$가 스칼라곱 안에서 한쪽 인자에서 다른 쪽으로 "건너갈" 수 있는 대칭/에르미트, 그리고 스칼라곱 자체를 통째로 보존하는 유니터리. 이 세 클래스를 정의하는 공통 도구가 전치/수반(transpose/adjoint) 이다 — $A$ 자체가 아니라 $A$와 스칼라곱의 관계를 기술하는 "짝 연산자"다.

이 페이지가 다루는 것은 정의와 대수적 성질뿐이다 — 왜 이 클래스들이 중요한가(대각화가 항상 되고, 정규직교 고유기저를 갖는다는 것)는 스펙트럼 정리에서 증명한다. 이 두 페이지는 Lang의 책에서 순서가 뒤바뀌어 있다는 점도 흥미롭다 — Ch.VII(이 페이지)이 연산자 클래스를 먼저 정의하고, Ch.VIII(스펙트럼 정리)이 그것들을 대각화한다.

직관

전치/수반을 직관적으로 이해하는 가장 쉬운 길은 행렬로 시작하는 것이다. $K^n$ 위의 표준 내적 $\langle X,Y\rangle={}^tXY$를 생각하면, $\langle AX,Y\rangle={}^t(AX)Y={}^tX\,{}^tAY=\langle X,{}^tAY\rangle$ — 즉 "$A$를 왼쪽 인자에 적용한 것"과 "${}^tA$를 오른쪽 인자에 적용한 것"이 같은 수를 낸다. ${}^tA$는 $A$를 스칼라곱의 반대쪽으로 옮기는 연산자다. 대칭이란 $A={}^tA$, 즉 어느 쪽 인자에 적용해도 상관없다는 뜻 — $A$가 스칼라곱에 대해 "양쪽 대칭"으로 작용한다. 유니터리는 전혀 다른 종류의 호환성이다: $A$를 양쪽 인자에 동시에 적용해도 스칼라곱 값 자체가 변하지 않는다 — $A$가 전체 기하(길이·각도)를 통째로 보존하는 강체운동이라는 뜻. 회전·반사가 전형적인 예다.

복소수에서는 미묘한 차이가 생긴다. 에르미트곱은 한쪽 인자에서 켤레선형이므로($\langle v,\alpha w\rangle=\bar\alpha\langle v,w\rangle$), "전치"를 그대로 옮기면 선형성이 깨진다. 그래서 수반 $A^*$를 따로 정의해야 하고, 정의 안에 켤레가 숨겨져 있어 $A^*$ 자체는 선형(반선형이 아님)으로 유지된다 — Lang이 강조하는 미묘하지만 결정적인 포인트다.

정의

$V$를 체 $K$(실수 또는 복소수) 위의 유한차원 벡터공간이라 하고, $V$에 고정된 비퇴화 스칼라곱(또는 양의 정부호 에르미트곱)이 있다고 하자. 선형사상 $A:V\to V$를 연산자(operator) 라 부른다.

전치(실수/일반 체 $K$).

보조정리 1.1. 연산자 $A:V\to V$에 대해, 모든 $v,w\in V$에서 $\langle Av,w\rangle=\langle v,{}^tAw\rangle$를 만족하는 유일한 연산자 ${}^tA:V\to V$가 존재한다.¹

증명 보기

증명. $w$를 고정하면 $L(v)=\langle Av,w\rangle$는 $V$ 위의 함수형(functional)이므로 쌍대공간 $V^*$의 원소다. 쌍대공간과 쌍선형형식의 표현정리(Ch.V Thm 6.2)에 의해 유일한 $w'\in V$가 존재해 $L(v)=\langle v,w'\rangle$ for all $v$. $w':=Bw={}^tAw$로 정의하면 $B$가 선형임을 $w_1,w_2$의 합과 스칼라곱에 대해 직접 확인할 수 있다.² ∎

수반(복소수 $\mathbb{C}$).

보조정리 2.2. 연산자 $A:V\to V$에 대해, 모든 $v,w\in V$에서 $\langle Av,w\rangle=\langle v,A^*w\rangle$를 만족하는 유일한 연산자 $A^*:V\to V$가 존재한다.³

증명은 보조정리 1.1과 같다(켤레선형성에 의한 부호만 주의). 결정적으로, $A^*$는 선형이지 반선형이 아니다 — 정의 과정에서 켤레가 정확히 상쇄되기 때문이다.⁴

표기	체	표준 사례에서의 행렬 형태	만족하는 항등식
${}^tA$ (전치)	$K$ (일반/실수), 점곱	행렬의 보통 전치 ${}^tA$	$\langle Av,w\rangle=\langle v,{}^tAw\rangle$
$A^*$ (수반)	$\mathbb{C}$, 에르미트곱	켤레전치 $A^*={}^t\bar A$	$\langle Av,w\rangle=\langle v,A^*w\rangle$

$K^n$에서 점곱으로 보면 ${}^tA$는 문자 그대로 행렬의 전치이고,⁵ $\mathbb{C}^n$에서 표준 에르미트곱으로 보면 $A^*={}^t\bar A$(켤레전치)다. 두 연산은 다음 형식 규칙을 만족한다.

정리 1.2 / 2.3. ${}^t(AB)={}^tB\,{}^tA$, ${}^t(A+B)={}^tA+{}^tB$, ${}^t(cA)=c\,{}^tA$; 복소수에서는 $(AB)^*=B^*A^*$, $(\alpha A)^*=\bar\alpha A^*$ — 스칼라에 켤레가 붙는 것이 유일한 차이.⁶

세 연산자 클래스

대칭(symmetric) ($K$, 또는 실수): ${}^tA=A$, 즉 $\langle Av,w\rangle=\langle v,Aw\rangle$ for all $v,w$.⁷ 행렬 형태: $A={}^tA$.
에르미트/자기수반(Hermitian/self-adjoint) ($\mathbb{C}$): $A^*=A$, 즉 에르미트곱에 대해 $\langle Av,w\rangle=\langle v,Aw\rangle$.⁸ 행렬 형태: ${}^t\bar A=A$.
유니터리(unitary) ($\mathbb{C}$) / 직교(orthogonal) ($\mathbb{R}$): 스칼라곱 자체를 보존, $\langle Av,Aw\rangle=\langle v,w\rangle$ — 동치로 $A^*A=I$(따라서 $A^*=A^{-1}$); 이런 $A$는 $|\det A|=1$.⁹

주요 정리

정리 (편극으로부터의 순수 복소수적 사실). $\langle Av,v\rangle=0$이 모든 $v$에서 성립하면 $A=O$.¹⁰

증명 보기

증명. 편극항등식(polarization identity) $$\langle A(v+w),v+w\rangle-\langle Av,v\rangle-\langle Aw,w\rangle=\langle Av,w\rangle+\langle Aw,v\rangle$$ 의 좌변이 가정에 의해 항상 $0$이므로 $\langle Av,w\rangle+\langle Aw,v\rangle=0$. 여기서 $v$를 $iv$로 바꾸면 $\langle Av,w\rangle$의 부호가 (복소수 에르미트곱의 켤레선형성 때문에) 반대로 뒤집혀, $-i\langle Av,w\rangle+i\langle Aw,v\rangle=0$, 즉 $\langle Av,w\rangle-\langle Aw,v\rangle=0$. 두 식을 더하면 $\langle Av,w\rangle=0$ for all $v,w$, 따라서 $A=O$. ∎

이 정리는 실수 위에서는 거짓이다 — 회전은 반례: $\langle Av,v\rangle=0$이 모든 $v$에서 성립할 수 있어도(예: $90°$ 회전은 모든 벡터를 자신과 수직으로 보낸다) $A\ne O$.¹¹ 복소수 켤레선형성이 결정적으로 사용된 곳이 바로 "$v\mapsto iv$로 바꿔치기" 단계다.

따름 (에르미트 판정 조건). $A$가 에르미트일 필요충분조건은 $\langle Av,v\rangle$가 모든 $v$에서 실수인 것.¹²

증명 보기

증명 스케치. ($\Rightarrow$) $\langle Av,v\rangle=\langle v,Av\rangle=\overline{\langle Av,v\rangle}$이므로 자기 켤레, 즉 실수. ($\Leftarrow$) $\langle Av,v\rangle$가 실수이면 $\langle Av,v\rangle=\overline{\langle Av,v\rangle}=\langle v,Av\rangle=\langle A^*v,v\rangle$, 즉 $\langle(A-A^*)v,v\rangle=0$ for all $v$ — 위 정리에 의해 $A-A^*=O$. ∎

유니터리의 동치 조건. $V$가 양의 정부호 스칼라곱(또는 에르미트곱)을 가진 공간일 때, 다음은 동치다: (1) $A$가 유니터리(곱 보존), (2) $A$가 노름 보존 $\|Av\|=\|v\|$, (3) $A$가 단위벡터를 단위벡터로 보낸다.¹³

증명 보기

증명 스케치 ((2)⟹(1)). $\|A(v+w)\|^2=\|v+w\|^2$를 전개하고 (2)를 이용해 정리하면 $4\langle Av,Aw\rangle=4\langle v,w\rangle$가 나온다(편극의 또 다른 형태). ∎ 유니터리 사상은 직교성도 보존한다($\langle v,w\rangle=0\Rightarrow\langle Av,Aw\rangle=0$) — 그러나 역은 거짓: 직교성만 보존하는 사상(예: $v\mapsto 2v$)이 반드시 노름까지 보존하진 않는다. "직교 사상"이라는 표준 용어가 약간 오해를 부르는 이유다 — 실제로는 노름까지 보존한다.¹⁴

행렬 동치. 표준 점곱을 쓰는 $K^n$에서, $A$가 유니터리 $\iff {}^tAA=I$(실수), $\iff {}^t\bar AA=I$(복소수). 또한 $\{v_1,\dots,v_n\}$이 정규직교 기저이고 $A$가 유니터리이면 $\{Av_1,\dots,Av_n\}$도 정규직교 기저이며, 역으로 정규직교 기저를 정규직교 기저로 보내는 선형사상은 유니터리다.¹⁵

예제

예제 1 (대칭 행렬, 점곱). $A=\begin{pmatrix}1&2\\2&3\end{pmatrix}$. ${}^tA=A$이므로 대칭. $\langle AX,Y\rangle={}^t(AX)Y={}^tX\,{}^tAY={}^tXAY=\langle X,AY\rangle$ — 직접 검산 가능.

예제 2 (에르미트 $2\times2$, 복소수). $A=\begin{pmatrix}3&2-i\\2+i&5\end{pmatrix}$. ${}^t\bar A=\overline{\begin{pmatrix}3&2+i\\2-i&5\end{pmatrix}}^{\,t}$를 계산하면 $\bar A=\begin{pmatrix}3&2+i\\2-i&5\end{pmatrix}$, 그 전치는 $\begin{pmatrix}3&2-i\\2+i&5\end{pmatrix}=A$. 따라서 $A$는 에르미트. 대각원소 $3,5$가 (정의상 자기 자신과 켤레가 같아야 하므로) 반드시 실수임을 확인할 수 있다 — 에르미트 행렬의 일반적 성질.

예제 3 (회전행렬 = 실수 직교/유니터리의 표준예). $A=R(\theta)=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}$. ${}^tA=\begin{pmatrix}\cos\theta&\sin\theta\\-\sin\theta&\cos\theta\end{pmatrix}$이고 ${}^tAA=\begin{pmatrix}\cos^2\theta+\sin^2\theta&0\\0&\sin^2\theta+\cos^2\theta\end{pmatrix}=I$ — 직교 확인. $\det A=\cos^2\theta+\sin^2\theta=1$이므로 정리(연습 §VII.3.12)에 의해 평면의 모든 직교사상 중 행렬식 $1$인 것은 정확히 이 형태 — "회전"이라 불리는 이유다.¹⁶

예제 4 (반사 — 직교이지만 행렬식 $-1$). $A=\begin{pmatrix}1&0\\0&-1\end{pmatrix}$. ${}^tAA=I$ 직접 확인되므로 직교, $\det A=-1$. 회전과 달리 방향을 뒤집는다 — Lang 연습 §VIII.1.5처럼, 한 고유벡터는 고정($\lambda=1$), 다른 하나는 부호반전($\lambda=-1$).

예제 5 (복소 유니터리 $2\times2$, 대각). $A=\begin{pmatrix}e^{i\theta}&0\\0&e^{i\phi}\end{pmatrix}$. $A^*A=\begin{pmatrix}e^{-i\theta}e^{i\theta}&0\\0&e^{-i\phi}e^{i\phi}\end{pmatrix}=I$ — 유니터리. 대각 유니터리 행렬의 대각원소는 항상 절댓값 $1$의 복소수, 즉 $e^{i\theta}$ 꼴이라는 일반 사실의 사례.¹⁷

예제 6 (전치의 함자성). $A=\begin{pmatrix}1&1\\0&1\end{pmatrix}$, $B=\begin{pmatrix}2&0\\1&1\end{pmatrix}$. $AB=\begin{pmatrix}3&1\\1&1\end{pmatrix}$, ${}^t(AB)=\begin{pmatrix}3&1\\1&1\end{pmatrix}$. 한편 ${}^tB\,{}^tA=\begin{pmatrix}2&1\\0&1\end{pmatrix}\begin{pmatrix}1&0\\1&1\end{pmatrix}=\begin{pmatrix}3&1\\1&1\end{pmatrix}$ — 정리 1.2의 ${}^t(AB)={}^tB\,{}^tA$(순서가 뒤집힘) 확인.

흔한 오해와 함정

"$A^*$도 ${}^tA$처럼 그냥 전치" — 틀림. 복소수에서 $A^*={}^t\bar A$, 켤레전치다. 그냥 전치 ${}^tA$는 에르미트곱과 호환되지 않는다(켤레선형성 때문에 보조정리 2.2의 등식이 깨진다).
"정리 2.4($\langle Av,v\rangle=0\,\forall v\Rightarrow A=O$)는 실수에서도 성립" — 거짓. 회전이 반례(연습 §VII.2.2). 증명에서 $v\to iv$ 치환이 본질적으로 복소수를 사용한다.
"직교성을 보존하면 유니터리" — 거짓. $v\mapsto 2v$는 직교성을 보존하지만 노름을 보존하지 않으므로 유니터리가 아니다. 유니터리는 노름까지 보존해야 한다 — "직교 사상"이라는 이름이 이 함정을 부추긴다.
삼각 대칭/에르미트 행렬을 일반적인 경우로 착각 — 사실 삼각이면서 대칭(또는 에르미트)인 행렬은 자동으로 대각이다(연습 §VII.1.3, §VII.2.6) — 비대각 위쪽 성분이 0이 아니면 전치가 달라져 대칭이 깨진다.
에르미트 행렬의 대각원소가 임의의 복소수일 수 있다고 생각 — 틀림. ${}^t\bar A=A$의 대각 조건은 $\bar a_{ii}=a_{ii}$, 즉 대각원소는 항상 실수여야 한다(연습 §VII.2.5).
스칼라곱이 퇴화되어 있어도 전치/수반이 존재한다고 가정 — 보조정리 1.1/2.2의 증명은 표현정리(쌍대공간과의 동형)에 의존하며, 이는 비퇴화 스칼라곱에서만 성립한다.

큰 그림 / 연결

이 페이지의 모든 정의는 쌍대공간과 쌍선형형식의 $V\cong V^*$ 동형사상(표현정리) 위에 세워진다 — 전치/수반이 존재하는 이유가 바로 그 동형이다. 세 연산자 클래스는 스펙트럼 정리이 대각화하는 정확한 대상이다 — 대칭·에르미트는 실수 고유값과 정규직교 고유기저를, 유니터리는 절댓값 $1$의 고유값으로 대각화(복소수의 경우) 또는 블록분해(실수의 경우)를 보장받는다. 대칭 연산자는 또한 쌍대공간과 쌍선형형식의 이차형식 — 헤시안, 2계 도함수 판정법, 통계학의 공분산행렬 — 을 인코딩하는 표준 도구다. 더 멀리 보면, 유니터리 연산자가 보존하는 구조(스칼라곱)는 양자역학에서 시간 발전 연산자(슈뢰딩거 방정식의 해)가 유니터리여야 하는 이유이고, 에르미트 연산자가 물리적 관측가능량에 대응하는 이유는 정확히 "고유값이 실수"라는 이 페이지의 정리 때문이다.

연습문제

$A$가 비대칭 행렬이면 $A={}^tA$와 $A=\frac12(A+{}^tA)+\frac12(A-{}^tA)$를 이용해 $A$를 대칭행렬과 반대칭행렬(skew-symmetric, ${}^tA=-A$)의 합으로 유일하게 분해할 수 있음을 보여라.
$A,B$가 같은 크기의 대칭행렬일 때, $AB$가 대칭일 필요충분조건이 $AB=BA$임을 보여라.
에르미트 행렬 $A=\begin{pmatrix}2&3i\\-3i&2\end{pmatrix}$가 실제로 에르미트인지 확인하라.
대칭이며 동시에 직교인 $2\times2$ 실수행렬 $A$($A={}^tA$이고 ${}^tAA=I$)는 $A^2=I$를 만족함을 보이고, 가능한 행렬 형태를 분류하라.
$A$가 가역 대칭행렬이면 $A^{-1}$도 대칭임을 보여라.
$A$가 가역 유니터리행렬이면 $A^{-1}=A^*$이고 $A^{-1}$도 유니터리임을 보여라.
$A,B$가 둘 다 유니터리이면 $AB$도 유니터리임을 보여라. $B^{-1}AB$는 어떤가?
(정리 2.4의 반례 완성) 실수 $90°$ 회전 $A=\begin{pmatrix}0&-1\\1&0\end{pmatrix}$에 대해 모든 $v\in\mathbb{R}^2$에서 $\langle Av,v\rangle=0$임을 직접 계산으로 확인하라. $A\ne O$인데 왜 정리 2.4와 모순이 아닌가?

힌트 / 정답

$S=\frac12(A+{}^tA)$는 ${}^tS=\frac12({}^tA+A)=S$로 대칭; $K=\frac12(A-{}^tA)$는 ${}^tK=\frac12({}^tA-A)=-K$로 반대칭; $A=S+K$이고 이 분해가 유일함은 대칭+반대칭 행렬의 공간이 직합이기 때문(대칭이면서 반대칭인 행렬은 영행렬뿐).
${}^t(AB)={}^tB\,{}^tA=BA$(둘 다 대칭이므로). $AB$가 대칭 $\iff {}^t(AB)=AB \iff BA=AB$.
${}^t\bar A=\overline{\begin{pmatrix}2&-3i\\3i&2\end{pmatrix}}^{\,t}$; $\bar A=\begin{pmatrix}2&-3i\\3i&2\end{pmatrix}$, 전치하면 $\begin{pmatrix}2&3i\\-3i&2\end{pmatrix}=A$. 에르미트 맞음.
$A^2=A\,{}^tA=I$(직교 조건과 대칭 조건을 합치면). 가능한 형태: $I$, $-I$, 또는 반사행렬 $\begin{pmatrix}\cos2\alpha&\sin2\alpha\\\sin2\alpha&-\cos2\alpha\end{pmatrix}$ 꼴 (행렬식 $-1$인 대칭 직교행렬은 모두 반사).
${}^t(A^{-1})=({}^tA)^{-1}=A^{-1}$.
$A^*A=I$이므로 $A^*=A^{-1}$; $(A^{-1})^*A^{-1}=A(A^*)^*{}^{-1}\cdots$ — 직접: $A^{-1}$의 수반은 $(A^*)^{-1}=A$이므로 $(A^{-1})^*A^{-1}=AA^{-1}=I$.
$(AB)^*(AB)=B^*A^*AB=B^*B=I$ — 유니터리. $B^{-1}AB$도 유니터리: $(B^{-1}AB)^*(B^{-1}AB)=B^*A^*(B^{-1})^*B^{-1}AB=B^*A^*(B^*)^{-1}B^{-1}AB$, $B$가 유니터리이므로 $B^*=B^{-1}$ 대입하면 정리됨(연습 §VII.3.3c와 동일 패턴).
$\langle Av,v\rangle=(0,-1;1,0)(x,y)\cdot(x,y)=(-y,x)\cdot(x,y)=-yx+xy=0$ for all $(x,y)$. 모순이 아닌 이유: 정리 2.4는 복소수 공간/에르미트곱을 가정한다. 여기서는 실수 공간과 실수 점곱이므로 정리의 가설이 적용되지 않는다 — 정확히 본문이 경고한 "역은 실수에서 거짓"의 사례.

개요 — 동기·문제의식

직관

정의

세 연산자 클래스

주요 정리

예제

흔한 오해와 함정

큰 그림 / 연결

연습문제

관련 개념