선형사상과 행렬

개요 — 동기·문제의식

선형사상에서 선형사상을 기저와 무관한 추상적 대상으로 다뤘다면, 이제는 계산을 해야 한다. 계산을 하려면 좌표가 필요하고, 좌표는 기저를 고르는 순간 생긴다. 이 장의 슬로건은 "행렬은 선형사상의 좌표 그림자다" — 사상 자체는 기저를 고르기 전부터 존재하는 불변의 실체이고, 행렬은 기저를 고르는 순간 그 사상이 드리우는 구체적인 숫자 배열이다.

여기서 자연스럽게 두 가지 질문이 떠오른다. 기저를 바꾸면 행렬이 어떻게 바뀌는가? 그리고 "본질적으로 같은 사상"을 행렬 수준에서 어떻게 알아보는가? 답은 켤레(conjugation) — $N^{-1}MN$ — 와 그로부터 정의되는 동치관계 닮음(similarity) 이다. 닮음은 이 책의 후반부 전체(고유값, 대각화, 삼각화, Jordan 표준형)가 풀려고 하는 문제, "주어진 연산자에 대해 가장 단순한 행렬을 주는 기저는 무엇인가"를 정확히 정식화한다.

직관

행렬을 사진이라고 생각하면 이해하기 쉽다. 같은 사람(선형사상)을 다른 각도(기저)에서 찍으면 사진(행렬)이 달라 보이지만, 찍히는 대상은 변하지 않는다. $K^n\to K^m$의 표준적인 경우엔 "표준 각도"(표준기저)가 있어 사진과 사람을 거의 동일시할 수 있다. 하지만 추상적인 벡터공간 $V,W$에는 미리 정해진 "표준 각도"가 없으므로, 기저를 명시적으로 선택해야 하고 — 선택이 달라지면 행렬도 달라진다.

연산자 $F:V\to V$(같은 공간으로 가는 사상)의 경우는 특별하다. 기저를 바꾸면 새 행렬은 헌 행렬을 가역행렬 $N$으로 양쪽에서 감싼 $N^{-1}MN$이 된다. 이 켤레 연산은 "좌표를 새 기저로 바꿔치기 → 원래 사상 적용 → 다시 헌 기저 좌표로 바꿔치기"라는 세 단계의 합성을 그대로 옮긴 것이다. 따라서 켤레로 서로 연결되는 행렬들(닮은 행렬)은 정확히 "같은 사상을 다른 기저에서 본 모습"이며, 대각화 가능성·고유값·대각합·행렬식처럼 켤레에 무관한 양만이 사상 자체의 진짜 성질이다.

정의

$K^n\to K^m$ 사이의 사상과 행렬의 사전(dictionary). 행렬 $A$ ($m\times n$)는 사상 $L_A:K^n\to K^m$, $X\mapsto AX$를 정의한다. 거꾸로 모든 선형사상 $L:K^n\to K^m$은 어떤 유일한 $A$에 대해 $L=L_A$이며, $A$의 $j$번째 열은 $L(E_j)$ ($E_j$는 $j$번째 표준단위벡터)이다.¹

정리 1.1. $A,B$가 $m\times n$ 행렬이고 $L_A=L_B$ 이면 $A=B$.²

이 사전은 연산까지 보존한다: $L_{A+B}=L_A+L_B$, 스칼라배 보존, 그리고 결정적으로 합성이 곱셈과 대응한다 — $F\leftrightarrow A$, $G\leftrightarrow B$이면 $G\circ F\leftrightarrow BA$.³

정리 2.2. 정사각행렬 $A$가 가역 $\iff$ $A$의 열 $A^1,\dots,A^n$이 일차독립.⁴

추상적인 공간에서의 좌표. $V,W$가 유한차원이고 기저 $\mathcal{B}=\{v_1,\dots,v_n\}$, $\mathcal{B}'=\{w_1,\dots,w_m\}$이 고정되었다 하자. $v=\sum x_iv_i$의 좌표벡터 $X_{\mathcal{B}}(v):={}^t(x_1,\dots,x_n)\in K^n$. 선형 $F:V\to W$의 $\mathcal{B},\mathcal{B}'$에 대한 행렬 $M_{\mathcal{B}}^{\mathcal{B}'}(F)$는 다음 성질로 특징지어진다:

정리 3.1. $M(F)\cdot X_{\mathcal{B}}(v)=X_{\mathcal{B}'}(F(v))$ — $v$의 좌표벡터에 행렬을 곱하면 $F(v)$의 좌표벡터가 나온다.⁵

정리 3.3. $f\mapsto M(f)$는 $\mathcal{L}(V,W)$와 $m\times n$ 행렬 공간 $\operatorname{Mat}_{m\times n}(K)$ 사이의 동형사상이다.⁶

경고. 같은 공간 $V$ 위에서도, 서로 다른 두 기저 $\mathcal{B}\ne\mathcal{B}'$에 대해 항등사상 $\operatorname{id}:V\to V$의 행렬 $M_{\mathcal{B}}^{\mathcal{B}'}(\operatorname{id})$은 단위행렬이 아니다 — 그것은 기저 사이를 잇는 좌표변환 행렬이다.⁷

주요 정리

정리 (좌표 변환, Thm 3.1의 증명 스케치). $v=\sum_j x_jv_j$이면 선형성에 의해 $F(v)=\sum_j x_jF(v_j)=\sum_j x_j\sum_i a_{ij}w_i=\sum_i\left(\sum_j a_{ij}x_j\right)w_i$, 여기서 $a_{ij}$는 $F(v_j)=\sum_i a_{ij}w_i$의 계수. 괄호 안이 정확히 $AX$의 $i$번째 성분이므로 $X_{\mathcal{B}'}(F(v))=AX_{\mathcal{B}}(v)$. $\blacksquare$

정리 (기저 변환과 닮음, Thm 3.6). $F:V\to V$가 선형 연산자이고 $\mathcal{B},\mathcal{B}'$이 $V$의 두 기저이면, 가역행렬 $N$이 존재하여 $$M_{\mathcal{B}'}(F)=N^{-1}M_{\mathcal{B}}(F)\,N.$$ ⁸

정의 (닮음). $M,M'\in\operatorname{Mat}_{n\times n}(K)$가 닮음(similar, over $K$) $\iff$ 가역 $N$이 존재해 $M'=N^{-1}MN$.⁹ 닮음은 동치관계(반사성: $N=I$; 대칭성: 양변에 $N^{-1}$을 곱한 형태로 뒤집기; 추이성: 두 켤레의 합성)이며, 그 동치류가 정확히 "같은 연산자를 어떤 기저에서 보든 얻는 행렬들"이다.

정리 (대각화 가능성, Thm 3.7). $F$ (또는 $M$)가 $K$ 위에서 대각화 가능이다 $\iff$ 가역 $N$이 존재해 $N^{-1}MN$이 대각행렬.¹⁰

왜 닮음이 자연스러운 동치인가. 대각화 가능성은 행렬 자체의 성질이 아니라 연산자의 성질이다 — 어떤 기저를 골라야 대각행렬이 나오는지는 기저에 따라 다르지만, "그런 기저가 존재하는가"는 기저 선택과 무관한 질문이다. 닮음류 전체가 "예/아니오"를 공유한다.

따름 (불변량). $N^{-1}MN$ 양변에 대각합·행렬식을 적용하면 $\operatorname{tr}(N^{-1}MN)=\operatorname{tr}M$, $\det(N^{-1}MN)=\det M$ (행렬식의 곱셈성에서: $\det(N^{-1})\det M\det N=\det M$). 따라서 대각합·행렬식·특성다항식은 닮은 행렬 전체에서 공통이며, 연산자 자체의 불변량으로 의미를 갖는다 — 이는 행렬식·고윳값과 특성다항식로 직결된다.

예제

예제 1 (사영, $K^n\to K^m$ 표준 경우). $F:\mathbb{R}^3\to\mathbb{R}^2$, $F(x_1,x_2,x_3)=(x_1,x_2)$. $F(E_1)=(1,0)$, $F(E_2)=(0,1)$, $F(E_3)=(0,0)$ ⟹ $A=\begin{pmatrix}1&0&0\\0&1&0\end{pmatrix}$.

예제 2 (회전행렬, 합성 = 곱셈). $\mathbb{R}^2$에서 각 $\theta$만큼 회전: $R(\theta)=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}$. $R(\pi/2)=\begin{pmatrix}0&-1\\1&0\end{pmatrix}$. 두 회전의 합성은 각의 합에 대응하므로 $R(\theta)R(\varphi)=R(\theta+\varphi)$ — 삼각함수 덧셈공식과 정확히 일치(직접 곱해서 확인 가능).

예제 3 (추상 공간의 좌표, 다항식). $V=$ 차수 $\le2$ 다항식, 기저 $\mathcal{B}=\{1,t,t^2\}$. 미분 $D:V\to V$, $D(1)=0$, $D(t)=1$, $D(t^2)=2t$ ⟹ $D(v_j)$의 좌표를 열로: $M_{\mathcal{B}}(D)=\begin{pmatrix}0&1&0\\0&0&2\\0&0&0\end{pmatrix}$. 검산: $p=3+2t+t^2$의 좌표 $X=(3,2,1)$, $M_{\mathcal{B}}(D)X=(2,2,0)$, 즉 $2+2t$ — 실제로 $p'=2+2t$. ✓

예제 4 (항등사상의 "비단위" 행렬, 경고의 구체화). $\mathbb{R}^2$의 두 기저 $\mathcal{B}=\{(1,0),(0,1)\}$, $\mathcal{B}'=\{(1,1),(1,-1)\}$. $\operatorname{id}(1,0)=(1,0)=\frac12(1,1)+\frac12(1,-1)$, $\operatorname{id}(0,1)=(0,1)=\frac12(1,1)-\frac12(1,-1)$. 따라서 $M_{\mathcal{B}}^{\mathcal{B}'}(\operatorname{id})=\begin{pmatrix}1/2&1/2\\1/2&-1/2\end{pmatrix}\ne I$ — 경고가 말하는 정확한 현상.

예제 5 (닮음, 구체적 켤레 계산). $M=\begin{pmatrix}2&1\\0&2\end{pmatrix}$, $N=\begin{pmatrix}1&1\\0&1\end{pmatrix}$, $N^{-1}=\begin{pmatrix}1&-1\\0&1\end{pmatrix}$. $N^{-1}MN=\begin{pmatrix}1&-1\\0&1\end{pmatrix}\begin{pmatrix}2&1\\0&2\end{pmatrix}\begin{pmatrix}1&1\\0&1\end{pmatrix}=\begin{pmatrix}2&-1\\0&2\end{pmatrix}\begin{pmatrix}1&1\\0&1\end{pmatrix}=\begin{pmatrix}2&1\\0&2\end{pmatrix}=M$. (이 $M$은 자기 자신과만 닮은 예 — 사실 이 $M$은 대각화가 불가능한 행렬의 표준 예시로, 조르당 표준형에서 다시 등장한다.)

예제 6 (대각화 가능한 경우). $M=\begin{pmatrix}3&1\\0&2\end{pmatrix}$. $N=\begin{pmatrix}1&1\\0&-1\end{pmatrix}$ (고유벡터를 열로 — 고윳값과 특성다항식에서 구하는 법을 다룬다), $N^{-1}=\begin{pmatrix}1&1\\0&-1\end{pmatrix}$ (자기 자신의 역, 직접 검산 가능). $N^{-1}MN=\begin{pmatrix}3&0\\0&2\end{pmatrix}$ — 대각. $\operatorname{tr}M=5=3+2$, $\det M=6=3\cdot2$, 대각화 후에도 보존. ✓

예제 7 (가역성 = 열의 독립성, Thm 2.2 검증). $A=\begin{pmatrix}1&2\\2&4\end{pmatrix}$: 둘째 열 $=2\times$첫째 열, 일차종속 ⟹ Thm 2.2에 의해 $A$는 가역이 아니다(실제로 $\det A=4-4=0$).

흔한 오해와 함정

• "항등사상의 행렬은 항상 단위행렬" — 틀림. 두 서로 다른 기저 사이의 항등사상 행렬은 좌표변환 행렬이지 단위행렬이 아니다. 단위행렬이 나오는 것은 정의역·공역에서 같은 기저를 쓸 때뿐이다.
• "닮은 행렬은 서로 같다" — 아니다. 닮음은 "같은 연산자를 다른 기저로 본 것"이라는 동치관계이지, 행렬 자체(성분)가 같다는 뜻이 아니다. 대각합·행렬식·고유값(중복도 포함)은 보존되지만 개별 성분은 보통 다르다.
• "행렬이 대각화 가능하면 모든 기저에서 대각" — 틀림. 대각화 가능성은 어떤 기저가 존재한다는 진술이다. 그 특별한 기저(고유벡터로 이루어진)를 명시적으로 찾아야 $N$을 얻는다.
• 합성과 곱셈의 순서 — $G\circ F\leftrightarrow BA$ (오른쪽이 먼저 적용되는 $F$). $AB$와 $BA$를 바꿔 쓰면 틀린 합성이 된다.
• 유한차원 가정 누락 — Thm 3.3의 동형사상 $\mathcal{L}(V,W)\cong\operatorname{Mat}_{m\times n}(K)$은 $V,W$가 유한차원이고 기저가 고정되어 있을 때의 이야기. 무한차원 공간에선 "행렬"이라는 유한 객체로 사상을 표현할 수 없다.

큰 그림 / 연결

이 페이지는 선형사상의 추상적 결과(rank–nullity, 동형사상 판정)를 구체적 행렬 계산으로 옮기는 다리다. 닮음이라는 동치관계는 책의 나머지 절반을 조직한다: 고윳값과 특성다항식은 "어떤 닮음류가 대각행렬을 포함하는가"를 고유값으로 답하고, 스펙트럼 정리은 대칭/에르미트/유니터리 연산자에 대해 그 답이 항상 "그렇다"임을 보장하며, 삼각화와 일차분해과 조르당 표준형은 대각화가 실패할 때의 차선책(삼각화, Jordan 블록)을 다룬다. 행렬식·대각합 같은 닮음불변량은 행렬식에서 더 정밀하게 분석된다. 더 넓게 보면, "기저를 바꿔도 변하지 않는 것이 진짜 구조다"라는 이 장의 교훈은 추상대수학에서 군의 켤레류, 표현론에서 표현의 동치 개념으로 그대로 일반화된다.

연습문제

1. $F:\mathbb{R}^2\to\mathbb{R}^3$, $F(x,y)=(x+y,\,x-y,\,2y)$의 (표준기저에 대한) 행렬 $A$를 구하라.
2. 예제 2의 회전행렬 공식을 이용해 $R(\pi/4)R(\pi/4)=R(\pi/2)$를 직접 행렬곱으로 확인하라.
3. $V=$ 차수 $\le2$ 다항식, 기저 $\{1,t,t^2\}$. 사상 $T(p)(t)=p(t+1)$ (평행이동)의 행렬을 구하라.
4. $M=\begin{pmatrix}0&1\\1&0\end{pmatrix}$, $N=\begin{pmatrix}1&1\\1&-1\end{pmatrix}$에 대해 $N^{-1}MN$을 계산하고 대각행렬인지 확인하라.
5. $A=\begin{pmatrix}1&2&3\\2&4&6\end{pmatrix}$가 가역이 아님을 (정사각이 아니어도 적용 가능한 논리로) Thm 2.2의 정신에 따라 설명하라. 즉 $L_A$가 단사가 아님을 보여라.
6. 닮은 두 행렬 $M,M'$이 같은 대각합을 가짐을 $\operatorname{tr}(XY)=\operatorname{tr}(YX)$ (대각합의 순환성, 검증 없이 사용 가능)을 이용해 보여라.
7. $\mathcal{B}=\{(1,0),(1,1)\}$을 기저로 하는 $\mathbb{R}^2$ 위에서 $F(x,y)=(2x,\,2y)$ (스칼라배)의 $M_{\mathcal{B}}(F)$를 구하고, 표준기저에서의 행렬과 비교하라.
8. $K^n\to K^n$의 두 선형사상 $F,G$가 $L_A=F$, $L_B=G$를 만족할 때 $F\circ G=G\circ F$ 인 것과 $AB=BA$ 인 것이 동치임을 설명하라.

관련 개념

• 선형사상 — 추상적으로 정의된 사상, 행렬은 그 좌표 표현
• 행렬과 선형방정식 — 여기서 쓰는 행렬 연산의 대수
• 고윳값과 특성다항식 — 닮음류 안에서 대각행렬을 찾는 방법
• 스펙트럼 정리 — 대각화가 항상 보장되는 경우
• 삼각화와 일차분해 — 대각화가 안 될 때의 차선
• 조르당 표준형 — 대각화 실패의 표준적 분류