행렬식

개요 — 동기·문제의식

행렬식은 흔히 "외워서 계산하는 공식"으로 처음 만난다 — $2\times2$는 $ad-bc$, $3\times3$은 사선 곱셈 트릭. 하지만 그렇게 외운 공식은 왜 가역성을 판정하는지, 왜 곱셈을 보존하는지, 왜 $n\times n$으로 일반화되는지를 설명해주지 않는다. Lang의 접근은 정반대다: 행렬식을 공리적으로 — 열에 대해 다중선형, 교대, 정규화된 유일한 함수로 — 정의한다. 공식(라플라스 전개, Leibniz 공식)은 이 세 공리에서 유도되는 결과이지, 출발점이 아니다.

이 접근의 보상은 명확하다. 가역성 판정($\det\ne0\iff$ 가역)도, 곱셈 법칙($\det(AB)=\det A\det B$)도, Cramer의 공식도 전부 세 공리에서 몇 줄 만에 떨어져 나온다. 그리고 행렬식이 선형사상과 행렬에서 본 닮음(켤레)에 불변이라는 사실은, 행렬식이 행렬의 우연한 성질이 아니라 연산자 자체의 진짜 성질임을 보여준다 — 고윳값과 특성다항식의 특성다항식이 행렬식으로 정의되는 이유다.

직관

행렬식을 "행렬의 열들이 펼치는 평행사변형(또는 평행육면체, $n$차원에서는 평행다면체)의 부피"로 그려보면 세 공리가 전부 자연스럽다.

• 다중선형성: 한 변의 길이를 $t$배 늘리면 부피도 $t$배 — 한 열을 스칼라배하면 행렬식도 그만큼 스칼라배. 한 변을 두 벡터의 합으로 쪼개면 부피도 두 평행사변형의 부피 합으로 쪼개진다(밑변 고정, 높이만 다른 두 평행사변형을 합치는 그림).
• 교대성: 두 열이 같으면 도형이 찌그러져 부피가 $0$ — "두께가 없는" 평행다면체.
• 정규화: 표준 단위 정육면체(단위행렬)의 부피는 $1$.

이 그림에서 즉시 따라오는 직관: 열을 서로 바꾸면 방향(orientation)이 뒤집혀 부호가 바뀌고, 한 열에 다른 열의 배수를 더해도 (전단변형, shear) 부피는 변하지 않는다 — 밑변과 높이가 그대로이기 때문이다. 그리고 열들이 일차종속이면 평행다면체가 더 낮은 차원으로 찌그러져 부피가 $0$이 된다 — 이것이 "$\det=0\iff$ 종속"의 기하적 본질이다.

정의

$n\times n$ 행렬 $A=(A^1,\dots,A^n)$ (열로 나열)의 행렬식 $D(A)=\det A:K\to K$는 다음 세 성질을 만족하는 함수다:¹

1. 다중선형(multilinear) — 각 열에 대해 따로 선형: $D(\dots,C+C',\dots)=D(\dots,C,\dots)+D(\dots,C',\dots)$, $D(\dots,tC,\dots)=t\,D(\dots,C,\dots)$.
2. 교대(alternating) — 인접한 두 열이 같으면 $D=0$.
3. 정규화(normalized) — $D(I)=1$.

²

주요 정리

정리 (존재성과 유일성, Thm 2.3 / 7.2). 위 세 성질을 만족하는 다중선형 교대함수가 유일하게 존재한다.³

존재성(스케치, 라플라스 전개). $n$에 대한 귀납. $n=1$이면 $D(a)=a$. $n-1$에서 존재한다고 가정하고, $i$번째 행을 따라 $$\det A=\sum_{j=1}^n(-1)^{i+j}a_{ij}\det A_{ij}$$ 로 정의한다($A_{ij}$는 $i$행 $j$열을 지운 $(n-1)\times(n-1)$ 소행렬, 부호는 체스판 패턴 $(-1)^{i+j}$).⁴ 이 식이 다중선형·교대·정규화를 만족함은 귀납가정(소행렬식이 이미 그 성질을 가짐)에서 직접 확인된다.

유일성(스케치). 임의의 다중선형 교대함수 $D$는 각 열을 표준기저로 전개해 다중선형성으로 펼치면, 인접 열이 같을 때 $0$이 되는 항을 제외하고 순열에 대한 합으로 정리된다 — 이것이 정확히 Leibniz 공식이며, 그 형태가 $D(I)=1$이라는 정규화 조건만으로 완전히 결정되므로 유일하다. $\blacksquare$

정리 (Leibniz 공식). 유일성의 증명에서 직접 나오는 닫힌 형태: $$\det A=\sum_{\sigma\in S_n}\varepsilon(\sigma)\,a_{1\sigma(1)}\cdots a_{n\sigma(n)},$$ $S_n$은 $\{1,\dots,n\}$의 모든 순열, $\varepsilon(\sigma)=\pm1$은 $\sigma$를 호환(transposition)의 곱으로 쓸 때 그 개수의 우기성(parity)으로 정해지는 부호.⁵

왜 부호가 잘 정의되는가. 모든 순열은 호환의 곱으로 쓸 수 있고, 그 표현은 여러 가지지만 호환의 개수의 우기성은 항상 같다(부호 함수의 well-definedness, 원전 소개 — Lang §VI.6의 핵심 보조정리). 이것이 없으면 Leibniz 공식 자체가 모순 없이 정의되지 않는다.

정리 (전치 불변, Thm 2.2). $\det({}^tA)=\det A$.⁶ 따라서 열에 대한 모든 정리(다중선형성, 교대성, 라플라스 전개)는 행에 대해서도 그대로 성립한다 — 행 연산으로 행렬식을 계산해도 무방한 이유.

정리 (곱셈 법칙, Thm 7.3). $\det(AB)=\det(A)\det(B)$.⁷

정리 (가역성 판정, Thm 4.2–4.4, 5.3). 다음이 동치다: $\det A\ne0$; 열 $A^1,\dots,A^n$이 일차독립; $A$가 가역.⁸

정리 (닮음 불변, 선형사상과 행렬와의 연결). $\det(N^{-1}MN)=\det(N^{-1})\det(M)\det(N)=\det(M)$ (곱셈 법칙과 $\det(N^{-1})=1/\det N$에서). 따라서 행렬식은 닮은 행렬 전체에서 공통 — 연산자 자체의 불변량이다.

정리 (Cramer의 공식, Thm 4.1). $\det A\ne0$일 때, 연립방정식 $\sum_jx_jA^j=B$의 유일한 해는 $$x_j=\frac{\det(A^1,\dots,B,\dots,A^n)}{\det(A^1,\dots,A^n)}\quad(B\text{가 }j\text{번째 열을 대체}).$$ ⁹

예제

예제 1 ($2\times2$, 정의로부터). $A=\begin{pmatrix}3&1\\2&4\end{pmatrix}$. $\det A=3\cdot4-1\cdot2=10$. 열 $(3,2)$, $(1,4)$가 평행하지 않으므로(독립) $\det\ne0$과 정합.

예제 2 ($3\times3$ 라플라스 전개). $A=\begin{pmatrix}2&1&0\\1&3&2\\0&1&4\end{pmatrix}$. 첫째 행을 따라 전개: $$\det A=2\det\begin{pmatrix}3&2\\1&4\end{pmatrix}-1\det\begin{pmatrix}1&2\\0&4\end{pmatrix}+0=2(12-2)-1(4-0)=20-4=16.$$

예제 3 (행 연산으로 계산, 전치 불변 활용). 같은 $A$를 행 연산으로: 둘째 행에서 첫째 행의 $\tfrac12$배를 빼면 $\begin{pmatrix}2&1&0\\0&\tfrac52&2\\0&1&4\end{pmatrix}$ (전단이므로 $\det$ 불변). 첫째 열을 따라 전개하면 $2\det\begin{pmatrix}5/2&2\\1&4\end{pmatrix}=2(10-2)=16$. 예제 2와 일치. ✓

예제 4 (가역성 판정). $B=\begin{pmatrix}1&2\\2&4\end{pmatrix}$: 둘째 열 $=2\times$첫째 열, 종속 ⟹ Thm 4.2에 의해 $\det B=0$ — 직접 계산해도 $1\cdot4-2\cdot2=0$. $B$는 가역이 아니다.

예제 5 (Cramer의 공식, 구체적 연립방정식). $\begin{cases}2x+y=5\\x+3y=10\end{cases}$. $A=\begin{pmatrix}2&1\\1&3\end{pmatrix}$, $\det A=6-1=5\ne0$. $$x=\frac{\det\begin{pmatrix}5&1\\10&3\end{pmatrix}}{\det A}=\frac{15-10}{5}=1,\qquad y=\frac{\det\begin{pmatrix}2&5\\1&10\end{pmatrix}}{\det A}=\frac{20-5}{5}=3.$$ 검산: $2(1)+3=5$ ✓, $1+3(3)=10$ ✓.

예제 6 (곱셈 법칙 검증). $A=\begin{pmatrix}1&2\\0&1\end{pmatrix}$, $C=\begin{pmatrix}2&0\\1&3\end{pmatrix}$. $\det A=1$, $\det C=6$. $AC=\begin{pmatrix}4&6\\1&3\end{pmatrix}$, $\det(AC)=12-6=6=1\cdot6=\det A\det C$. ✓

예제 7 (Vandermonde 행렬식). $V_3=\det\begin{pmatrix}1&1&1\\x_1&x_2&x_3\\x_1^2&x_2^2&x_3^2\end{pmatrix}=\prod_{i<j}(x_j-x_i)$.¹¹ $x_1=1,x_2=2,x_3=3$일 때: 공식으로 $(2-1)(3-1)(3-2)=1\cdot2\cdot1=2$. 직접 전개해도 $\det\begin{pmatrix}1&1&1\\1&2&3\\1&4&9\end{pmatrix}=2$로 일치.

예제 8 (전치, 행=열 동등성). 예제 2의 $A$를 전치하면 ${}^tA=\begin{pmatrix}2&1&0\\1&3&1\\0&2&4\end{pmatrix}$. 첫째 행을 따라 라플라스 전개: $2(12-2)-1(4-0)+0=20-4=16$ — $\det A=16$과 일치, Thm 2.2 확인.

흔한 오해와 함정

• "행렬식 공식을 암기하면 충분하다" — $n\times n$에서 라플라스 전개나 Leibniz 공식을 외우는 것보다, 세 공리(다중선형·교대·정규화)에서 모든 성질이 따라온다는 구조를 이해하는 것이 훨씬 강력하다 — 곱셈 법칙·닮음 불변·Cramer 모두 공리 몇 줄로 증명된다.
• "$\det(A+B)=\det A+\det B$" — 일반적으로 틀림! 다중선형성은 하나의 열을 고정하고 그 열에 대해서만 선형이라는 뜻이지, 행렬 전체에 대한 선형성이 아니다. 반례: $A=I$, $B=I$ ($n\ge2$)이면 $\det(A+B)=\det(2I)=2^n\ne1+1=\det A+\det B$.
• "$\det(cA)=c\det A$" — 틀림(차원이 클 때). $A$의 모든 열이 $c$배 되므로 $\det(cA)=c^n\det A$. 한 열만 스칼라배할 때만 $c\det A$.
• 열 교환과 행 교환의 부호 — 둘 다 부호를 뒤집지만, 행과 열을 동시에 섞어 계산하면(예: 행 정리 중간에 실수로 열을 바꾸는 등) 부호 추적을 놓치기 쉽다. 한 번에 한 종류의 연산만 추적할 것.
• Cramer 공식을 $\det A=0$일 때 강행 — 분모가 $0$이면 공식 자체가 정의되지 않는다. $\det A=0$이면 해가 없거나 무한히 많다(별도 분석 필요, 가우스 소거 등으로).

큰 그림 / 연결

행렬식의 가역성 판정은 행렬과 선형방정식에서 정사각 연립방정식의 해의 존재·유일성을 즉시 결정하는 도구가 되고, 선형사상과 행렬에서 본 닮음 불변성 덕분에 행렬식은 연산자 고유의 양으로 격상된다. 이 불변성이 가장 중요하게 쓰이는 곳이 고윳값과 특성다항식이다 — 특성다항식 $\det(tI-A)$ 자체가 행렬식으로 정의되며, 그 근(고유값)을 찾는 일 전체가 이 페이지의 기계 위에 서 있다. 행렬식이 다중선형 교대형식 중 "맨 위층"이라는 사실은 쌍대공간과 쌍선형형식의 일반 다중선형형식 이론에서 정확히 자리매김된다. 더 멀리는, "$n$개의 벡터가 펼치는 부피"라는 기하적 해석이 다변수 미적분의 야코비안(좌표변환에서 부피 왜곡 비율)으로, 또 미분기하학에서 곡면의 넓이 형식으로 일반화된다(다른 분야 응용).

연습문제

1. $A=\begin{pmatrix}5&2\\3&4\end{pmatrix}$의 행렬식을 구하고, $A$가 가역인지 판정하라.
2. $B=\begin{pmatrix}1&2&3\\0&1&4\\2&6&8\end{pmatrix}$의 행렬식을 첫째 열을 따라 라플라스 전개로 구하라.
3. 위 $B$가 가역이 아님을 (열의 일차종속 관계를 직접 찾아) 보여라.
4. $\begin{cases}3x+y=7\\x-2y=-7\end{cases}$를 Cramer의 공식으로 풀어라.
5. $\det(2A)$와 $\det A$의 관계를 $2\times2$, $3\times3$ 각각에 대해 쓰고 일반 $n\times n$ 공식을 추측하라.
6. $A=\begin{pmatrix}1&1\\0&2\end{pmatrix}$, $C=\begin{pmatrix}3&0\\1&1\end{pmatrix}$에 대해 $\det(AC)$를 두 가지 방법(직접 곱한 후 계산, 곱셈 법칙)으로 구하고 일치를 확인하라.
7. $x_1=0,x_2=1,x_3=2$에 대한 Vandermonde 행렬식을 공식과 직접 전개 양쪽으로 계산해 비교하라.
8. (함정 확인) $A=I_2$, $B=\begin{pmatrix}1&0\\0&-1\end{pmatrix}$에 대해 $\det(A+B)$와 $\det A+\det B$를 각각 계산해 다름을 (또는 우연히 같음을) 확인하라.

관련 개념

• 행렬과 선형방정식 — 정사각 연립방정식의 가역성 판정에 직접 사용
• 선형사상과 행렬 — 행렬식은 닮음(켤레)에 불변, 연산자의 진짜 성질
• 쌍대공간과 쌍선형형식 — 행렬식은 맨 위층의 다중선형 교대형식
• 고윳값과 특성다항식 — 특성다항식 $\det(tI-A)$의 정의에 직접 사용