행렬과 선형방정식

개요 — 동기·문제의식

지금까지의 추상적 벡터공간 이론(체와 벡터공간, 기저와 차원, 합과 직합)은 행렬을 단 한 번도 언급하지 않았다. Lang이 이렇게 구성한 이유는 분명하다 — 행렬은 그 자체로 근본적인 대상이 아니라, 벡터공간의 한 구체적인 예(행렬들도 더하고 스칼라곱할 수 있으므로 벡터공간을 이룬다)이자, 연립방정식을 다루는 언어다. 이 장의 핵심 통찰은 동차 연립방정식을 푸는 문제가 사실은 "주어진 벡터들이 선형종속인가?"라는 질문과 정확히 같은 질문이라는 것이다. 이 재해석 덕분에 기저와 차원에서 이미 증명한 교환정리 하나로 "미지수가 방정식보다 많으면 비자명해가 존재한다"는, 계산 없이 얻어지는 강력한 존재성 정리가 즉시 따라 나온다. 이것이 Lang이 가우스 소거법 같은 계산적 방법을 의도적으로 미루고, 구조적 논증을 우선시하는 이유다.¹²

직관

행렬 $A$를 행과 열로 쪼개 보는 두 가지 관점이 있다: 행으로 보면 $A$는 $K^n$의 벡터 $m$개를 쌓은 것이고, 열로 보면 $A$는 $K^m$의 벡터 $n$개를 나란히 놓은 것이다. 동차 연립방정식 $\sum_j a_{ij}x_j=0$ ($i=1,\dots,m$)을 행렬-벡터 곱으로 쓰면 $AX=O$인데, 이를 열의 관점으로 다시 쓰면 $x_1A^1+\cdots+x_nA^n=O$ — 즉 "열벡터들의 선형결합이 영벡터가 되는 비자명한 방법이 있는가?"라는 질문과 같다. 이것이 정확히 기저와 차원의 "선형종속"의 정의다. 그래서 연립방정식을 푸는 문제는 새로운 이론이 아니라, 이미 알고 있는 선형독립 이론을 옷만 바꿔 입힌 것이다 — 이 재해석이 이 장 전체의 통찰이다.

행렬 곱셈 $AB$의 직관도 비슷하다: $(AB)$의 $(i,k)$ 성분은 $A$의 $i$번째 행과 $B$의 $k$번째 열의 닷곱이다. 즉 행렬 곱셈은 닷곱(스칼라곱)을 표 전체로 동시에 수행하는 것이며, 이 관점은 스칼라곱과 직교성에서 스칼라곱이 일반화될 때 다시 등장한다.

정의

행렬 공간

정의. 체 $K$ 위의 $m\times n$ 행렬은 $m$개의 행과 $n$개의 열을 가진 배열 $(a_{ij})$, $i=1,\dots,m$, $j=1,\dots,n$이다.¹ $i$번째 행은 $A_i=(a_{i1},\dots,a_{in})\in K^n$, $j$번째 열은 $A^j=(a_{1j},\dots,a_{mj})\in K^m$ (세로로 적은 $m$-순서쌍)으로 쓴다.

같은 크기의 행렬들은 성분별로 더하고 스칼라곱하며, 이 연산 아래 VS 1–VS 8이 모두 성립하므로 $m\times n$ 행렬 전체가 $K$ 위의 벡터공간 $\operatorname{Mat}_{m\times n}(K)$를 이룬다.² (이는 체와 벡터공간에서 본 함수공간과 본질적으로 같은 구성이다 — 행렬은 정의역이 $\{1,\dots,m\}\times\{1,\dots,n\}$인 $K$-값 함수로 볼 수 있다.)

행렬 곱셈

정의. $A$가 $m\times n$, $B$가 $n\times s$ 행렬이면, 곱 $AB$는 $m\times s$ 행렬로 $(i,k)$ 성분이 $\sum_{j=1}^n a_{ij}b_{jk} = A_i\cdot B^k$다 — $A$의 $i$번째 행과 $B$의 $k$번째 열의 닷곱.⁵ 곱셈이 정의되려면 $A$의 열 개수와 $B$의 행 개수가 일치해야 한다.

정의 (가역성). 정방행렬 $A$가 가역(invertible/non-singular) 이라 함은 $AB=BA=I_n$인 $B$가 존재하는 것이다. 그런 $B$는 유일하며 $A^{-1}$로 쓴다.⁷

연립방정식의 재해석

정의. $A=(a_{ij})$가 $m\times n$ 행렬, $b_1,\dots,b_m\in K$일 때, $\sum_{j=1}^n a_{ij}x_j=b_i$ ($i=1,\dots,m$)을 선형연립방정식이라 한다. 모든 $b_i=0$이면 동차(homogeneous). 행렬꼴로는 $AX=B$ ($X$는 미지수의 열벡터, $B$는 상수의 열벡터).¹¹

핵심 재해석. 동차 시스템 $\sum_j a_{ij}x_j=0$은 열벡터로 $x_1A^1+\cdots+x_nA^n=O$와 동치다. 따라서 비자명해 $X\ne O$의 존재는 열들 $A^1,\dots,A^n\in K^m$ 사이의 비자명 선형종속관계의 존재와 정확히 같은 것이다.⁸

주요 정리

정리 (행렬 곱셈의 결합·분배법칙). $A(B+C)=AB+AC$, $(AB)C=A(BC)$, $c(AB)=(cA)B=A(cB)$.⁶

정리 (전치와 곱셈). ${}^t(AB)={}^tB\,{}^tA$ — 순서가 뒤집힌다.⁶

비가환성. 행렬 곱셈은 일반적으로 $AB\ne BA$다 — 심지어 양쪽 다 정의되어도(둘 다 정방행렬이어도) 같지 않을 수 있다(아래 예제 4).

정리 2.1 (미지수 과다 ⟹ 비자명해). $m$개의 식, $n$개의 미지수인 동차 시스템에서 $n>m$이면 항상 비자명해가 존재한다.⁹

정리 2.2 (열이 독립이면 유일해). $m=n$이고 $A^1,\dots,A^n$이 선형독립이면, 시스템 $\sum x_jA^j=B$는 유일한 해를 가진다.¹⁰

왜 이 두 정리가 계산 없이 나오는가. 정리 2.1과 2.2는 가우스 소거법 같은 명시적 계산을 전혀 쓰지 않는다 — 순전히 기저와 차원에서 증명한 차원 이론(교환정리, 좌표의 유일성)을 "열벡터"라는 구체적 대상에 적용한 결과다. 이것이 Lang이 강조하는 "구조가 계산보다 먼저"라는 방법론의 가장 명확한 예시이며, 실제로 해를 구하는 절차는 Introduction to Linear Algebra로 미뤄둔다.¹²

예제

예제 1 (행렬 덧셈·스칼라곱, 구체적). $A=\begin{pmatrix}1&2\\3&4\end{pmatrix}$, $B=\begin{pmatrix}0&1\\1&0\end{pmatrix}$이면 $A+B=\begin{pmatrix}1&3\\4&4\end{pmatrix}$, $2A=\begin{pmatrix}2&4\\6&8\end{pmatrix}$.

예제 2 (전치와 대칭). $A=\begin{pmatrix}1&2&3\\4&5&6\end{pmatrix}$ ($2\times3$)이면 ${}^tA=\begin{pmatrix}1&4\\2&5\\3&6\end{pmatrix}$ ($3\times2$). $S=\begin{pmatrix}1&2\\2&3\end{pmatrix}$은 ${}^tS=S$이므로 대칭.

예제 3 (행렬 곱셈, 구체적 계산). $A=\begin{pmatrix}1&1&-2\\-1&4&-5\end{pmatrix}$ ($2\times3$), $B=\begin{pmatrix}1&0\\0&1\\1&1\end{pmatrix}$ ($3\times2$)이면 $AB$의 $(1,1)$ 성분 $=A_1\cdot B^1=(1,1,-2)\cdot(1,0,1)=1+0-2=-1$. 전체를 계산하면 $AB=\begin{pmatrix}-1&-1\\-1&-1\end{pmatrix}$.[^1 변형]

예제 4 (비가환성, 구체적). $A=\begin{pmatrix}1&0\\0&0\end{pmatrix}$, $B=\begin{pmatrix}0&1\\0&0\end{pmatrix}$이면 $AB=\begin{pmatrix}0&1\\0&0\end{pmatrix}$, $BA=\begin{pmatrix}0&0\\0&0\end{pmatrix}$ — $AB\ne BA$.

예제 5 (동차 시스템, 미지수 과다, $n>m$). $K=\mathbb{R}$, 식 1개($m=1$) 미지수 3개($n=3$): $x_1+2x_2-x_3=0$. 정리 2.1에 의해 비자명해 보장 — 실제로 $x_2=x_3=1$로 두면 $x_1=-1$, 즉 $(-1,1,1)\ne O$가 해. (열벡터 관점: $A^1=1,A^2=2,A^3=-1\in\mathbb{R}^1$ 세 개가 1차원 공간에 있으니 당연히 종속.)

예제 6 (정방 시스템, 독립 열 ⟹ 유일해). $A=\begin{pmatrix}1&0\\0&1\end{pmatrix}$의 열 $A^1=(1,0),A^2=(0,1)$은 독립(표준기저)이므로, 정리 2.2에 의해 임의의 $B=(b_1,b_2)$에 대해 $AX=B$는 유일해 $X=(b_1,b_2)$를 가진다 — 단위행렬이므로 자명하지만 정리의 가장 단순한 확인.

예제 7 (가역행렬과 그 역, 구체적). $A=\begin{pmatrix}1&1\\0&1\end{pmatrix}$는 $A^{-1}=\begin{pmatrix}1&-1\\0&1\end{pmatrix}$를 가진다 — 직접 곱하면 $AA^{-1}=\begin{pmatrix}1&0\\0&1\end{pmatrix}=I_2$. (일반적으로 역행렬을 구하는 명시적 공식은 행렬식에서 다룬다.)⁷

예제 8 (추상 instance, 상삼각 멱영행렬). $A=\begin{pmatrix}0&1\\0&0\end{pmatrix}$는 엄격 상삼각행렬이고 $A^2=O$이므로 멱영(nilpotent). 일반적으로 $n\times n$ 엄격 상삼각행렬은 항상 $A^n=O$를 만족한다 — 이 사실은 조르당 표준형에서 조르당 블록의 멱영 부분을 분석할 때 핵심적으로 재등장한다.⁴

흔한 오해와 함정

• "$AB=BA$ (가환성)을 당연시" — 예제 4처럼 크기가 맞아도 일반적으로 성립하지 않는다. $AB=BA$가 필요한 명제에서는 반드시 가정으로 명시해야 한다.
• "$AB$가 정의되면 $BA$도 정의된다" — 틀림. $A$가 $m\times n$, $B$가 $n\times s$이면 $AB$는 정의되지만, $s\ne m$이면 $BA$는 아예 정의조차 안 된다.
• 연립방정식을 "계산 절차"로만 생각 — 정리 2.1, 2.2는 가우스 소거법 없이 존재성과 유일성만 말한다. "해가 있는가/유일한가"와 "해를 어떻게 구하는가"는 서로 다른 질문이며, 이 장은 전자에 집중한다.¹²
• "가역 = 행렬식이 0이 아님"을 정의로 착각 — 가역성의 정의는 $AB=BA=I$인 $B$의 존재(여기서 다룸)이고, "행렬식 $\ne0$"은 행렬식에서 증명되는 동치 조건(판정법)이지 정의가 아니다.
• 열의 종속과 행의 종속을 혼동 — 정리 2.1–2.2는 열벡터의 독립성에 관한 것이다. (실제로는 행렬의 행계수와 열계수가 항상 같다는 사실이 나중에 나오지만, 이 장의 논증 자체는 열에 집중한다.)
• "$m\times n$ 행렬 공간의 차원을 $m+n$으로 착각" — 차원은 $mn$이다(자유도가 성분 개수만큼). 기저는 각 성분 위치마다 그 자리만 $1$이고 나머지는 $0$인 "기본행렬" $E_{ij}$들.

큰 그림 / 연결

이 장은 추상적 선형대수와 구체적 계산 사이의 다리다. 동차 시스템의 해공간 $\{X : AX=O\}$은 그 자체로 $K^n$의 부분공간이며(연습문제 참조), 그 차원(=핵의 차원)이 선형사상의 차원정리(rank-nullity theorem)에서 "핵의 차원 + 상의 차원 = 정의역의 차원"으로 일반화된다. 행렬 $A$가 정의하는 사상 $X\mapsto AX$는 선형사상의 첫 비자명한 예이며, 그 역방향 — 추상적 선형사상을 기저를 고정해 구체적 행렬로 표현하는 것 — 은 선형사상과 행렬의 주제다. 가역성의 명시적 판정(행렬식이 $0$이 아님)과 역행렬의 공식(여인수, 크라메르 공식)은 행렬식에서 완성된다. 직접곱 $K^n=K^r\times K^s$(합과 직합)의 관점에서 보면, 블록 구조를 가진 행렬(블록 대각·블록 삼각)은 정확히 직합으로 분해되는 사상의 좌표 표현이다. 더 멀리, 닷곱의 일반화인 행렬 곱셈은 스칼라곱과 직교성의 일반 스칼라곱과 쌍대공간과 쌍선형형식의 쌍선형형식으로 확장되며, 대칭행렬은 대칭·에르미트·유니터리 연산자에서 그 고유값 이론(스펙트럼정리, 스펙트럼 정리)의 핵심 대상이 된다.

연습문제

1. $A=\begin{pmatrix}2&-1\\0&3\end{pmatrix}$, $B=\begin{pmatrix}1&1\\2&0\end{pmatrix}$에 대해 $A+B$, $3B$, $A-2B$를 계산하라.
2. 위 $A,B$에 대해 ${}^tA$, ${}^tB$, ${}^t(AB)$, ${}^tB\,{}^tA$를 계산해 ${}^t(AB)={}^tB\,{}^tA$를 직접 확인하라.
3. 동차 시스템 $x_1-x_2+2x_3=0$, $2x_1+x_2-x_3=0$ ($m=2,n=3$)이 비자명해를 가짐을 정리 2.1로 설명하고, 실제 비자명해를 하나 구하라.
4. $A=\begin{pmatrix}1&0\\0&0\end{pmatrix}$에 대해 $A^2=O$가 아님(즉 $A^2=A$)을 보이고, $A$가 가역이 아님을 (만약 $A^{-1}$이 존재한다면 $AA^{-1}=I$인데 $A$의 둘째 행이 영벡터라 모순임을 이용해) 설명하라.
5. 동차 시스템 $AX=O$ ($A$는 $m\times n$ 고정)의 모든 해 $X\in K^n$의 집합이 $K^n$의 부분공간임을 보여라.
6. $A$가 $n\times n$ 엄격 상삼각행렬이면 $A^n=O$임을 $n=2,3$의 경우에 직접 계산으로 확인하라.
7. $N^{r+1}=O$인 정방행렬 $N$에 대해, $I-N$이 가역이고 그 역이 $I+N+N^2+\cdots+N^r$임을 보여라.
8. (도전) $2\times2$ 행렬 공간 $\operatorname{Mat}_{2\times2}(K)$의 차원과 기저를 제시하고, 대칭행렬만 모은 부분공간의 차원도 구하라.

관련 개념

• 기저와 차원 — 교환정리가 비자명해의 존재를, 좌표 유일성이 해의 유일성을 보장
• 체와 벡터공간 — 행렬 공간도 벡터공간의 한 예
• 합과 직합 — 직접곱 $K^n=K^r\times K^s$와 블록 구조
• 선형사상 — 행렬 $A$가 정의하는 사상 $X\mapsto AX$
• 선형사상과 행렬 — 추상 사상의 행렬 표현(역방향)
• 행렬식 — 가역성의 명시적 판정과 역행렬 공식
• 조르당 표준형 — 멱영 상삼각행렬의 역할이 정점에 이름