IV. 외재 기하 · 8/16

형상연산자

바인가르텐 사상 S = −∇U

읽음 0/0 갱신 2026-06-30

개요 — 동기·문제의식

곡률과 비틀림에서 공간곡선의 모양은 두 숫자 $\kappa,\tau$로 결정되었다 — 곡선은 1차원이라 "휘는 방향"이 본질적으로 하나뿐이기 때문이다. 곡면은 2차원이므로 사정이 다르다: 각 점에서 휘는 정도가 방향마다 다를 수 있다(말안장이 한 방향으로는 위로, 다른 방향으로는 아래로 휘는 것처럼). 그래서 곡면의 "휘는 방식"을 숫자 하나가 아니라 선형연산자로 기록해야 한다. 이것이 O'Neill의 형상연산자(shape operator)다 — Pressley의 제2기본형식·바인가르텐 사상과 같은 대상을 보는 또 다른 (그리고 계산상 더 깔끔한) 방법이다.

직관 (기하)

곡면 위를 걸으며 손에 든 나침반이 항상 곡면에 수직으로(법선 방향으로) 가리키게 한다고 상상하자. 평평한 곳에서는 나침반 방향이 전혀 바뀌지 않는다. 그러나 곡면이 휘어 있으면, 걷는 방향에 따라 나침반(법선)이 다른 속도로, 다른 방향으로 기운다. 형상연산자 $S_p(v)$는 정확히 "방향 $v$로 걸을 때 법선이 기우는 속도와 방향"을 측정한다 — 그 자체가 접평면 안의 벡터(법선의 변화는 항상 접평면 방향이라는 사실, 법선이 단위벡터이므로 그 변화는 자기 자신에 수직)이므로, $S_p$는 접평면을 접평면으로 보내는 선형사상이 된다.

구를 생각하면 직관이 분명해진다: 구 위 어느 방향으로 걷든 법선(반지름 방향)이 같은 속도로 기운다 — 그래서 구의 형상연산자는 모든 방향에 같은 비율을 곱하는 스칼라 연산($-v/r$)이다. 반면 말안장에서는 한 방향(아래로 휘는 방향)에서는 법선이 한쪽으로, 수직 방향(위로 휘는 방향)에서는 반대쪽으로 기운다 — 형상연산자가 방향에 따라 부호를 바꾸는 비대칭적인 작용을 한다.

정의

단위법선장 $U$를 갖는 곡면 $M\subset\mathbb{R}^3$에서, $p$에서의 형상연산자는 $$S_p(v)=-\nabla_v U,\qquad v\in T_p(M).$$² 즉 $S_p(v)$는 (음의 부호를 붙인) $v$ 방향으로 움직일 때 단위법선이 변하는 속도 — 동치로 가우스 사상 $G:M\to S^2$의 접사상의 음수다.³ 두 가지 사실이 이를 다루기 쉽게 만든다:

성질	의미
$S_p:T_p(M)\to T_p(M)$	접평면을 접평면으로 보내는 선형연산자 (단순한 변환이 아님)⁴
대칭성	$S(v)\cdot w = S(w)\cdot v$⁵

2차원 공간 위의 대칭연산자는 단순하다 — 그 고유값, 고유벡터, 대각합(trace), 행렬식이 모두 일급 기하학적 의미를 갖는다(자세한 것은 주곡률, 가우스곡률과 평균곡률 참고).

구체적인 예시

O'Neill의 예시들이 연산자를 구체화한다:⁶ - 반지름 $r$인 구: $S(v)=-v/r$, 순수 스칼라배 — 어느 방향이든 같은 비율로 휜다. - 평면: $S=0$ — 휘지 않는다. - 원기둥: 모선 방향 $S(e_1)=0$, 단면 둘레 방향 $S(e_2)=-e_2/r$ — "반은 평평하고 반은 둥글다." - 안장 $z=xy$, 원점에서: $S(au_1+bu_2)=bu_1+au_2$, 부호가 반대인 고유값을 갖는 비대각 연산자.

이동 틀 방법과의 관계

적응틀장 $E_1,E_2,E_3$($E_3=U$가 법선)를 쓰면 형상연산자는 연결형식에서 바로 읽힌다: $S(v)=\omega_{13}(v)E_1+\omega_{23}(v)E_2$.⁷ 이것이 O'Neill이 frame fields and structural equations의 기계를 곡면 이론으로 끌고 들어오는 방식이며, 결국 기본방정식(가우스 방정식과 코다치 방정식)과 빼어난 정리으로 이어진다.

같은 대상의 매개변수($E,F,G,L,M,N$) 표현은 제2기본형식을 참고.

주요 정리

정리 (형상연산자의 대칭성). $S_p$는 대칭연산자다: 모든 $v,w\in T_p(M)$에 대해 $S(v)\cdot w=S(w)\cdot v$.

증명 보기

증명 스케치. 곡면조각 $\sigma(u,v)$에서 $E_1=\sigma_u,E_2=\sigma_v$로 두면, $S(\sigma_u)=-U_u$, $S(\sigma_v)=-U_v$임을 보이는 것으로 충분하다($U$는 단위법선장을 $\sigma$로 당겨온 것). $U\cdot\sigma_u=0$(법선과 접벡터는 항상 수직)이므로 양변을 $v$로 미분하면 $U_v\cdot\sigma_u+U\cdot\sigma_{uv}=0$, 즉 $U_v\cdot\sigma_u=-U\cdot\sigma_{uv}$. 마찬가지로 $U\cdot\sigma_v=0$을 $u$로 미분하면 $U_u\cdot\sigma_v=-U\cdot\sigma_{vu}$. 혼합편도함수의 대칭성 $\sigma_{uv}=\sigma_{vu}$에 의해 우변이 같으므로 $U_v\cdot\sigma_u=U_u\cdot\sigma_v$, 즉 $S(\sigma_v)\cdot\sigma_u=S(\sigma_u)\cdot\sigma_v$ — 기저벡터에서 대칭성이 확인되고, 쌍선형성에 의해 일반적인 $v,w$로 확장된다. ∎ 이 증명은 형상연산자의 대칭성이 결국 "혼합편도함수가 같다"는 다변수 미적분의 기본 사실(매끄러움)에서 나온다는 것을 보여준다 — 이것이 바로 빼어난 정리 증명에서 코다치 방정식이 같은 출처에서 나오는 이유이기도 하다.

명제 (형상연산자가 접평면을 보존함). $S_p(v)\in T_p(M)$ — 즉 $S_p$는 정말로 접평면에서 접평면으로 가는 사상이다.

증명 보기

증명. $U$가 단위벡터장이므로 $U\cdot U=1$. 양변을 $v$ 방향으로 미분(공변미분의 라이프니츠 법칙, tangent vectors and vector fields 참고)하면 $2\,\nabla_vU\cdot U=0$, 즉 $\nabla_vU\perp U$. $\mathbb{R}^3$에서 $U$에 수직인 벡터는 정확히 접평면 $T_p(M)$의 원소이므로 $\nabla_vU\in T_p(M)$, 따라서 $S(v)=-\nabla_vU\in T_p(M)$. ∎ 이 증명의 트릭("단위벡터의 미분은 자신과 수직")은 곡선의 프레네 틀에서 $\dot{\mathbf t}\perp\mathbf t$를 보일 때와 동일한 원리이며, 곡선 이론과 곡면 이론이 같은 기본 미적분 위에 서 있음을 보여준다.

예제

예제 1 (구, 직접 계산). $\sigma(\theta,\varphi)=r(\cos\theta\cos\varphi,\cos\theta\sin\varphi,\sin\theta)$(반지름 $r$). 단위법선은 $U=\sigma/r$(위치벡터 방향). $v=\sigma_\theta$(접벡터)에 대해 $\nabla_vU=\frac{1}{r}\sigma_\theta=\frac{1}{r}v$이므로 $S(v)=-v/r$ — 모든 접벡터에 대해 같은 비율, 본문의 표와 일치.

예제 2 (원기둥, 직접 계산). $\sigma(u,v)=(r\cos v,r\sin v,u)$(반지름 $r$, 모선 방향 $u$). $U=(\cos v,\sin v,0)$. $e_1=\sigma_u=(0,0,1)$ 방향으로는 $U$가 전혀 변하지 않으므로($U$가 $u$에 의존하지 않음) $S(e_1)=0$. $e_2=\sigma_v/r=(-\sin v,\cos v,0)$ 방향으로는 $\nabla_{e_2}U=-e_2$이므로 $S(e_2)=e_2$... 부호를 정확히 맞추려면 $U_v=(-\sin v,\cos v,0)=\sigma_v/r$, 단위접벡터 $\hat e_2=\sigma_v/r$ 기준으로 $\nabla_{\hat e_2}U=U_v/r=\hat e_2/r$이므로 $S(\hat e_2)=-\hat e_2/r$ — "반은 평평, 반은 둥글다"는 본문 서술과 일치.

예제 3 (평면). $\sigma(u,v)=(u,v,0)$. $U=(0,0,1)$(상수)이므로 모든 방향에서 $\nabla_vU=0$, 즉 $S\equiv0$ — 직관과 일치, 평면은 어디로도 휘지 않는다.

예제 4 (안장, 고유값 확인). $\sigma(u,v)=(u,v,uv)$, 원점에서 $\sigma_u=(1,0,0)$, $\sigma_v=(0,1,0)$, $U=(0,0,1)$(원점에서). 본문에 주어진 $S(au_1+bu_2)=bu_1+au_2$에서 $u_1=(1,1)$, $u_2=(1,-1)$ 방향(대각선)을 시도하면 $S(u_1)=S((1,0)+(0,1))=(0,1)+(1,0)=u_1$(고유값 $+1$), $S(u_2)=S((1,0)-(0,1))=(0,1)-(1,0)=-u_2$(고유값 $-1$) — 두 대각 방향이 정확히 고유벡터이고 고유값의 부호가 반대 — 말안장이 한쪽은 위로 한쪽은 아래로 휘는 것의 정확한 표현.

예제 5 (회전면, 자오선·위도원 방향). 회전면의 자오선 방향과 위도원 방향은 항상 형상연산자의 고유벡터(주방향)이며, 이는 회전 대칭성으로부터 기하적으로 자명하다 — 회전축 둘레로 회전시켜도 곡면이 불변이므로 곡률의 "주된 휘는 방향"도 그 대칭축에 정렬될 수밖에 없다.

예제 6 (대각합과 행렬식 미리보기). 예제 1의 구에서 $S=-\tfrac1r\mathrm{Id}$이므로 $\mathrm{trace}(S)=-2/r$, $\det(S)=1/r^2$ — 가우스곡률과 평균곡률에서 이 값들이 각각 $-2H$, $K$로 해석됨을 보게 된다 (부호 관례는 소스마다 다를 수 있음에 주의).

흔한 오해와 함정

"형상연산자는 항상 대각화되지 않을 수도 있다" — 대칭행렬은 (실수체 위에서) 항상 직교대각화가능(spectral theorem)하다는 선형대수의 정리에 의해, $S_p$는 항상 정규직교 고유기저를 갖는다. "대각화 안 되는 형상연산자"는 존재하지 않는다.
부호 관례를 절대적이라고 생각 — $S_p(v)=-\nabla_vU$의 음의 부호는 관례다($\mathcal{W}=-D\mathcal{G}$로 쓰는 Pressley와 같은 부호). 법선 $U$의 방향을 반대로 고르면(반대 방향 원자를 쓰면) $S$ 전체의 부호가 바뀐다. 그러나 $\det S=K$는 부호와 무관하게 보존됨에 주의(가우스곡률과 평균곡률).
형상연산자가 곡면의 전역적 성질이라고 오해 — $S_p$는 각 점 $p$마다 다른 선형연산자다(접평면 자체가 점마다 다른 공간이므로). "곡면의 형상연산자"라는 단일 행렬은 없으며, 점마다 정의되는 연산자족(family)이다.
공변미분 $\nabla_vU$를 곡면 위에서의 미분으로 오인 — $\nabla_vU$는 주변 공간 $\mathbb{R}^3$에서의 공변미분이다(법선장 $U$ 자체가 곡면이 아니라 $\mathbb{R}^3$에서 값을 갖는 벡터장이기 때문). 다만 명제(접평면 보존)가 증명하듯, 그 결과는 우연히 다시 접평면 안으로 들어온다.
대칭성이 임의의 곡면에 성립하지 않는다고 의심 — 대칭성 증명은 매끄러움(혼합편도함수의 교환법칙)만을 사용하므로, 정칙이고 매끄러운 모든 곡면에서 예외 없이 성립한다. 특이점(원뿔 꼭짓점 등)에서는 애초에 접평면과 형상연산자 자체가 정의되지 않는다.

큰 그림 / 연결

형상연산자는 tangent vectors and vector fields의 공변미분 $\nabla_v$를 법선장 $U$에 적용한 결과이며, Pressley의 제2기본형식·바인가르텐 사상과 정확히 같은 대상을 다른 언어로 기록한 것이다. 그 고유값이 주곡률를, 대각합과 행렬식이 가우스곡률과 평균곡률를 낳는다. 적응틀장으로 표현하면 연결형식 $\omega_{13},\omega_{23}$으로 직접 읽히며(frame fields and structural equations), 이 연결형식들이 만족하는 구조방정식이 결국 빼어난 정리의 증명 — 외재적으로 정의된 $K=\det S$가 실은 내재적이라는 — 으로 이어진다.

연습문제

형상연산자가 평면에서 항등적으로 $0$임을 정의로부터 직접 보여라.
예제 2의 원기둥 계산을 단위접벡터가 아니라 $\sigma_u,\sigma_v$ 기준으로 다시 수행하라.
형상연산자의 대칭성 증명에서 혼합편도함수의 교환법칙이 어디서 쓰였는지 짚어라.
$S$가 대칭이라는 사실로부터 두 서로 다른 고유값에 대응하는 고유벡터가 직교함을 (선형대수적으로) 보여라.
예제 4의 안장에서 임의의 점 $(u,v,uv)$(원점이 아닌 곳)에서 형상연산자가 어떻게 달라질지 정성적으로 논하라.
형상연산자가 접평면을 보존한다는 명제의 증명을, $U\cdot U=1$ 대신 임의의 단위벡터장에 대한 일반적 사실로 재서술하라.

힌트 / 정답

평면에서 $U$는 상수 벡터장(예제 3)이므로 임의의 $v$에 대해 $\nabla_vU=0$(상수장의 공변미분은 항상 $0$, tangent vectors and vector fields 참고) — 따라서 $S(v)=-\nabla_vU=0$.
$\sigma_u=(0,0,1)$, $\sigma_v=(-r\sin v,r\cos v,0)$. $U=(\cos v,\sin v,0)$. $U_u=0$이므로 $S(\sigma_u)=0$. $U_v=(-\sin v,\cos v,0)=\sigma_v/r$이므로 $\nabla_{\sigma_v}U=U_v=\sigma_v/r$, 따라서 $S(\sigma_v)=-\sigma_v/r$ — 단위접벡터로 나누지 않은 버전.
증명에서 $U_v\cdot\sigma_u=-U\cdot\sigma_{uv}$와 $U_u\cdot\sigma_v=-U\cdot\sigma_{vu}$를 비교할 때 $\sigma_{uv}=\sigma_{vu}$(혼합편도함수 교환, Clairaut/Schwarz 정리, $\sigma$가 $C^2$일 때 성립)를 사용해 두 우변이 같음을 보였다 — 이것이 대칭성의 근본 출처.
$S(v)=\lambda v$, $S(w)=\mu w$, $\lambda\neq\mu$라 하자. 대칭성에서 $S(v)\cdot w=v\cdot S(w)$, 즉 $\lambda(v\cdot w)=\mu(v\cdot w)$. $\lambda\neq\mu$이므로 $v\cdot w=0$ — 직교.
안장 $z=uv$에서 형상연산자는 점마다 달라진다(이차곡면이라 곡률이 균일하지 않음). 원점에서 멀어질수록 $|K|=|{\det S}|$가 작아지는 경향이 있다(곡면이 점근적으로 평평해지는 형태이기 때문 — $z=uv$의 헤시안이 일정하긴 하지만 제1기본형식이 점마다 바뀌어 $K$ 공식의 분모가 커진다).
일반적으로 $\lVert U\rVert^2=c$(상수)인 벡터장 $U$에 대해 $v[\lVert U\rVert^2]=2U\cdot\nabla_vU=0$이므로 $\nabla_vU\perp U$ — 임의의 단위(또는 상수 노름) 벡터장의 공변미분은 항상 그 자신에 수직이라는 일반적 사실이며, 형상연산자의 경우는 $U$가 법선장이라는 특수한 경우다.