VII. 펠 방정식과 타원곡선 · 16/16

타원곡선

유리점의 군 구조 — 현대 정수론으로의 다리

읽음 0/0 갱신 2026-06-30

수준 안내(orientation). Silverman 41–46장의 핵심 아이디어와 결과를 소개한다. 군 구조의 결합법칙 증명·모듈러성 정리·BSD 추측 등 본격적인 증명은 진술·직관 수준으로 두고, "무엇을 왜 보는가"와 다른 정수론 주제와의 연결에 집중한다. 이 페이지를 다 읽어도 타원곡선을 "풀 수 있게" 되지는 않는다 — 그것이 이 주제가 학부 과정 전체(또는 그 이상)를 차지하는 이유이며, 여기서는 지도를 그릴 뿐이다.

개요 — 동기·문제의식

단위원 $x^2+y^2=1$ 위의 유리점은 직선(매개변수화)으로 전부 찾아낼 수 있다 — 한 점에서 출발해 기울기를 변수로 둔 직선을 그으면 다른 모든 유리점이 나온다. 그런데 차수를 하나 올려 $y^2=x^3+ax+b$ 로 가면 이 트릭이 더 이상 통하지 않는다: 직선과 삼차곡선은 (일반적으로) 세 점에서 만나기 때문에, "두 점을 알면 세 번째 점도 안다"는 전혀 다른 구조가 나타난다. 이 세 번째 교점을 이용해 곡선 위의 유리점들에 덧셈을 정의할 수 있고, 그 덧셈이 (놀랍게도) 결합법칙까지 만족하는 아벨군을 이룬다. 정수론에서 가장 풍부한 대상으로 꼽히는 이유가 여기 있다 — Fermat의 마지막 정리(Wiles, 1995)의 무대였고, 현대 타원곡선 암호(ECC)의 기반이며, 아직 풀리지 않은 Birch–Swinnerton-Dyer 추측(밀레니엄 문제)의 주인공이다.

직관

직선 하나가 삼차곡선과 만나는 점은 (중복도를 포함해) 정확히 셋이다 — 이것이 차수 셈(Bézout류 논법)의 결과다. 두 유리점 $P,Q$ 가 곡선 위에 있고 직선의 계수가 유리수라면, 세 번째 교점도 자동으로 유리점이 된다(삼차방정식의 두 근이 유리수면 나머지 한 근도 유리수 — 근과 계수의 관계). 이 세 번째 점을 $x$축에 대해 대칭시킨 점을 $P+Q$ 로 정의하면, 곡선 위의 유리점 집합이 닫혀 있는(덧셈해도 또 유리점인) 연산을 갖게 된다. 무한원점 $\mathcal O$ 를 "수직선들이 모두 만나는 가상의 점"으로 추가하면 이 연산의 항등원 역할을 하고, 군의 모든 공리(항등원·역원·교환법칙은 쉽게, 결합법칙은 비자명하게)가 성립한다. 직선 대신 접선을 쓰면(즉 $P=Q$) "점을 두 배로 만드는" 연산이 되고, 이를 반복하면 한 점에서 출발해 무한히 많은 새로운 유리점을 생성할 수도 있다 — 또는 유한히 많은 점만 맴돌 수도 있다(아래 Mordell 정리).

정의

타원곡선: $y^2=x^3+ax+b$ (판별식 $4a^3+27b^2\ne0$, 즉 비특이/매끄러운 곡선) + 무한원점 $\mathcal O$.¹ - 유리점 $E(\mathbb{Q})$: 좌표 $(x,y)$ 가 둘 다 유리수인 점들의 집합 (+ $\mathcal O$). - 판별식 조건이 빠지면 곡선이 뾰족점·교차점을 가져 "타원곡선"이라 부르지 않는다(접선이 잘 정의되지 않는 등 군 구조가 깨짐).

기호	의미
$\mathcal O$	무한원점, 군의 항등원
$-P$	$P=(x,y)$ 의 역원, $-P=(x,-y)$ (직관: $P$ 의 $x$축 대칭)
$E(\mathbb{Q})$	유리점들의 아벨군
$E(\mathbb{F}_p)$	$\bmod p$ 로 환원한 유한군

주요 정리 (orientation)

(군 구조, 현-접선 법칙).² 위에서 설명한 현(chord)·접선(tangent) 작도가 $E(\mathbb{Q})$ 를 아벨군으로 만든다: $\mathcal O$ 가 항등원, $-P=(x,-y)$ 가 역원, 덧셈은 교환적이고(작도가 $P,Q$ 의 순서에 무관) 결합법칙도 성립한다(증명은 직접 좌표 계산이 가능하지만 매우 지저분하다 — 더 깔끔한 증명은 대수기하의 Riemann–Roch 정리를 쓴다, 이 위키 범위 밖).

(점 덧셈의 명시적 공식). $P=(x_1,y_1)\ne Q=(x_2,y_2)$, $x_1\ne x_2$ 일 때 현의 기울기 $\lambda=\dfrac{y_2-y_1}{x_2-x_1}$, 그리고 $P+Q=(x_3,y_3)$ 는 $x_3=\lambda^2-x_1-x_2,\ y_3=\lambda(x_1-x_3)-y_1$. $P=Q$(배가, doubling)인 경우는 접선의 기울기 $\lambda=\dfrac{3x_1^2+a}{2y_1}$ 를 쓰고 같은 공식을 적용한다.

정리 (Mordell 정리, ch.42).³ $E(\mathbb{Q})$ 는 유한생성 아벨군이다: $$E(\mathbb{Q})\cong\mathbb{Z}^r\oplus T,$$ $r\ge0$ 은 계수(rank), $T$ 는 유한 비틀림(torsion) 부분군. algebra 위키 finite-abelian-and-sylow 의 유한생성 아벨군 구조정리와 정확히 같은 꼴이며, 타원곡선이 그 정리의 가장 유명한 "자연 발생" 사례다.

정리 (Mazur의 비틀림 정리). $\mathbb{Q}$ 위에서 비틀림 부분군 $T$ 는 (동형을 무시하면) 정확히 15가지 형태만 가능하다 — 순환군 $\mathbb{Z}/n\mathbb{Z}$ ($n=1,\dots,10,12$) 또는 $\mathbb{Z}/2\mathbb{Z}\oplus\mathbb{Z}/2n\mathbb{Z}$ ($n=1,\dots,4$). 비틀림 쪽은 완전히 분류됐지만, 계수 $r$ 은 여전히 미스터리다 — 임의로 큰 계수를 가진 곡선이 존재하는지조차 미해결 문제에 가깝다(BSD 추측이 $r$ 을 $L$-함수의 영점 차수와 연결한다).

($\bmod p$ 환원). 타원곡선 방정식을 $\bmod p$ 로 보면 유한군 $E(\mathbb{F}_p)$ 가 된다. $|E(\mathbb{F}_p)|$ 의 분포가 $L$-함수·BSD 추측의 핵심 재료이며, 이 유한군의 크기가 (큰 $p$ 에 대해) 충분히 커서 이산로그 문제가 어려워지는 성질이 타원곡선 암호(ECC)의 기반이다.

(FLT 연결, ch.46).⁴ Fermat의 마지막 정리 $x^n+y^n=z^n$ ($n\ge3$, 자명하지 않은 정수해 없음)의 1995년 Wiles 증명은, 만약 반례가 있다면 그로부터 만들어지는 특정 타원곡선(Frey 곡선)이 모듈러성 정리(타원곡선은 모두 모듈러 형식과 대응한다는 정리)를 위반한다는 모순을 끌어내는 방식이다 — 순수 디오판토스 문제가 타원곡선·모듈러 형식이라는 완전히 다른 영역의 정리로 해결된, 20세기 수학의 정점 중 하나.

예제

예제 1 (점 배가의 명시적 계산). $y^2=x^3-2$ 위 $P=(3,5)$ ($5^2=25=27-2$ ✓). 접선 기울기 $\lambda=\dfrac{3\cdot3^2}{2\cdot5}=\dfrac{27}{10}$. $x_3=\lambda^2-2x_1=\left(\dfrac{27}{10}\right)^2-6=\dfrac{729}{100}-\dfrac{600}{100}=\dfrac{129}{100}$. $y_3=\lambda(x_1-x_3)-y_1=\dfrac{27}{10}\left(3-\dfrac{129}{100}\right)-5=\dfrac{27}{10}\cdot\dfrac{171}{100}-5=\dfrac{4617}{1000}-5=-\dfrac{383}{1000}$. 검산: $y_3^2=\dfrac{146689}{1000000}$, $x_3^3-2=\dfrac{129^3}{100^3}-2=\dfrac{2146689}{1000000}-\dfrac{2000000}{1000000}=\dfrac{146689}{1000000}$ ✓. 즉 $2P=\left(\dfrac{129}{100},-\dfrac{383}{1000}\right)$ — 분모가 한 점 만에 $100,1000$ 으로 폭증한다(계수 $r\ge1$ 인 곡선에서 전형적인 현상 — 점을 더할수록 분모가 빠르게 커진다).

예제 2 (비틀림만 있는 곡선). $y^2=x^3+1$ 의 유리점: $(2,3),(0,1),(-1,0),(2,-3),(0,-1),\mathcal O$ — 정확히 6개(모두 직접 대입으로 곡선 위에 있음을 확인 가능: $3^2=9=8+1$, $1^2=1=0+1$, $0^2=0=-1+1$). 이 곡선은 $r=0$(계수가 $0$, 새로운 점을 무한히 생성하지 못함)이고 $T\cong\mathbb{Z}/6\mathbb{Z}$(위수 6 순환군) — Mordell 정리의 $\mathbb{Z}^r\oplus T$ 에서 $\mathbb{Z}^0\oplus\mathbb{Z}/6\mathbb{Z}=T$ 만 남은 경우.

예제 3 ($\bmod p$ 환원으로 유한군 만들기). $y^2=x^3+x+1\pmod5$: $x=0,\dots,4$ 를 모두 대입해 $y^2\equiv x^3+x+1\pmod5$ 가 풀리는 $y$ 를 세면, $(0,1),(0,4),(2,1),(2,4),(3,1),(3,4),(4,2),(4,3)$ 의 8개 점이 나오고 $\mathcal O$ 를 더해 $|E(\mathbb{F}_5)|=9$. 이렇게 작은 유한군이 ECC에서는 (소수 $p$ 를 수백 자리로 키워) 거대한 유한군이 되고, 그 군에서의 이산로그 문제의 어려움이 암호의 안전성 근거가 된다.

예제 4 (자명한 유리점에서 출발). $y^2=x^3-x=x(x-1)(x+1)$: $y=0$ 인 점은 $x=0,1,-1$ 셋 — 모두 $2$-비틀림 점($2P=\mathcal O$, $x$축 위의 점은 자기 자신이 역원이므로 두 배 하면 항등원). 이 곡선처럼 $y=0$ 인 점들이 즉시 비틀림 구조의 일부를 드러낸다.

흔한 오해와 함정

"타원곡선"이라는 이름 때문에 타원이라고 오해 — 전혀 무관하다. 이름은 타원의 둘레(호 길이)를 계산하는 적분(타원적분)에서 같은 종류의 삼차/사차식이 나온 역사적 우연에서 왔다. $y^2=x^3+ax+b$ 그래프 자체는 타원이 아니다.
점 덧셈을 좌표별 산술(예: $(x_1+x_2,y_1+y_2)$)로 오해 — 전혀 다른 연산이다. 반드시 현·접선의 기하적 작도(또는 그 공식)를 거쳐야 한다.
"계수 $r$ 이 크면 점이 많다 = 좋은 곡선"이라는 막연한 직관에 의존 — $r$ 은 (BSD 추측이 맞다면) $L$-함수의 해석적 성질과 깊이 얽혀 있어 직접 계산하기 매우 어렵다. 작은 곡선이라도 $r$ 을 구하는 것 자체가 연구 수준의 문제일 수 있다.
Mordell 정리를 "유리점이 유한하다"는 뜻으로 오독 — 정반대로 읽을 수 있다. $\mathbb{Z}^r$ 부분이 있으면($r\ge1$) 유리점은 무한히 많다(단, "유한생성"이라 유한 개의 생성원으로부터 군 연산만으로 전부 얻어진다는 뜻). $r=0$ 일 때만(예제 2) 유리점이 유한(=비틀림뿐)하다.
타원곡선 암호(ECC)가 "타원곡선 위에서 인수분해를 한다"고 오해 — ECC는 인수분해가 아니라 이산로그 문제($Q=nP$ 에서 $n$ 찾기)의 어려움에 기반한다. RSA(인수분해)와는 다른 어려운 문제 위에 서 있다 — 모듈러 거듭제곱과 RSA 참고.

큰 그림 / 연결

타원곡선은 단위원 매개화가 차수를 하나 올렸을 때 무슨 일이 일어나는지를 보여준다 — 매개화 가능한 이차곡선과 달리, 삼차곡선은 "점들의 군 구조"라는 훨씬 풍부한 대상을 낳는다. 가우스 정수에서 시작한 "정수론에 대수 구조(환·체·군)를 도입"하는 흐름이 여기서 정점에 이른다 — Mordell 정리는 algebra 위키 finite-abelian-and-sylow 의 구조정리가 기하적 대상 위에서 그대로 재현된 사례다. 계산적으로는 $\bmod p$ 환원이 RSA와 평행한 발상의 암호(ECC)를 낳는다 — 둘 다 "어떤 연산은 쉽고 그 역은 어렵다"는 비대칭에 기대지만, RSA는 인수분해, ECC는 타원곡선 이산로그라는 서로 다른 어려운 문제를 쓴다. 가장 극적인 응용은 FLT 증명(Frey 곡선 + 모듈러성 정리)이며, 이는 디오판토스 방정식 하나를 풀기 위해 타원곡선·모듈러 형식·갈루아 표현이라는 정수론의 거의 모든 현대적 도구가 동원된 사례다. 미해결 문제(BSD 추측, 밀레니엄 문제)가 여전히 계수 $r$ 의 정체를 묻고 있다는 사실은, 이 페이지가 다루는 것이 닫힌 이론이 아니라 살아있는 연구 분야의 입구임을 보여준다.

연습문제

$y^2=x^3-x$ 위의 자명한 유리점(작은 정수해)을 찾아라.
타원곡선 덧셈에서 $\mathcal O$ 가 항등원인 이유를 기하적으로 설명하라.
Mordell 정리의 진술이 algebra의 유한생성 아벨군 구조정리와 어떻게 대응하는지 설명하라.
$y^2=x^3+1$ 의 비틀림점 6개를 확인하라.
왜 타원곡선이 RSA 대비 짧은 키로 안전한지(ECC) 직관적으로 설명하라.
$y^2=x^3-2$ 위 $P=(3,5)$ 에서 $2P=(129/100,\,-383/1000)$ 임을 점 배가 공식으로 검증하라(계산 과정 재현).
$y^2=x^3+x+1\pmod5$ 의 점이 $8$개임을 $x=0,\dots,4$ 직접 대입으로 확인하라.
$r=0$ 인 곡선(예제 2)과 $r\ge1$ 인 곡선(예제 1)의 차이가 유리점의 개수에 어떤 질적 차이를 만드는지 설명하라.

힌트 / 정답

$(0,0),(1,0),(-1,0)$ ($x^3-x=x(x-1)(x+1)$ 의 근, $y=0$) + $\mathcal O$.
$P$ 와 $\mathcal O$ 를 잇는 수직선의 세 번째 교점은 $P$ 의 대칭점 $-P$; 다시 대칭하면 $P$ → $P+\mathcal O=P$, 즉 $\mathcal O$ 를 더해도 변화 없음(항등원의 정의).
$E(\mathbb{Q})\cong\mathbb{Z}^r\oplus T$ = 자유부분 + 비틀림 = 유한생성 아벨군 기본정리의 형태 그 자체(algebra finite-abelian-and-sylow).
$(2,\pm3),(0,\pm1),(-1,0),\mathcal O$ — 직접 대입 확인($3^2=9=2^3+1$, $1^2=1=0^3+1$, $0^2=0=(-1)^3+1$), 군 위수 6.
타원곡선 이산로그 문제(ECDLP)가 (알려진 최선의 공격 기준으로) 정수 인수분해보다 효율적인 공격법이 없어, 같은 안전성 수준에 훨씬 짧은 키로 충분하다.
본문 예제 1의 계산을 그대로 따라가면: $\lambda=27/10$, $x_3=\lambda^2-6=129/100$, $y_3=\lambda(3-x_3)-5=-383/1000$, 검산 $y_3^2=x_3^3-2$ 확인.
$x=0$: $1$, $y^2\equiv1\pmod5$ → $y=1,4$. $x=1$: $3$, QR 아님(제곱은 $0,1,4$만) → 해 없음. $x=2$: $11\equiv1$ → $y=1,4$. $x=3$: $31\equiv1$ → $y=1,4$. $x=4$: $69\equiv4$ → $y=2,3$. 합계 $2+0+2+2+2=8$개.
$r=0$ 이면 유리점이 비틀림군 $T$ 뿐이라 유한(예제 2: 정확히 6개로 끝). $r\ge1$ 이면 한 점에서 출발해 배가·덧셈을 반복하며 분모가 점점 커지는 무한히 많은 서로 다른 유리점을 생성할 수 있다(예제 1, $2P,3P,\dots$ 가 모두 다른 점).