VII. 펠 방정식과 타원곡선 · 15/16

펠 방정식

x²−Dy²=1, 기본해와 무한 해

읽음 0/0 갱신 2026-06-30

개요 — 동기·문제의식

$x^2-2y^2=1$ 의 정수해를 찾아보자: $(1,0)$ 은 자명하고, 조금 시행착오를 거치면 $(3,2)$ 가 나온다($9-8=1$). 그럼 다음 해는? 그다음은? 놀랍게도 무한히 많은 해가 존재하며, 가장 작은 해 하나만 알면 거듭제곱이라는 단 하나의 연산으로 나머지 모든 해가 정확히 생성된다. 이것이 Pell 방정식 $x^2-Dy^2=1$ 의 이야기다. 이름과 달리 정작 John Pell 본인은 이 방정식 연구에 거의 기여하지 않았다 — Euler가 역사를 잘못 알고 이름 붙였을 뿐, 실제 선구자는 인도의 Brahmagupta(7세기)와 Bhaskaracharya(12세기), 그리고 유럽의 Fermat·Brouncker(17세기)다.¹ 정사각삼각수("삼각수이면서 제곱수")처럼 흥미로운 디오판토스 문제들이 Pell 방정식으로 환원되고, 그 풀이법은 연분수를 통해 $\sqrt D$ 를 "가장 잘" 근사하는 문제와 직결된다.

직관

핵심 아이디어는 인수분해와 켤레다. $x^2-Dy^2=(x+y\sqrt D)(x-y\sqrt D)$ 로 쓸 수 있으므로, $x^2-Dy^2=1$ 은 "$x+y\sqrt D$ 와 그 켤레의 곱이 $1$" 이라는 말과 같다. 만약 $(x_1,y_1)$ 이 한 해라면, $\alpha=x_1+y_1\sqrt D$ 를 제곱한 $\alpha^2$ 의 켤레는 자동으로 $\bar\alpha^2$ 이 되고, $\alpha^2\bar\alpha^2=(\alpha\bar\alpha)^2=1^2=1$ — 즉 $\alpha^2$ 의 실수부·무리수부를 읽으면 새로운 해가 거저 나온다. 이는 $\mathbb{Z}[\sqrt D]$ 라는 (가우스 정수 $\mathbb{Z}[i]$ 와 닮은꼴인) 환에서 "노름이 $1$인 원소들(단원)은 곱셈에 닫혀 있다"는 사실의 그림자다 — 가우스 정수의 노름 곱셈성과 정확히 같은 메커니즘이 실수 영역에서 재현된 것.

정의

(Pell 방정식) $x^2-Dy^2=1$, $D$ 는 제곱이 아닌 양의 정수.¹ ($D$ 가 완전제곱이면 $x^2-Dy^2=(x-\sqrt Dy)(x+\sqrt Dy)$ 가 정수 인수분해가 되어 해가 유한히만 존재 — 흥미로운 경우가 아니므로 제외.)

용어	의미
자명해	$(1,0)$ — 항상 존재하지만 흥미롭지 않음
기본해(fundamental solution)	자명해를 제외하고 $x$(또는 $y$)가 가장 작은 양의 정수해 $(x_1,y_1)$
$n$번째 해	$x_n+y_n\sqrt D=(x_1+y_1\sqrt D)^n$ 으로 정의되는 $(x_n,y_n)$

주요 정리

정리 (Pell 방정식 정리, Theorem 32.1/34.1).¹ $D$ 가 제곱이 아닌 양의 정수이면 Pell 방정식 $x^2-Dy^2=1$ 은 항상 양의 정수해를 가지며, 기본해 $(x_1,y_1)$ 이 있으면 모든 양의 정수해는 $$x_n+y_n\sqrt D=(x_1+y_1\sqrt D)^n\qquad(n=1,2,3,\dots)$$ 로 정확히 나열된다.

증명 보기

증명 스케치 — 두 갈래. 1. 해가 모두 거듭제곱으로 나온다(상대적으로 쉬움). $(x_1+y_1\sqrt D)$ 를 제곱하면 $$(x_1+y_1\sqrt D)^2(x_1-y_1\sqrt D)^2=\big[(x_1+y_1\sqrt D)(x_1-y_1\sqrt D)\big]^2=(x_1^2-Dy_1^2)^2=1^2=1,$$ 전개하면 $(x_1+y_1\sqrt D)^2=(x_1^2+Dy_1^2)+2x_1y_1\sqrt D$ 이므로 $(x_1^2+Dy_1^2,\,2x_1y_1)$ 이 새로운 해 — 거듭제곱마다 해가 하나씩 나온다는 것은 직접 계산으로 확인된다. 어떤 양의 해도 빠짐없이 어느 거듭제곱에 대응한다는 것은 만약 $(a,b)$ 가 $(x_1+y_1\sqrt D)^n$ 과 $(x_1+y_1\sqrt D)^{n+1}$ 사이에 끼는 "새로운" 해라면 $(a+b\sqrt D)(x_1-y_1\sqrt D)^n$ 을 계산해 $1$ 과 $x_1+y_1\sqrt D$ 사이의 더 작은 해를 만들어내는 모순을 끌어내는 하강법으로 보인다. 2. 해가 적어도 하나 존재한다(어려움). Dirichlet의 디오판토스 근사 정리에 의해 $|x-y\sqrt D|<1/y$ 인 정수쌍 $(x,y)$ 가 무한히 많고, 이로부터 비둘기집 논법으로 $x^2-Dy^2$ 의 값이 어떤 고정된 정수 $M$ 으로 무한히 많이 반복됨을 보인다. 그중 두 해를 적절히 나누면(가우스 정수 나눗셈 정리와 같은 발상) $x^2-Dy^2=1$ 인 해가 걸러져 나온다.²

(재귀식, 다음 해를 직접 계산).¹ $x_1,y_1$ 이 기본해일 때 $$x_{n+1}=x_1x_n+Dy_1y_n,\qquad y_{n+1}=x_1y_n+y_1x_n.$$ 이는 $(x_n+y_n\sqrt D)(x_1+y_1\sqrt D)=x_{n+1}+y_{n+1}\sqrt D$ 를 전개해 실수부·무리수부를 비교하면 바로 나온다.

왜 가설 "$D$ 가 비제곱"이 필요한가. $D=k^2$ 이면 $x^2-k^2y^2=(x-ky)(x+ky)=1$ 인데, 정수 두 인수의 곱이 $1$ 이려면 둘 다 $1$ 이거나 둘 다 $-1$ — 유한히 많은 해(사실상 자명해 근방)만 나오고, 위 정리의 "무한히 많은 해" 결론이 성립하지 않는다.

예제

예제 1 ($D=2$). 기본해 $(3,2)$: $3^2-2\cdot2^2=9-8=1$. 다음 해: $(3+2\sqrt2)^2=17+12\sqrt2$ → $(17,12)$ ($289-288=1$). 그다음 $(3+2\sqrt2)^3=99+70\sqrt2$ → $(99,70)$ ($9801-2\cdot4900=9801-9800=1$ ✓).

예제 2 ($D=3$). 기본해 $(2,1)$: $4-3=1$. 다음 $(7,4)$ ($49-48=1$), $(26,15)$ ($676-675=1$).

예제 3 (정사각삼각수). 삼각수 $T_n=n(n+1)/2$ 이면서 동시에 완전제곱인 수는 $1,36,1225,41616,\dots$ — $T_1=1=1^2$, $T_8=36=6^2$, $T_{49}=1225=35^2$, $T_{288}=41616=204^2$.³ $T_n=m^2$ 을 $2$ 배하고 완전제곱식으로 정리하면 $(2n+1)^2-2(2m)^2=1$ 형태의 Pell 방정식 $x^2-2y^2=1$ 의 해와 정확히 대응한다 — Pell 방정식에 무한히 많은 해가 있다는 사실(정리)이 정사각삼각수가 무한히 많다는 사실을 즉시 증명한다.

예제 4 ($D=5$, 더 큰 기본해). 기본해 $(9,4)$: $81-80=1$. 재귀식으로 다음 해: $x_2=9\cdot9+5\cdot4\cdot4=81+80=161$, $y_2=9\cdot4+4\cdot9=72$ → $(161,72)$ ($161^2-5\cdot72^2=25921-25920=1$ ✓).

예제 5 (기본해가 의외로 거대한 경우). $D=61$: 기본해는 $(1766319049,\,226153980)$ 라는 거대한 수다.¹ $D$ 가 작다고 기본해도 작으리라는 보장이 전혀 없음을 보여주는 극단적인 사례 — 어떤 패턴으로 큰 기본해가 나오는지는 알려진 간단한 규칙이 없다(Siegel의 class number 관련 추정으로 어림짐작만 가능하다는 언급이 Silverman 원문 각주에 있다).

예제 6 (해 검증 vs 켤레 부호). $x^2-Dy^2=-1$ 형태(우변이 $-1$)는 항상 풀리지는 않는다. $D=3$: $x^2\equiv-1\pmod3$ 을 보면, 제곱수는 $\bmod3$ 으로 $0$ 또는 $1$ 뿐인데 $-1\equiv2\pmod3$ 은 그 안에 없다 → $x^2-3y^2=-1$ 은 정수해가 전혀 없다. (반면 $x^2-2y^2=-1$ 은 $(1,1)$ 이 해: $1-2=-1$ ✓ — $D$ 에 따라 음의 Pell 방정식의 가해성이 갈린다.)

흔한 오해와 함정

"기본해를 찾으면 등차수열로 다음 해가 나온다"고 오해 — 틀림. 해는 거듭제곱(또는 동치인 재귀식)으로 생성되지 등차수열이 아니다. $D=2$ 예제에서 $x$ 값 $1,3,17,99,\dots$ 는 등비에 가깝게 폭증한다.
"$D$ 가 작으면 기본해도 작다"는 직관적 가정 — 예제 5($D=61$)처럼 완전히 틀릴 수 있다. $D=46,53,94$ 등도 비교적 큰 기본해를 갖는 것으로 알려져 있다.
$x^2-Dy^2=1$ 과 $x^2-Dy^2=-1$ 을 같은 방정식으로 혼동 — 후자(음의 Pell)는 항상 풀리는 것이 아니다(예제 6, $D=3$). 풀린다면 보통 그 해의 제곱이 양의 Pell 방정식의 (기본해보다 작을 수도 있는) 해를 준다.
$D$ 가 완전제곱인 경우를 깜빡함 — $D=k^2$ 이면 정리 전체가 적용되지 않는다(흥미로운 무한해 구조가 없음, "왜 가설이 필요한가" 참고). 문제에서 $D$ 가 비제곱임을 먼저 확인해야 한다.
재귀식의 계수를 $D$ 와 $1$ 자리를 바꿔 씀 — $x_{n+1}=x_1x_n+Dy_1y_n$ 에서 $D$ 가 곱해지는 자리는 $y$ 끼리의 곱이지 $x$ 끼리의 곱이 아니다. 부호·자리를 헷갈리면 검산($x_{n+1}^2-Dy_{n+1}^2\overset{?}{=}1$)으로 바로 드러난다.

큰 그림 / 연결

Pell 방정식의 풀이는 $\sqrt D$ 의 연분수 전개에서 직접 나온다 — 연분수의 한 주기가 끝나는 지점의 수렴분수가 정확히 기본해를 준다(다음 페이지에서 $\sqrt2=[1;2,2,2,\dots]$, $\sqrt{13}=[3;\overline{1,1,1,1,6}]$ 등으로 구체적으로 보인다). 해의 존재성 증명 자체가 Dirichlet의 근사 정리에 의존하므로, Pell 방정식은 사실 디오판토스 근사 이론의 한 응용이다. 구조적으로는 $x+y\sqrt D$ 를 환 $\mathbb{Z}[\sqrt D]$ 의 원소로 보면, Pell 방정식의 해는 정확히 노름이 $1$ 인 단원들이고, 이는 가우스 정수의 단원 $\{1,-1,i,-i\}$(노름 $1$)의 무한 버전이다 — 단, $\mathbb{Z}[i]$ 의 단원군은 유한(크기 4)인 반면 $\mathbb{Z}[\sqrt D]$ 의 단원군은 무한(거듭제곱으로 생성되는 무한순환군)이라는 결정적 차이가 있다(algebra 위키 rings-and-fields 에서 단원군의 일반론). 응용으로는 예제 3의 정사각삼각수 외에도, 특정 이차형식이 표현하는 정수를 찾는 문제 전반이 Pell 방정식으로 환원되곤 한다.

연습문제

$D=5$ 의 기본해를 찾고 다음 두 해를 생성하라.
$x^2-2y^2=1$ 의 세 번째 양의 해를 구하라.
$D=7$ 의 기본해를 시행으로 찾아라.
Pell 해가 무한함을 거듭제곱 공식으로 설명하라.
$x^2-Dy^2=-1$ 이 항상 해를 갖지는 않음을 $D=3$ 으로 보여라.
$D=6$ 의 기본해를 찾아라.
$D=11$ 의 기본해를 찾고, 재귀식으로 두 번째 해를 구하라.
정사각삼각수 $T_8=36$ 이 Pell 방정식 $x^2-2y^2=1$ 의 해 $(17,12)$ 와 어떻게 대응하는지 설명하라($n=8$, $m=6$ 사용).

힌트 / 정답

$D=5$: $(9,4)$ ($81-80=1$). 다음 $(9+4\sqrt5)^2=161+72\sqrt5$ → $(161,72)$; 그다음 $(2889,1292)$.
$(3+2\sqrt2)^3=99+70\sqrt2$ → $(99,70)$.
$D=7$: $(8,3)$ ($64-63=1$).
$(x_1+y_1\sqrt D)^n$ 이 $n$ 마다 서로 다른 해 → 무한.
$D=3$: $x^2-3y^2=-1$ → $x^2\equiv-1\pmod3$, 그런데 제곱은 $\bmod3$ 으로 $0,1$ → $-1\equiv2$ 불가 → 해 없음.
$D=6$: 시행 $(5,2)$: $25-24=1$ ✓ → 기본해 $(5,2)$.
$D=11$: 시행 $(10,3)$: $100-99=1$ ✓ → 기본해. 재귀: $x_2=10\cdot10+11\cdot3\cdot3=100+99=199$, $y_2=10\cdot3+3\cdot10=60$ → $(199,60)$, 검산 $199^2-11\cdot60^2=39601-39600=1$ ✓.
$T_8=8\cdot9/2=36=6^2$. $2n+1=17$, $2m=12$ → $(17,12)$ 가 정확히 $x^2-2y^2=1$ 의 두 번째 해(예제 1)와 일치 — Pell의 두 번째 해가 정사각삼각수 $T_8=36$ 을 만들어낸다.