90년 수학 난제를 무너뜨린 AI 그런데 2차원은 남았다?
📺 원본 영상: 90년 수학 난제를 무너뜨린 AI, 그런데 2차원은 남았다?
🎙️ 채널: 안될과학 Unrealscience
📅 정리 일자: 2026-07-28
⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드 등)는 포함되지 않을 수 있습니다.
개요
이 영상은 AI가 약 90년 동안 풀리지 않았던 야코비안 추측(Jacobian Conjecture)의 반례를 찾아냈다는 소식을 출발점으로 삼아, 이 사건이 수학적으로 무엇을 의미하는지 설명한다. 인천대학교 수학과 이승재 교수는 함수, 역함수, 야코비안 행렬식이라는 기초 개념부터 출발해, 왜 하나의 반례가 오래된 추측을 무너뜨릴 수 있는지 차근차근 풀어낸다. 특히 이번 사례는 AI가 “증명”을 완성했다기보다 검증 가능한 반례를 제시했다는 점에서 의미가 있으며, 동시에 2차원 야코비안 추측은 여전히 미제로 남아 있다는 점이 핵심이다.
페르마 수에서 시작하는 반례의 힘
영상은 페르마 수 이야기로 시작한다. 페르마는 특정 형태의 수, 즉 일반적으로 (2^{2^n}+1)로 알려진 페르마 수에 0부터 4까지의 값을 넣었을 때 모두 소수가 나온다는 사실을 보고, 이 형태의 수는 언제나 소수일 것이라고 추측했다. 처음 몇 개의 사례가 모두 그럴듯한 패턴을 보여주었기 때문에 이 추측은 자연스럽게 보였지만, 수학에서 유한한 사례의 성공은 전체 명제를 보장하지 않는다.
그 결정적인 균열은 오일러에게서 나왔다. 오일러는 (n=5)일 때 나오는 4,294,967,297이라는 수가 소수가 아니라 641과 6,700,417의 곱으로 분해된다는 사실을 찾아냈다. 이 하나의 계산은 페르마 수 소수 추측 전체를 무너뜨렸다. 영상에서 이 사례가 먼저 제시되는 이유는 명확하다. 수학에서 “모든 경우에 참이다”라는 명제는 단 하나의 반례만으로도 무너질 수 있으며, 이번 야코비안 추측 논란 역시 바로 이 반례의 논리를 중심으로 이해해야 하기 때문이다.
21:36 - 오일러가 페르마 수를 641과 6700417의 곱으로 분해한 반례를 설명하는 구간
더 흥미로운 점은 반례가 나왔다고 해서 수학적 탐구가 끝나는 것이 아니라는 설명이다. 오히려 반례는 기존 명제가 왜 실패했는지, 어떤 조건을 추가하면 다시 참이 될 수 있는지, 또는 반례들이 어떤 구조를 공유하는지를 묻게 만든다. 페르마 수의 경우에도 0부터 4까지는 모두 소수였지만 5부터 32까지 알려진 값들은 모두 합성수라는 점이 언급된다. 처음의 다섯 사례는 직관을 만들었지만, 이후의 사례들은 그 직관 자체를 다시 검토하게 만든 셈이다.
야코비안 추측을 이해하기 위한 첫 관문, 함수와 역함수
이승재 교수는 야코비안 추측을 설명하기 전에 함수의 개념을 자판기에 비유한다. 자판기에서 어떤 버튼을 누르면 정해진 음료가 나오는 것처럼, 함수는 입력값이 주어졌을 때 그에 대응하는 결과값을 정해주는 규칙이다. 중요한 것은 같은 입력값에는 항상 같은 결과값이 나와야 한다는 점이다. 같은 버튼을 눌렀는데 매번 콜라, 사이다, 생수가 무작위로 나온다면 그것은 함수라고 보기 어렵다.
반면 하나의 결과값이 여러 입력값에서 나오는 것은 함수 자체로는 문제가 되지 않는다. 예를 들어 (f(x)=x^2)라는 함수에서는 1을 넣어도 1이 나오고, -1을 넣어도 1이 나온다. 이 함수는 입력마다 결과가 정해져 있으므로 함수이지만, 결과값 1만 보고 원래 입력이 1이었는지 -1이었는지는 알 수 없다. 바로 여기서 역함수의 문제가 등장한다.
역함수는 결과값으로부터 원래 입력값을 되찾는 함수다. 어떤 음료가 나왔을 때 어떤 버튼을 눌렀는지를 거꾸로 알아내는 규칙이라고 생각할 수 있다. 그런데 콜라가 나오는 버튼이 여러 개라면, 콜라라는 결과만으로는 어떤 버튼이 눌렸는지 유일하게 결정할 수 없다. 따라서 역함수가 존재하려면 서로 다른 입력들이 같은 결과로 겹치지 않아야 하며, 이 “되돌릴 수 있음”의 조건이 야코비안 추측의 핵심 배경이 된다.
1차원에서 N차원으로, 점을 점으로 보내는 다항식 변환
야코비안 추측은 단순한 한 변수 함수의 문제가 아니라 여러 변수를 가진 공간의 변환에 관한 문제다. 영상에서는 이를 2차원 평면 위의 한 점을 다른 점으로 보내는 과정으로 설명한다. 예를 들어 서울의 좌표가 ((x,y))라면, 어떤 규칙에 따라 그 점을 도쿄의 좌표처럼 다른 ((p,q))로 옮길 수 있다. 이때 점을 이동시키는 규칙이 다항식으로 주어질 때, 이를 다항식 변환으로 볼 수 있다.
1차원에서는 야코비안 추측에 해당하는 명제가 이미 참으로 알려져 있다. 그래서 영상은 2차원 평면을 중심으로 설명을 확장한다. 평면 위에는 무한히 많은 점이 있고, 다항식 변환은 이 점들을 정해진 규칙에 따라 다른 위치로 보낸다. 이 과정에서 중요한 질문은 단순히 “점들이 어디로 가는가”가 아니라, 그 변환이 전체적으로 되돌릴 수 있는가, 즉 전역적인 역함수를 갖는가이다.
여기서 야코비안이라는 개념이 등장한다. 교수의 설명에 따르면 야코비안은 변환이 작은 영역을 어떻게 바꾸는지 알려주는 정보로 이해할 수 있다. 작은 네모 모눈칸이 어떤 변환을 거쳤을 때 넓이가 늘어나는지, 줄어드는지, 혹은 찌그러지는지를 보는 것이다. 엄밀하게는 야코비안 행렬과 그 행렬식이 이 정보를 담지만, 영상에서는 계산 절차보다 직관적 의미에 초점을 맞춘다.
10:32 - 야코비안이 작은 네모칸 또는 모눈종이의 넓이 변화를 설명하는 구간
국소적으로 되돌릴 수 있다면, 전체도 되돌릴 수 있을까
야코비안 추측의 철학적 매력은 국소와 전체의 관계에 있다. 잘 알려진 역함수 정리에 따르면, 어떤 점에서 야코비안 행렬식이 0이 아니면 그 점 근처의 작은 영역에서는 역함수가 존재한다. 다시 말해 아주 작은 모눈칸 수준에서는 변환을 되돌릴 수 있다는 뜻이다. 이 정리는 대학 수학에서 중요하게 배우는 결과로, 야코비안이 단순 계산 도구가 아니라 “되돌릴 수 있음”을 판단하는 핵심 신호라는 점을 보여준다.
야코비안 추측은 여기서 한 걸음 더 나아간다. 만약 어떤 다항식 변환의 야코비안 행렬식이 모든 곳에서 0이 아닌 상수로 유지된다면, 모든 작은 영역에서 역함수가 존재한다고 볼 수 있다. 그렇다면 이런 국소적 역함수들이 모여 전체 공간에서도 하나의 전역적 역함수를 만들 수 있을까. 이것이 영상에서 설명한 야코비안 추측의 핵심 질문이다.
12:23 - 야코비안 행렬식이 모든 곳에서 0이 아닌 상수일 때 전역 역함수가 존재하는지 설명하는 구간
이 질문이 직관적으로 그럴듯해 보인다는 점이 오히려 난제의 매력이다. 작은 모눈칸 하나하나에서 모두 되돌릴 수 있다면, 전체 모눈종이도 되돌릴 수 있을 것처럼 느껴진다. 그러나 수학에서는 개별 객체에서 성립하는 성질이 전체 집합에서 그대로 성립하지 않는 경우가 많다. 야코비안 추측은 바로 그 경계, 즉 “국소적 참”이 “전역적 참”으로 확장되는지를 묻는 문제였고, 이 단순해 보이는 질문이 90년 가까이 풀리지 않았다.
AI가 찾은 것은 증명이 아니라 반례였다
이번 사건의 핵심은 AI가 야코비안 추측이 참임을 증명한 것이 아니라, 특정 차원에서 추측을 깨는 반례를 찾아냈다는 점이다. 영상에서는 Anthropic의 AI 모델명으로 Claude Fable 5가 언급된다. 다만 강연의 흐름상 중요한 사실은 모델 이름 그 자체보다, AI가 비교적 검증 가능한 다항식 반례를 제시했다는 점이다.
수학에서 참인 명제를 증명하는 일과 거짓인 명제의 반례를 제시하는 일은 검증 난도가 다르다. 긴 증명은 전문가들이 한 줄씩 논리를 확인해야 하며, 페르마의 마지막 정리처럼 검증 과정에서 오류가 발견되고 수정되는 데 오랜 시간이 걸릴 수도 있다. 반면 반례는 조건을 만족하는지, 그리고 결론을 깨는지 직접 계산해 확인할 수 있다면 비교적 빠르게 검증된다. 영상에서 “보자마자 체크해보면 믿을 수밖에 없는 예시”라는 취지로 설명된 이유가 여기에 있다.
이번에 공개된 반례는 3차원에서 3차원으로 가는 다항식 변환과 관련되어 있다. 강연자에 따르면 그 식은 처음 보기에 아주 단순한 것은 아니지만, 90년 난제의 반례라는 점을 고려하면 상대적으로 간결해 보일 수 있다. 특히 변수 3개짜리 7차 이하 다항식의 일반형을 생각하면 가능한 항의 수는 120개이고, 세 개의 좌표 성분을 모두 고려하면 찾아야 할 계수의 수가 수백 개에 이른다. 따라서 결과만 보고 “왜 이렇게 간단한 것을 아무도 못 찾았나”라고 말하기에는, 탐색 공간 자체가 매우 컸다는 점을 함께 봐야 한다.
16:40 - 3변수 7차 다항식의 항 수와 계수 탐색 규모를 설명하는 구간
왜 3차원 반례가 3차원 이상의 문제를 끝내는가
야코비안 추측은 가장 일반적인 형태로는 모든 차원에서 성립하는지를 묻는 명제였다. 그런데 이번 반례는 3차원에서 등장했다. 강연자는 3차원에서 반례가 나오면 4차원, 5차원 등 더 높은 차원에서는 변수를 추가하는 방식으로 반례를 확장할 수 있다고 설명한다. 따라서 이번 결과는 3차원 이상에 대한 일반적 야코비안 추측을 사실상 무너뜨린다.
하지만 이 사건이 야코비안 추측의 모든 버전을 끝낸 것은 아니다. 영상 제목처럼 2차원은 여전히 남아 있다. 원래 야코비안 추측은 2차원 문제에서 출발했고, 이후 임의의 N차원으로 일반화되었다. 이제 3차원 이상에서 반례가 발견되면서 문제는 다시 원래의 출발점인 2차원으로 돌아온 셈이다.
17:55 - 3차원 반례 이후 3차원 이상은 깨졌지만 2차원은 남아 있다고 설명하는 구간
2차원 문제가 여전히 어려운 이유도 영상에서 흥미롭게 설명된다. 강연자에 따르면 2차원에서 반례가 존재한다면 그 방정식은 최소 108차 이상의 형태여야 한다는 결과가 알려져 있다. 이는 수학자들이 낮은 차수의 후보들을 하나씩 제거해왔다는 뜻이다. 다시 말해 2차원 야코비안 추측은 “아직 아무것도 모른다”기보다, 상당한 범위까지는 반례가 없다는 사실이 누적되어 있는 상태에서 남아 있는 난제다.
18:46 - 2차원 반례가 존재한다면 최소 108차 이상의 방정식이어야 한다고 설명하는 구간
반례는 패배가 아니라 더 정확한 질문을 만드는 도구다
영상의 중요한 통찰은 반례가 기존 명제를 무너뜨리는 데서 끝나지 않는다는 점이다. 어떤 추측이 거짓으로 드러나면, 수학자들은 그 문제를 버릴 수도 있지만 더 자주 그 실패의 이유를 분석한다. 어떤 조건이 빠져 있었는지, 어떤 특수한 구조 때문에 반례가 생겼는지, 또는 반례를 제외하면 어떤 더 정교한 명제가 참이 되는지를 묻는 것이다. 이런 의미에서 반례는 수학적 패배라기보다 문제를 더 정확하게 다듬는 도구다.
야코비안 추측의 경우에도 마찬가지다. 3차원 이상에서 반례가 나왔다면, 이제 관심은 그 반례가 어떤 성질을 갖고 있는지로 옮겨갈 수 있다. 특정한 다항식 구조, 차수, 계수 조건, 기하학적 성질이 추측을 깨는 데 어떤 역할을 했는지 분석하면, 기존 추측은 더 세분화된 명제들로 재구성될 수 있다. 영상에서 “하나의 명제를 여러 개의 더 세분화되고 정확한 명제로 나누는 과정”이라고 설명한 대목은 이 점을 잘 보여준다.
이 관점은 AI가 수학 연구에 기여하는 방식도 다시 보게 만든다. AI가 사람처럼 처음부터 문제를 제기하고 철학적 방향을 잡았는지는 아직 불분명하지만, 거대한 탐색 공간 속에서 인간이 놓친 후보를 찾아내는 역할은 이미 강력해지고 있다. 특히 반례처럼 검증 가능한 결과물은 AI와 인간 수학자의 협업 구조에 잘 맞는다. AI는 후보를 제시하고, 인간은 그 의미를 해석하며, 공동체는 검증을 통해 수학적 사실로 받아들인다.
AI는 계산기였을까, 공동연구자였을까
이승재 교수는 AI의 역할을 단순 계산기로 보는 데 신중한 입장을 보인다. 만약 사람이 모든 구조를 다 찾아놓고 AI에게 검증만 시켰다면 굳이 대형 언어모델을 사용할 필요가 크지 않았을 것이다. 반대로 AI가 스스로 야코비안 추측을 연구 대상으로 선택하고 독립적으로 해결했다고 보기도 아직은 어렵다. 따라서 이번 사례는 그 중간 어딘가, 즉 인간 연구자가 방향과 질문을 설계하고 AI가 탐색과 추론 과정에서 실질적 역할을 수행한 사례로 보는 것이 자연스럽다.
24:37 - AI가 계산기 이상의 역할을 했을 가능성과 인간 연구자의 프롬프트 설계를 설명하는 구간
영상에서는 프롬프트와 구체적인 작업 과정이 공개되지 않아 정확한 기여 비율을 단정하기 어렵다고 말한다. AI가 기존 연구 결과와 보조정리를 학습해 어떤 기법을 적용할지 판단했을 수도 있고, 연구자가 특정 논문과 방법론을 지정한 뒤 그 범위 안에서 반례 탐색을 맡겼을 수도 있다. 이 불확실성은 오히려 앞으로 AI 기반 수학 연구에서 중요한 문제가 될 것이다. 결과만큼이나 어떤 질문을 던졌는지, 어떤 검증 절차를 거쳤는지, 인간이 어떤 책임을 졌는지가 연구의 일부가 되기 때문이다.
수학에서 AI가 특히 강점을 보일 수 있는 영역도 이와 관련된다. 강연자는 검증 가능하거나 확인 가능한 형태의 문제, 특히 반례 탐색처럼 계산과 후보 검토가 중요한 문제들이 AI에 상대적으로 적합할 수 있다고 본다. 반면 리만 가설처럼 참이라고 믿어지는 명제를 완전한 증명으로 해결하는 일은 더 어려울 수 있다고 말한다. 다만 만약 리만 가설에 반례가 존재한다면, AI가 인간이 계산하지 못한 영역에서 그것을 찾아낼 가능성은 상대적으로 더 열려 있다는 취지의 분석도 제시된다.
저자는 누구인가, 책임은 누구에게 있는가
AI가 난제의 반례를 찾아냈다면, 그 업적은 누구의 것인가. 영상 후반부는 이 질문을 다룬다. 강연자는 아직까지는 결과의 책임과 저자성은 인간 연구자에게 돌아간다고 본다. AI가 결과를 출력했더라도, 그것을 검증하고 자기 이름으로 세상에 내보이며 오류 가능성에 책임지는 주체는 인간이기 때문이다.
이 논의는 AlphaFold와 노벨 화학상 사례와도 연결된다. AlphaFold가 단백질 구조 예측에서 결정적 역할을 했지만, 노벨상은 시스템 자체가 아니라 그것을 개발하고 연구 성과로 만든 인간에게 주어졌다. 같은 논리로, 이번 야코비안 추측 반례에서도 AI 모델이나 기업이 수학적 저자로 인정받기보다는, 문제를 제기하고 결과를 검토해 공개한 연구자가 책임 있는 저자로 인정될 가능성이 크다는 것이다.
가장 현실적인 교훈은 검증 책임이다. AI는 매우 설득력 있는 답을 내놓을 수 있지만, 그 답이 항상 참인 것은 아니다. 논문이나 과제, 연구 결과에서 AI의 출력을 사용했다면, 최종적으로 그것이 맞는지 확인해야 할 책임은 사용자에게 있다. 강연자는 학생이 AI 답변을 그대로 제출하고 나중에 틀렸다고 밝혀졌을 때 책임을 피할 수 없는 것처럼, 연구자 역시 AI가 낸 결과를 자기 이름으로 발표하는 순간 그 검증 책임을 떠안는다고 강조한다.
마무리 / 핵심 정리
이번 영상이 보여주는 가장 중요한 장면은 AI가 수학자를 대체했다는 단순한 서사가 아니다. 더 정확히는 AI가 인간 수학자가 다루기 어려웠던 거대한 탐색 공간에서 의미 있는 반례를 찾아내고, 인간 연구자가 그것을 검증 가능한 수학적 결과로 정리한 사건이다. 이 과정에서 3차원 이상의 야코비안 추측은 무너졌지만, 2차원 문제는 여전히 남아 있으며 오히려 더 선명한 난제로 부각되었다.
반례는 수학에서 끝을 의미하지 않는다. 페르마 수 사례처럼 하나의 반례는 추측을 무너뜨리는 동시에 더 깊은 질문을 만든다. 야코비안 추측 역시 이제 “모든 차원에서 참인가”라는 질문에서 “2차원에서는 왜 아직 깨지지 않았는가”, “반례가 생기는 구조는 무엇인가”, “어떤 조건을 더하면 참이 되는가”라는 질문으로 이동하게 되었다. AI 시대의 수학은 정답을 더 빨리 찾는 경쟁만이 아니라, 어떤 질문을 던지고 어떻게 검증할 것인지에 대한 인간의 책임을 더 분명히 요구하는 방향으로 바뀌고 있다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | 90년 수학 난제를 무너뜨린 AI, 그런데 2차원은 남았다? |
| 채널 | 안될과학 Unrealscience |
| 리포트 작성 | 2026-07-28 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.