CULTURE
신비로운 기술생활

유전학을 뒤흔든 까칠한 수학자

심드렁하게 탄생한 유전학의 금자탑, 하디-바인베르크 법칙

글. 최혜원
칼럼니스트
오랜 직장생활을 거쳐 현재는 전업 글쓰기 작가로 활동하고 있다. 과학, 역사 문화 등 광범위한 분야, 폭넓은 주제에 관한 깊이 있는 통찰과 지식을 토대로 왕성한 칼럼니스트 활동을 펴고 있다.
19세기 말, 찰스 다윈의 진화론이 세상을 뒤흔들었지만 그 진화의 '원료'가 되는 유전 현상에 대해서는 여전히 미지의 영역이 많았다. 당시 학자들은 부모의 형질이 자손에게 마치 물감처럼 섞여서 전달된다는 '혼합 유전(Blending Inheritance)' 개념을 주류로 삼고 있었다. 이 생각대로라면, 특정 형질을 가진 개체들이 아무리 자연 선택을 받아 번성하더라도, 다음 세대에 그 형질은 점차 희석되어 사라질 수밖에 없었다. 이는 자연 선택이 작용할 유전적 변이가 장기적으로 유지되기 어렵다는 치명적인 문제로 이어졌고, 다윈의 진화론을 굳게 믿는 학자들에게는 풀리지 않는 숙제였다.
바로 그때, 수도원 정원에서 완두콩 실험을 통해 유전의 '비밀'을 밝혀낸 그레고어 멘델의 연구가 20세기 초 재발견되면서 유전학계는 격동의 시기를 맞이한다. 멘델은 형질이 혼합되는 것이 아니라 불연속적인 '단위'로 존재하며, 이 단위들이 다음 세대로 온전히 전달되고 특정 조합으로 발현될 뿐이라고 주장했다. 이는 명확하게 나뉘는 형질이 개체의 다양성을 증가시켜서 자연선택이 작용하는 무대가 된다는 점에서 기존의 혼합 유전의 맹점을 극복하는 혁신으로 여겨졌다.
그러나 '멘델주의'는 또 다른 의문을 낳았다. 멘델의 법칙에 따르면 우성 형질이 열성 형질보다 '강하게' 발현되는데, 그렇다면 우성 형질을 가진 사람이 많아지면, 결국 열성 형질은 사라지는 것 아니냐는 다소 황당한 질문이 유전학자들 사이에서 고개를 들기 시작했다. 만약 모든 형질이 우성으로 수렴된다면 형질의 다양성이 사라져서 결국 진화가 일어날 수 없었다. 똑똑한 유전학자들이 모여 앉아 이 역설에 골머리를 앓고 있었다.




유전학 마을의 두 갈래 길, 멘델주의자와 생체측정학자의 대립
이러한 학술적 경쟁 속에서, 당시 영국 유전학계는 극명하게 대립하는 두 학파로 나뉘어 있었다. 이들의 대립은 단순히 방법론의 차이를 넘어, 유전 현상을 바라보는 근본적인 시각, 즉 '개체 변이'와 '집단 변이' 중 어디에 초점을 맞출 것인가 하는 철학적인 간극에서 비롯되었다.
한쪽은 멘델주의자들이었다. 멘델의 유전법칙 재발견은 그들에게 유전 현상의 본질을 이해하는 새로운 지평을 열어주었다. 이들은 멘델의 분리 법칙과 독립 법칙처럼 '불연속적'이고 '질적'인 형질의 유전을 강조했다. 예를 들어, 완두콩의 씨앗 색깔이 노란색이거나 초록색이지, 그 중간색은 존재하지 않는다는 식이었다. 멘델주의자들에게 가장 중요한 것은 유전 형질이 개별적이고 분리 가능한 '단위'로 존재한다는 것이었다. 이 단위들이 세대를 거쳐도 희석되거나 변형되지 않고 온전히 전달되며, 특정 조합으로 발현될 뿐이라는 믿음이었다. 그들의 연구는 개별 개체 내에서의 형질 변화와 유전 양상에 초점을 맞췄으며, 따라서 복잡한 통계학적 분석보다는 개별적인 교배 실험과 그 결과 관찰, 그리고 나타나는 개체 수를 세어 간단한 자연수 비율을 적용하는 것으로 충분하다고 여겼다.
다른 한쪽은 생체측정학자들이었다. 프랜시스 골턴(Francis Galton)과 칼 피어슨(Karl Pearson) 같은 통계학자들이 주축을 이루었던 이들은 키나 몸무게, 피부색처럼 '연속적'이고 '양적'인 형질의 유전에 관심이 많았다. 이러한 형질들은 여러 유전자와 환경의 영향을 복합적으로 받아 연속적인 분포를 보였고, 이를 설명하기 위해서는 상관분석이나 회귀분석 같은 고도의 통계학적 기법이 필수적이었다. 생체측정학자들은 개체 하나하나의 유전형보다는 집단 전체의 유전적 변이와 그 통계적 변화 경향에 관심을 두었으며, 유전이 '평균으로의 회귀'나 '혼합 유전'과 같은 방식으로 일어난다고 보았다.
이 두 학파는 서로의 연구 방법론을 격렬하게 비판했고, 치열하게 논쟁했다. 멘델주의자들은 생체측정학자들의 복잡한 통계학을 불필요하고 현실과 동떨어진 것으로 여겼고, 생체측정학자들은 멘델주의자들의 유전 이론이 너무 단순하여 복잡한 생명 현상을 설명하기 어렵다고 비판했다. 멘델주의자들은 세상을 단호하게 쪼갰다. 씨앗은 노랗거나 초록이지, 그 사이 어딘가는 없다. 생명은 단위로 나뉘고, 법칙은 그것을 정확히 세어 증명하면 된다고 믿었다. 반면 생체측정학자들은 세상이 애초에 부정확하다고 믿었다. 사람의 키는 매년 조금씩 다르고, 형질은 통계 속에서만 흐릿하게 모습을 드러낸다. 정답은 없고, 경향만 있을 뿐이다. 이들의 대립은 유전의 본질에 대한 근본적인 견해 차이에서 비롯되었기에 더욱 첨예했다.


그림1 젊은 시절의 레지널드 퍼닛. 퍼닛은 멘델 유전학을 영국 학계에 도입한 선구자 중 한 명이다. 항간에는 근육질 배우 출신의 캘리포니아 전 주지사와 닮았다는 이야기도 있다. © Cambridge University


이 살벌한 지적 대립 속에서 영국 케임브리지의 탁월한 생물학자 레지널드 퍼닛(Reginald Punnett)은 깊은 고민에 빠져 있었다. 그는 멘델 유전학을 영국에 도입하고 발전시킨 선구적인 학자 중 한 명으로 집단 내에서 유전자의 빈도가 어떻게 유지되는지에 대한 직관적인 이해를 가지고 있었다. 하지만 그 역시 당시 유전학자들 사이의 해묵은 논쟁, 즉 "우성 형질이 대를 거듭할수록 점차 많아지는 것 아니냐?"는 오해를 수학적으로 명확하게 반박할 방법을 찾지 못하고 있었다. 특히 퍼닛은 당시 유명한 통계학자 율(G. U. Yule)과의 논쟁에서 우성 유전자가 다음 세대에 점점 더 많아질 것이라는 율의 잘못된 주장을 반박하고 싶었지만 적절한 수학적 근거를 찾지 못해 고민이었다. 직관적으로는 율의 주장이 틀렸음을 알았지만 이를 증명할 수학적 도구가 없었던 것이다. 이는 당시 영국 멘델주의자의 공통적인 약점이기도 했다. 퍼닛은 해답을 절실히 필요로 하는 상황이었다.




크리켓장에서 날아든 '대수롭지 않은' 해답
바로 그때, 영국 케임브리지 대학의 천재 수학자, 고드프리 하디(G. H. Hardy)가 등장한다. 그는 20세기 최고의 수학자 중 한 명으로 특히 정수론 분야에서 위대한 업적을 남겼다. 하디는 순수수학이야말로 최고의 학문이며 생물학이나 응용수학 따위는 '열등하다'고 여기는 전형적인 엘리트 수학자였다. 그에게 미분방정식은 ‘산업혁명의 먼지에 찌든 수학’이었고, 통계학은 ‘숫자 놀음을 과학이라고 우기는 불결한 마술’쯤에 불과했다. 자서전격 저서인 『수학자의 변명(A Mathematician's Apology)』에서 하디는 "응용수학은 추하다. 아름다움은 수학의 가장 큰 매력이다. 이 세상에는 순수수학이 아닌 다른 어떤 과학도 없다"며 "나는 단 한 번도 유용한 일을 한 적이 없다. 내 발견은 세상에 좋든 나쁘든, 그 어떤 영향도 끼치지 않았다"고 자랑했을 정도다. 그런 그가 어떻게 ‘수학과 비교하면 저열한’ 생물학 법칙의 공동 발견자가 되었을까?


그림2 하디는 여가 시간 대부분을 크리켓으로 보냈다. 옥스퍼드에 교수로 재직하던 시절, 하디가 그의 ‘세상 모두와 맞서는 수학자 팀’을 이끌로 경기장에 나서고 있다. 놀랍게도 정식 명칭이다. © Oxford University


하디가 생전 유일하게 관심 있는 세속의 일이라면 아마 크리켓을 첫순위에 꼽을 수 있을 것이다. 하디는 여가 시간을 대부분 크리켓 경기를 관람하거나 즐기면서 보냈다. 퍼닛과도 학술적 동료는 아니지만 아주 절친한 크리켓 친구였다. 어느 화창한 날, 하디는 크리켓 경기장에서 우연히 퍼닛과 유전학자들의 논쟁을 듣게 된다. 집단 내 우성 유전자가 열성 유전자보다 시간이 지남에 따라 더 많아질 것이라는 오해에 대한 이야기였다. 하디는 퍼닛의 넋두리를 듣자마자, 그것이 고등학교 수준의 대수학으로도 충분히 해결 가능한 문제임을 깨달았다. 어쩌면 하디는 이토록 간단한 수학을 몰라서 헤메는 유전학자들을 꽤나 한심하게 생각했는지도 모른다. 하지만 그 ‘응용에 대한 불쾌감’만 떨친다면 별 노력 없이 논문 한 편을 적립할 기회이기도 했다.
20세기 초, 영국 케임브리지 대학을 비롯한 당시 빅토리아 시대의 대학들은 마치 ‘경주마를 키우는 목장’과도 같았다. 학자들은 끊임없이 새로운 이론과 발견을 쏟아내야 한다는 과도한 압박감에 시달리고 있었다. 연구는 단순히 지적 호기심을 넘어선 성과주의의 장이었고 교수들은 자신의 능력과 가치를 증명하기 위해 학술적 업적을 쌓는 데 몰두해야 했다. 이러한 분위기 속에서 '올해 업적을 채우려면 논문 좀 내야 하는데 어디 써먹을 거 없나' 하는 고민은 기회주의가 아니라 시스템이 강요하는 생존 방식에 가까웠다.
하디는 굳이 깊이 고민할 필요도 없는 쉬운 내용이라는 생각에 불과 몇 문장으로 이 법칙을 수학적으로 설명했다. 퍼닛의 회고에 따르면, 하디는 아주 간단하다며 즉석에서 해결책을 제시했다고 한다. 기록에 따라서는 크리켓 점수판 뒷면에, 또는 엽서에 공식을 휘갈겨 썼다고 전해지기는데, 어쨌든 연구실이 아니라 크리켓 경기가 한창인 와중에 이 세기의 이론을 완성했다는 점은 분명하다. 퍼닛의 눈에 하디는 '오랫동안 풀지 못했던 난제를 너무나도 쉽게 해결하는 천재 수학자'로 보였을 것이다.


그림3 옥스퍼드 시절의 하디. 케임브리지 출신의 하디는 옥스퍼드에 1936년까지 재직하다가 케임브리지로 복귀했다. © Oxford University


하디는 뜸들일 것 없이 당시 영국의 과학 학술지 사이언스(Science)에 짧은 편지 형식의 논문을 보냈다. 퍼닛이 문제를 제기한 것이 1908년 런던에서 열린 강연회 직후였고, 하디의 논문이 1908년 7월에 발표됐다는 점을 생각하면, 논문을 얼마나 빨리 완성했는지 짐작할 수 있다. 이 논문에는 다음과 같은 내용과 식이 담겨 있었다. "어떤 대규모 집단에서 유전 요인의 빈도는 세대가 지나도 변하지 않는다. 이를 설명하는 식은 다음과 같다. p² + 2pq + q²." 이것이 바로 훗날 하디-바인베르크 평형으로 불리게 되는 법칙의 탄생 순간이었다.
하디는 자신의 논문 서론에서 "내 논문에 담긴 내용은 수학자라면 누구나 쉽게 이해할 수 있는 것"이라며, 자신이 이런 '쉬운' 논문을 쓰는 데 시간을 할애해야 하는 것에 대한 약간의 불만을 내비쳤을 것으로 짐작된다. 하디의 관심사는 어디까지나 순수수학이었고, 이 짧은 서신은 그의 수많은 수학적 업적 중 하나에 불과했다. 그저 케임브리지 대학의 평가 기준을 만족시키기 위한, 하찮지만 손쉬운 '실적 채우기'였을 뿐이다.




짧은 언급, 엄청난 파장
하디의 논문에서 퍼닛의 이름은 단지 '공헌자' 정도로 짧게 언급될 뿐이었다. 하디는 논문에서 "내가 알기로는(I am given to understand that)" 퍼닛이 제기한 문제라는 식으로 언급했다. 퍼닛의 입장에서는 어땠을까? 퍼닛은 즉석에서 명쾌한 해답을 제시한 하디에게 고마움과 함께 속시원한 감정도 느꼈던 것으로 보인다. 그는 오랜 세월 고민해 온 문제에 대해 "간단하고 신속한 답변을 얻어서 당연히 기뻤다"고 언급하기도 했으며, 그 자리에서 하디에게 이 법칙을 '하디의 법칙'으로 부르겠다고 약속했다고 한다. 이는 퍼닛이 하디의 기여를 분명히 인정하고 존중했음을 보여준다. 하지만 그의 공헌이 공동 저자로 명시되지 않고 단순히 문제를 제기한 사람 정도로만 언급된 점에 대해서는 후일 다소간의 아쉬움이나 씁쓸함을 느꼈을 가능성도 배제할 수 없다.


그림4 퍼닛의 사각형. 고등학교 생물 교과서에 실린 ‘두 가지 형질의 멘델유전’을 설명하는 다이어그램을 고안한 사람이 바로 퍼닛이다. 퍼닛 사각형은 유전자 조합의 경우의 수를 알아보기 쉽게 표현하며, 유전자 빈도를 사각형의 한 편으로 표현하여 확률을 시각화하기도 한다.


하디의 예상과는 달리 이 간단한 법칙은 생물학계에 엄청난 파장을 일으켰다. 당시 독립적으로 같은 내용을 발견한 독일의 의사이자 유전학자인 빌헬름 바인베르크(Wilhelm Weinberg)의 이름과 함께 이 법칙은 집단 유전학의 근간이자 현대 진화론의 금자탑 중 하나로 자리매김하게 된다.
하디-바인베르크 평형이 처음 발표되었을 때 생물학계의 반응은 흥미롭게도 즉각적인 환호보다는 점진적인 인정에 가까웠다. 하디 자신을 비롯해 많은 생물학자들은 그 중요성을 처음부터 알아채지 못했다. 당시 유전학계는 멘델주의자와 생체측정학자 사이의 논쟁으로 워낙 시끄러웠기에 외부에서 온 수학자의 간단한 설명이 그들의 핵심 논쟁을 해결할 것이라고는 예상치 못했을 것이다.


그림5 하디-바인베르크 법칙을 확률적으로 표현한 그래프. 하디가 제안한 식 자체는 아주 간단했지만 생물학자들은 이 식을 발전시켜서 다양한 유전현상을 훌륭하게 설명해냈다.


하지만 시간이 흐르면서 이 법칙의 진가가 발휘되기 시작했다. 특히 2세대 집단유전학자들이 등장하면서 멘델의 유전법칙과 다윈의 자연선택 이론을 수학적으로 통합하려는 노력을 기울였고, 그 과정에서 하디-바인베르크 평형이 핵심적인 '기준점'이자 '도구'임을 깨달았다. 이 법칙은 멘델주의와 생체측정학이라는 두 학파의 방법론적 통합을 위한 결정적인 '가교' 역할을 했다. 멘델의 '단위'가 집단에서 어떻게 안정적으로 존재할 수 있는지 통계적으로 설명하고 생체측정학의 집단 개념에 멘델주의적 기반을 제공함으로써, 서로 대립하던 두 분야를 통합하고 현대 집단유전학을 탄생시킨 것이다.
하디-바인베르크 평형은 진화가 일어나지 않는 이상적인 '영점 모델(null model)'을 제시함으로써 거꾸로 실제 집단에서 유전자 빈도가 변하는 이유, 즉 돌연변이, 유전자 흐름, 유전적 부동, 자연선택과 같은 진화의 요인을 정량적으로 분석하고 설명하는 도구가 되었다. 케임브리지 특유의 성과에 대한 압박 속에서, 하디가 별 생각 없이 내놓았던 짧은 논문이 인류의 진화에 대한 이해를 한 단계 끌어올리는 중요한 초석이 된 것이다.




천재의 역설, 그리고 과학적 발견의 본질
고드프리 하디는 평생 동안 순수수학의 숭고함과 응용수학의 열등함을 강조했던 그의 학문적 철학을 굳게 지켰다. 하지만 역설적으로 그가 '하찮게' 여겼던 생물학의 응용수학 공식인 하디-바인베르크 평형이 대중에게 그의 이름을 가장 널리 알린 유산이 되었다. 그의 위대한 순수수학적 업적들은 일반인에게는 다소 난해하게 느껴질 수 있지만 이 간단하면서도 강력한 법칙은 생물학과 진화론을 공부하는 모든 이에게 반드시 거쳐갈 통과의례로 자리잡았다.


그림6 출중한 부인과 의사인 빌헬름 바인베르크는 하디와 같은 해에 같은 법칙을 발표했지만 지역 저널에 게재하는 바람에 하마터면 잊혀질 뻔했다. 성과에 대한 압박을 받은 영국의 수학자와 지역 의사로서 만족스러운 삶을 살던 바인베르크의 입장차이가 갈라놓은 운명이었다. 다행히 바인베르크의 업적은 훗날 재발견되어 하디와 함께 생물학에 이름을 영원히 남길 수 있었다.


그리고 이 역설적인 이야기에는 또 다른 흥미로운 진실이 있다. 같은 시기, 독일의 한 의사 역시 비슷한 결론에 도달했다. 하디가 순수 수학적 통찰로 문제를 해결했다면, 독일의 산부인과 의사이자 유전학자였던 빌헬름 바인베르크는 의사로서 환자들의 가계도를 연구하며 유전 질환의 통계적 패턴을 파악하는 응용적이고 실용적인 접근을 통해 동일한 법칙을 발견했다. 하지만 바인베르크는 자신의 논문을 하디와 같은 해에 독일의 한 지역 의학 학술지에 발표했다. 이 저널은 대외적으로 잘 알려지지 않은 지역 저널이었기 때문에 그의 발견은 오랫동안 빛을 보지 못했다. 어쩌면 그 역시 이 너무나도 명백하고 단순한 통계적 진실의 거대한 의미를 미처 헤아리지 못했는지도 모른다. 그의 기여는 한참 뒤인 1943년에야 미국의 유전학자 커트 스턴(Curt Stern)에 의해 재발견되어 널리 알려지게 된다.
진화론과 유전학, 개체와 집단, 질과 양의 대립을 일거에 묶어준 수식이 사실은 ‘빨리 하나 써야지’ 하며 대충 적은 확률 공식이었다는 건 유감스러운 일이지만, 과학사에서는 흔한 일이기도 하다. 질문은 진지했고, 해답은 실수처럼 나왔다. 이는 과학적 발견이 얼마나 다양한 경로와 동기, 그리고 때로는 우연과 역설을 통해 이루어지는지를 보여주는 역사의 한 페이지다. 때로는 위대한 발견이 예상치 못한 곳에서, 그리고 전혀 다른 의도를 가진 사람들의 협력 속에서 탄생하기도 한다.