진화생물학의 역사에서 가장 흥미로운 주제 중 하나는 이타성이다. 다윈 자신도 이 문제에서 고개를 갸웃했다. 만약 자연선택이 개체의 생존과 번식에 유리한 형질을 선호한다면 자기 자신을 희생해 타인을 돕는 행동은 어떻게 설명할 수 있을까? 전장에서 목숨을 걸고 무리를 지키는 개미부터 새끼를 위해 포식자를 유인하는 어미 새, 인간 사회의 헌신적인 봉사까지, 이 모든 것이 어떻게 ‘이기적’ 유전자의 세계에서 가능하단 말인가?
이 질문은 오랫동안 진화론의 난제로 남아 있었다. ‘협력이 종 전체에 유리하다’는 설명은 있었지만 생물의 복잡한 행동을 설명하기에는 지나치게 단순해 보였다. 직관적이기는 해도 구체적인 메커니즘이 드러나지 않는다는 문제도 있었다. 진화학자들은 이타성의 진화에 대해 점점 더 엄밀한 과학적 언어의 필요성을 느끼고는 이전의 정성적인 설명의 맹점을 극복할 정량적인 도구, 수학적 모델을 찾기 시작했다.
바로 이 지점에서 뜻밖의 인물이 등장한다. 과학계의 주류와는 거리가 있었던 수학자 조지 프라이스다. 프라이스는 진화생물학에 대한 전문적인 훈련도 없었고 관련 분야에서 커리어를 쌓은 적도 없었다. 그런데도 그는 이타성을 간결하게 설명하는 수학적 모델을 제시했으며, 이 발견은 진화학 전체를 새로운 단계로 이끌었다. 아이러니하게도 프라이스의 방정식이 이타성을 구원하기보다는 이기적 유전자의 승리를 더욱 날카롭게 드러내는 도구가 되기는 했지만 말이다.



프라이스의 삶은 이타성을 설명하는 ‘프라이스 방정식’과 떼어놓고 이야기할 수 없다. 얼핏 보면 프라이스가 ‘과학적 문제를 해결한 수많은 수학자’ 중 한 명으로 보이지만 프라이스에게 그의 방정식은 곧 그 자신이었다. 수학적 확실성에 매달린 나머지 스스로를 세상에서 고립시킨 사람, 누구보다도 순수하게 이상을 갈망했던 프라이스의 개인사는 그의 업적과 뗄 수 없는 거울상과도 같다.

조숙한 자기의식과 주변인의 그림자

프라이스의 기묘한 삶을 이해하려면 그의 어린시절로 돌아가야 한다. 1922년 미국 뉴욕에서 태어난 프라이스의 어린시절은 순탄치 않았다. 아버지는 일찍 가족을 떠났고, 어머니는 홀로 생계를 책임져야 했다. 물론 경제적으로 궁핍하고 정서적으로 불안정한 환경은 프라이스에게 문제가 되지 않을 수도 있었다. 문제는 그가 지적으로 꽤나 조숙했다는 점이었다.
아이들은 자신의 상황을 선명하게 인식할수록 조심스러워지곤 한다. 프라이스 역시 자신이 환영받기 어려운 환경을 지나치게 자각한 나머지 다른 아이들이 자연스럽게 터득하는 자기확신과 사교성과 발달시킬 기회를 놓쳤다. 그의 에너지는 밖으로 향하기보다 예측 불가능한 주변 환경을 조심스럽게 관찰하고 스스로 지탄받지 않도록 완벽을 강박적으로 추구하는 데 소진됐다. 어린 시절의 프라이스는 “이상하고, 기계적이며 약간 자폐적”이라는 평가를 받곤 했다.
또래보다 월등히 빠른 인지 능력은 오히려 그의 고립을 심화시켰다. 남들이 농담을 나눌 때 그는 논리를 따졌고, 친구들이 감정적으로 반응할 때 그는 오히려 침묵했다. 그는 일찍부터 자신이 “어디에도 속하지 않는다”는 것을 알고 있었고 자신이 어울리지 못하는 이유를 끊임없이 분석했다. 궁지에 몰릴수록 어린 프라이스는 자기 안의 규칙과 원칙을 만들며 버티려 했으며, 이런 내적 전략은 프라이스가 평생 추구할 ‘확실한 진리’와 ‘흠 없는 이론’에 대한 집착의 밑바탕이 됐다.
이러한 성향은 나중에 그가 집착하게 될 ‘이타성의 수학’으로 이어지는 심리적 밑그림을 제공한다. 프라이스에게 실수를 두려워하고 모호한 설명을 견디지 못하는 것은 그저 성격의 한 단면이 아니었다. 그가 어린 시절부터 구축한 삶의 생존 방식이었다. 논리와 체계는 혼란스러운 세상에서 그가 땅에 붙어있게 해주는 닻이었다. ‘다른 사람과 어울리지 않는 아이’가 아니라 ‘자신이 얼마나 어울리지 않는지 너무 일찍 알아버린 아이’였다고 할 수 있다.



지적 영역에서는 이 완벽주의가 긍정적으로 작동해서 프라이스는 대학 시절 탁월한 두각을 보였다. 그는 미시간 대학에서 화학을 공부한 뒤 박사 과정을 거쳐 X선 회절을 활용한 단백질 구조 분석에 참여하는 한편, 제2차 세계대전 후에는 벨 연구소에서 트랜지스터와 관련된 실험, 반도체, 광학 연구에 관여했다. 당대 과학기술의 최전선에 있었던 셈이다. 하지만 사회적 기술이 부족했던 그는 학문적 역량을 동료나 제도와 연결하지 못했고, 주도적인 역할을 맡기보다 실험 설계나 계산 업무에 머무르는 일이 많았다.
NIH(미국 국립보건원)에서 방사선의 생체 영향과 암 연구에 참여하면서부터 프라이스의 지적 여정은 생물학에 더 깊이 관여하기 시작했다. 이 시기 그는 생명현상의 복잡성과 모순에 강하게 이끌렸다. 그가 추구하는 완벽하고 확실한 해답을 물리적 법칙보다 복잡하고 모순적인 생명현상에서 찾을 수 있다고 예감했는지도 모른다.
생물학에서 얻은 강한 영감은 그가 안정적인 삶과 거리를 두게 만들었다. 이 무렵 프라이스가 IBM으로부터 스카우트 제안을 받았는데 이를 거절한 것이다. 안정된 직업보다 자신이 몰두할 수 있는 진리의 탐구가 더 중요하다고 생각했기 때문이다. 이를 계기로 프라이스는 NIH에서도 직을 내려놓고 런던으로 훌쩍 떠났다. 직업이 주지 못한 삶의 의미를 찾을 수 있을지도 모른다는 일생일대의 도박이자, 이후 그의 삶에서 반복될 일련의 ‘잘못된 선택’의 시발점이었다.
그러나 런던에서의 삶은 시작부터 녹록지 않았다. 준비도 없이 런던에 도착한 그가 얻을 수 있는 일자리는 별로 없었고, 늘 생계를 걱정해야 했다. 간신히 런던대학교에서 임시 방문연구원의 신분을 얻어 한 연구실에서 책상 일부를 빌려 쓸 뿐이었다. 애초에 대인관계에 조심스러운 프라이스는 말할 것도 없고 아무리 사교적인 사람이라도 수십 년간 누적된 영국 학계의 폐쇄성과 서열 중심 문화를 뚫기는 어려웠을 것이다. 런던에서 생활하는 동안 프라이스는 도서관과 공유 사무실을 오가며 혼자 수학적 계산과 메모 작업에만 몰두했다.
이러한 고립이 한편으로는 프라이스의 사고가 자유롭게 뻗어나갈 기회를 제공하기도 했다. 학계에서는 주변인, 제도 바깥에서는 이방인이었던 그에게 런던은 고독하지만 사유의 자유를 제공하는 장소였다. 그리고 그곳에서 프라이스는 자신의 운명이라 부를 만한 문제와 마주한다. 우연히 접한 영국의 진화생물학자인 윌리엄 해밀턴(William Donald Hamilton)과 존 메이너스 스미스(John Maynard Smith)의 논문에서 ‘이타성이라는 진화’라는 역설을 발견한 것이다. 프라이스는 이 문제에 수학적 정밀함을 도입함으로써 새로운 해석의 틀을 만들어낼 수 있다는 확신을 얻는다. ‘왜 자기 희생을 감수하는 개체가 살아남을 수 있는가?’라는 질문은 프라이스에게 그저 학문적인 쟁점이 아니었다. 평생을 주변인으로 머무른 그에게 이타성이란 그리도 갈구하던 삶의 진실이었다. 프라이스 방정식은 이렇게 탄생했다.

수학으로 증명한 자연의 이타성

진화생물학은 한동안 정성적인 다윈의 진화론과 계량적인 멘델의 유전학의 두 전통으로 갈라져 발전했다. 1950년대 유전자의 정체가 규명된 이래 멘델 유전학과 다윈의 진화론이 통합됐지만, 이는 새로운 의문을 남겼다. 개체의 행동과 유전자의 선택 사이에 벌어지는 일을 명확하게 설명하기 어려웠던 것이다. 이타성의 문제는 진화생물학의 난점을 웅변적으로 보여주는 과제였다.
이때 등장한 것이 해밀턴의 ‘포함적합도 이론’이었다. 그는 친족끼리의 협력이 유전자의 자기 복제에 유리하다는 점에 착안해서 이타적 행동의 조건을 수식으로 정리했다. 이타적 행동은 보통 행동 당사자에겐 비용을, 주변에게 이익을 준다. 이때 이타적 개체가 ‘누구와 주로 엮이는가’를 고려해서 이익에 가중치를 두면 비용이 이익보다 큰 상황, 즉 내가 당장 손해를 보더라도 주변은 이익을 봐서 자연선택에 유리해지는 상황을 상정할 수 있다. 해밀턴은 이를 간단한 수식으로 표현하여 어떤 조건에서 이타적인 행동이 유리한지 묘사했다. 다만 해밀턴의 설명은 특수한 상황에만 적용할 수 있어서 일반화하기 어렵다는 한계가 있었다.
프라이스는 해밀턴이 내놓은 이타성 해석을 한 단계 더 끌어올렸다. 그는 진화가 어떻게 일어나는지를 마치 회계 장부를 정리하듯 쪼개서 설명할 수 있다고 보았다. 어떤 형질, 이를테면 이타적인 성향 이 한 세대에서 다음 세대로 넘어갈 때 평균적으로 얼마나, 그리고 왜 변하는지를 두 가지 요인으로 나누어 본 것이다.



하나는 ‘선택’의 영향이다. 쉽게 말해, 어떤 성향을 가진 개체들이 평균보다 더 잘 살아남고 많이 번식하면 그 성향이 다음 세대에서 더 많아진다. 다른 하나는 ‘전달 과정’에서 생기는 변화다. 유전이나 환경의 영향으로 부모의 성향이 자식에게 정확히 그대로 전달되지 않을 수도 있는데, 이 역시 세대 간 차이에 영향을 준다.
이 방식은 겉보기엔 단순하지만 매우 강력했다. 예를 들어 이타적인 행동을 하는 개체들이 유독 같은 이타적인 개체들과 더 자주 어울린다면, 이들의 행동이 집단 전체로 확산될 가능성도 커진다. 프라이스는 바로 이 메커니즘을 수학적으로 증명해낸 것이다. 해밀턴이 제시한 식은, 사실 프라이스의 방정식이 특정한 상황에서 보여주는 한 사례일 뿐이었다. 프라이스는 그 식이 왜 성립하는지를 더 넓고 일반적인 틀 안에서 설명했다.
이 방정식의 강점은 어디에 적용해도 잘 작동한다는 점이다. 개별 생물, 유전자, 집단 어떤 단위를 기준으로 삼든 같은 방식으로 계산할 수 있다. 덕분에 “이타성은 어떻게 진화하는가?”라는 오래된 철학적 질문은 이제 실제로 분석 가능한 수학적 문제로 바뀌었다.
프라이스의 발견에도 불구하고 여전히 그는 주변부에 머물렀다. 이는 그의 개인적 성격에 더해 당시 과학의 흐름에 적응하지 못한 탓도 있었다. 당시 과학계는 전례 없는 속도로 계산 가능성과 수학적 명료성에 집착하고 있었다. 거대과학 중심의 효율성을 무엇보다 강조한 냉전기 과학의 언어는 정량화된 합리성이었다. 수학적 모델, 알고리즘, 전략 게임 이론은 단지 이론적 도구가 아니라 국가 정책과 안보 전략의 실질적인 수단이기도 했다.
바로 이 점이 프라이스를 더더욱 기이한 존재로 만들었다. 그는 누구보다 명확하고 정밀한 수학을 사용했지만 그 수학을 통해 접근하고자 한 문제는 다분히 정서적이고 윤리적인 것이었다. 동시대의 많은 연구자들이 계산을 통해 명료한 설명과 공학적 효율성을 추구했다면, 프라이스는 수학으로 윤리를 정당화하려 했다. 시대정신에서 비껴선 독특한 외부인이었던 셈이다.

생애를 바친 친철함의 대가

프라이스의 방정식은 과학계에서 곧바로 큰 반향을 일으켰다. 해밀턴은 이 식이 자신의 친족 선택 이론을 수학적으로 정당화할 수 있다고 보고 적극적으로 활용했고, 스미스는 이 방정식을 기반으로 ‘진화 게임이론’을 정립했다. 리처드 도킨스(Clinton Richard Dawkins)의 그 유명한 저서, 『이기적 유전자』 역시 프라이스 방정식이 제공한 언어 위에서 쓰인 책이었다.



그러나 프라이스 본인에게 방정식은 전혀 다른 의미였다. 그는 그것을 순수한 이타성이 존재한다는 의미로 받아들였다. 프라이스에게 이렇게나 수학적으로 명료하게 입증되는 이타성이란 실존할 수밖에 없고, 반드시 실존해야만 했다. 그가 살아온 세계가 수학적 확실성에 기반을 둔 만큼, 순수한 의미의 이타성이 존재하지 않는다면 삶의 정신적 기반이 무너지는 것이나 마찬가지였을 것이다.
여기서부터 그의 내적 갈등은 극적으로 심화된다. 수학적 엄밀함 속에서 위안을 얻으려 했던 그는 방정식이 자신의 이상과 정반대의 메시지를 세상에 전하는 것을 지켜봐야 했다. 자신이 만들어낸 언어가 자신을 배반한 꼴이다. 이 어려운 시기 일련의 사건을 통해 신의 개입을 확신하게 된 그는 세상을 그저 설명하기만 하는 과학에서 얻지 못한 정당성을 신앙에서 찾으려 했다.



이를 두고 프라이스가 과학과 논리를 저버렸다고 생각하면 큰 오해다. 프라이스에게 신앙은 논리 대신 믿음을 택하는 것이 아니었다. 오히려 자신의 수학적 발견을 궁극적으로 해석하고 실존적으로 입증하는 유일한 방법이었다. 그는 방정식을 통해 ‘인류가 이타성을 통해 구원받을 수 있다’는 비전을 실천을 통해 확인하려 했다. 집을 떠난 노숙 생활, 알코올 중독자와 노숙인과의 교류, 전 재산을 나누어주는 행동은 남들에게는 광신적인 망상처럼 보였을지 몰라도, 프라이스에게는 스스로를 재료로 삼아 자신의 방정식을 입증하는 실험이었다. 하지만 현실은 그의 이상을 거듭 배반했다. 타인의 삶은 그의 희생으로 쉽게 바뀌지 않았고, 주변 학자들의 관심은 여전히 ‘이기적 유전자’ 쪽으로 쏠려 있었다.
결국 그는 자신이 꿈꾼 완전한 이타성의 실현이 불가능하다는 사실과 마주했다. 끝까지 세상은 그의 희생을 이해하지 못했다. 사실 대부분의 사람은 이상과 현실의 괴리 사이에서 불완전하나마 가면을 하나쯤 두고 산다. 세상에 대한 경험이 쌓일수록 현실을 두고 그러려니 하며 적당히 타협하기 마련이다. 그러나 프라이스는 최소한의 자기보호적인 타협조차 용납하지 않았다. 그가 자신을 내어놓고 나눌수록 세상의 무심함과 현실적인 이기심은 점점 더 선명해졌다. 결국 노숙자로 전전하던 프라이스는 1975년, 스스로 삶을 마감했다.



프라이스의 삶은 굉장히 독특하면서도, 이상과 현실의 간극에서 치열하게 투쟁을 이어갔다는 점에서 보편적이기도 하다. 그래서 그의 삶을 단순한 과학사의 일화로 소비하는 것은 어쩐지 불편하다. 그는 ‘우연히 진화학에 기여한 별종 수학자’가 아니라, 자신이 살아가는 이유를 수학으로 증명하려 했던 사람이다. 그리고 그 절박함이야말로 이 방정식에 생기를 불어넣었다.
프라이스의 생애가 보여주는 것은 단순한 과학사의 비극이 아니라, 과학적 발견이 개인의 실존에 어떤 방식으로 돌이킬 수 없는 흔적을 남길 수 있는가 하는 점이다. 그는 방정식을 통해 이타성의 기원을 탐구했지만, 그 방정식은 끝내 그 자신에게 가장 무자비한 역설로 돌아왔다.
한편으로 그의 유산은 진화생물학에 매우 큰 족적을 남겼다. 프라이스 방정식은 이타성의 진화를 설명하는 데 그치지 않고 유전자 수준의 선택, 집단 간 경쟁, 문화 진화, 생물의 협동 행동 분석 등 다양한 분야에 적용된다. 사회생물학, 인류학, 경제학, 심지어 인공지능 연구에서도 이 방정식의 틀이 차용된다. 행동의 변화가 ‘선택의 결과인지, 전달 과정에서의 왜곡 때문인지’를 분리해 설명할 수 있다는 점에서 지금도 연구자들은 이 식을 통해 복잡한 진화 네트워크를 ‘분해해서 이해’하려 한다.
프라이스가 남긴 방정식은 하나의 수식이라기보다 하나의 생각하는 방식이다. 변화의 원인을 수학적으로 설명하고 이를 단단한 실체로 믿었던 그의 사고는 생명의 문제뿐 아니라 다양한 복잡계 연구의 기반이 되었다. 프라이스가 자신의 삶을 포기했지만, 그의 방정식은 세상을 포기하지 않았다. 프라이스가 남긴 방정식이 그가 그토록 붙잡고 싶어했던 상생과 협동이 세상의 본질 중 하나라는 사실을 입증하고 있는 셈이다.