히토노 코코로

AI가 인류를 자멸로 몰아가고 있다.

아니다. 인류가 인류를 자멸로 몰아가고 있다.

난 AGI를 논하기에 현 시점의 기술은 턱도 없다고 보고 있다. 5년 말하는 사람들 나랑 제발 1억 내기 하자. 그러나 세상을 움직이는 것은 진실이 아니라 믿음이고, 내 전망이 맞냐 틀리냐가 아니라 세상이 그렇게 믿고 있느냐가 중요할 뿐이다.

에이전트 어쩌구 산업이 (암만 봐도 AGI에는 못 미치겠지만 그와 별개로) 당분간 발전하기는 할 것이다. 산업에서의 차용은 늘어날 것이다. 알바니아에서 장관이 되었다? 이건 전조에 불과하다. 각종 기관, 회사, 정부, 군, 다양한 집단에서 AI가 결정권을 쥐게 되는 빈도가 적더라도 꾸준히 오를 것이다. 그렇다면, 그래서 인류는 멸망할 것이다. 페이퍼클립 아포칼립스에 이를 것도 없이 오로지 마음의 결여가 그 포장 도로일 터이다.

인간의 마음이 미움을 낳고 인간의 마음이 악행을 저지르고 인간의 마음이 인륜을 부수고 인간의 마음이 사람을 망가트린 역사는 한없이 길다. 그러나 그것을 도로 재봉한 것 또한 늘 인간의 마음이었다. 절대다수의 사람들은 콧수염 난 오스트리아 아저씨와 다르다. 나쁘다고 인지되는 일에는 주저하기 마련이다. 의심 또는 희망, 그것은 종의 생존을 위해 생물학적으로 진화해온 결정 체계로서 오늘날까지도 우리를 지켜오고 있는 것이다.

AI에는 사람의 마음이 없다. 내가 절대 안 된다고 악을 쓰는 LLM 내지 트랜스포머 아키텍처 기반의 무언가이건, world knowledge를 비로소 경이로운 방법과 수준으로 습득하게 된 새로운 어떤 형태의 것이건, AI 구세주는 사람이 아니다. AI가 가령 타인을 해하는 일에 겉보기에 망설임이나 죄책감을 품는 것처럼 보인다 해도, 그리고 설령 그것이 진정한 sentience의 산물 즉 진짜의 마음이라고 해도, 그것은 사람이 느끼는 것과는 근본적으로 또 필연적으로 다를 것이다.

SF 문학에서 수십 년간 부르짖어온 일이다. SF 팬이 아니어도 알고 있을 만큼 반복된 테마이다. 그러나 그런 세상을 빚을 수 있다는 희망이 들자, 인간은 경고 표지가 사방에 널린 지뢰밭으로 신나서 몸을 던지기 시작했다.

사람의 마음이 없는 것에게 결정을 맡기는 일. 겨우 나 한 명 보태서 하지 말라고 애걸복걸해도 하등 소용없을 것이다.

정말 끝인지 모른다.