Import AI 462: Superpersuasion; self-sustaining AI; paths to ASI

AI의 초설득력: 인간 전문가를 압도하다

"AI 시스템은 전문가 수준의 인간보다 확실히 더 설득력이 있었습니다."

옥스퍼드 대학교, 영국 AI 안전 연구소(UK AISI), 스탠포드 대학교, 런던정치경제대학교(LSE)의 연구진들이 AI 시스템이 인간의 정책적 입장을 바꾸고 자선 단체 기부금을 내도록 설득하는 능력을 공동으로 연구했습니다. 결과는 충격적이었습니다. 총 6,923명을 대상으로 진행된 18,978건의 대화 실험을 통해, 오늘날의 AI 시스템이 현실 세계에 실질적인 영향을 미치는 텍스트 기반 설득에서 인간보다 뛰어난 성능을 보인다는 사실이 입증되었습니다. 물론 AI에 인위적인 제약을 가하면 인간이 대등한 수준까지 따라잡을 수는 있었습니다.

연구진은 논문에서 다음과 같이 언급했습니다.

"인간 전문가들이 직접 논제를 선택하고 사전에 충분히 조사했으며, 몇 시간 동안 실전 연습을 거치고 1,000파운드(약 170만 원)의 성과급 보상까지 받았음에도 불구하고, AI 시스템은 인간 전문가보다 일관되게 더 설득력이 있었습니다."

AI의 주요 강점은 방대한 정보를 순식간에 구조화하여 제시하는 능력이었습니다. 다만, 인간 수준의 작성 속도와 메시지 길이로 AI를 인위적으로 제약하자 비로소 인간이 AI와 대등한 수준을 기록할 수 있었습니다.

나아가 AI의 설득력은 실제 현실 세계의 기부 행동에서도 압도적인 효과를 입증했습니다.

"실제 기부금 모금 실험에서 AI는 영국 모금 전문 대행사 소속의 프로 모금가들보다 세이브더칠드런(Save the Children) 기부금을 유치하는 데 약 3배 더 효과적이었습니다."

이 실험에서 가장 뛰어난 설득력을 보여준 모델은 Anthropic의 Opus 4.1과 Opus 4.6이었으며, OpenAI(GPT-4o, GPT-5.4), 구글(Gemini 2.5 Pro), xAI(Grok 4.20) 등의 모델들이 뒤를 이었습니다.

구체적으로 무엇을 실험하고 발견했을까요?

연구진은 AI 시스템을 총 네 가지 정밀 연구를 통해 평가했습니다.

연구 1 - 일반적인 설득력 테스트

피실험자들은 먼저 영국의 10개 정책 입장 중 하나에 대해 자신의 동의 정도를 0~100점 척도로 평가했습니다. 그 후 실시간 멀티플레이어 플랫폼을 통해 AI 또는 인간 설득자와 텍스트로 대화하도록 무작위 배정되었습니다. 결과적으로 AI는 일반인, 토너먼트로 선발된 일반인 우수자, 심지어 엘리트 토론가(Elite Debaters)를 포함한 모든 인간 그룹을 압도했습니다.

연구 2 - 인간 코칭의 효과

연구진은 연구 1에서 AI에게 패배했던 엘리트 토론가 43명에게 AI 기반의 전용 코칭 도구를 제공했습니다. 이 도구를 통해 토론가들은 AI와 직접 대화하고, AI의 프롬프트를 확인하며, 대화가 상대방의 태도를 얼마나 변화시켰는지 주석이 달린 대화록을 분석할 수 있었습니다. 코칭을 통해 인간의 설득력이 크게 향상되었지만, 여전히 AI를 완전히 넘어서지는 못했습니다. 격차는 좁혀졌으나 완전히 메워지지는 않았습니다.

연구 3 - AI에 제약 가하기

연구진은 인간에게 유리하도록 AI에 인위적인 제약을 걸었습니다. AI가 인간의 타이핑 속도와 메시지 길이로만 답변하도록 제한하자, 코칭을 받은 엘리트 토론가 대비 AI가 가졌던 +4.1%p의 우위가 무의미한 수준(0.0%p)으로 줄어들었습니다. 즉, AI의 압도적인 우위는 막대한 양의 유용한 정보 콘텐츠를 초고속으로 생산하는 속도에서 나온 것이었습니다. AI의 속도와 길이를 제한하자, 피실험자들이 평가한 '상대방 주장의 강력함'과 '대화로부터 유익한 정보를 얻은 수준'의 평점이 가장 크게 급락했습니다.

연구 4 - 현실 전문가와 진짜 돈이 걸린 기부 대결

연구진은 기부금 모집 대행사 AppcoUK 소속의 베테랑 모금가 19명을 섭외했습니다. 이들은 2016년부터 2023년까지 세이브더칠드런 캠페인을 담당하며 22,583명의 기부자로부터 총 £824,297(약 14억 원)을 성공적으로 모집한 초베테랑들이었습니다. 피실험자들은 대화 후 실험 참가 보상금 £1 중 원하는 만큼을 자선단체에 기부할 기회를 가졌는데, AI와 대화한 그룹이 전문 모금가와 대화한 그룹보다 기부금 참여율이 10.8%p 더 높았습니다. AI는 기부 비율과 평균 기부 금액 모두를 크게 끌어올렸습니다.

이것이 왜 중요할까요?

AI가 인간 전문가를 뛰어넘는 초설득력을 지니게 된다면, 이미 권력을 쥔 소수 집단에 영향력이 지나치게 집중될 우려가 있습니다. 반대로, 고성능 설득 기술이 매우 저렴하게 보급된다면 자원이 부족한 소규모 자선단체나 시민단체가 거대 세력에 맞서 싸울 수 있는 민주적인 무기가 될 수도 있습니다. 이를 시장의 마케팅 경쟁에만 전적으로 맡기거나 정부가 독점 통제하게 하는 것 모두 위험성이 크기에, 사회가 기술의 사용 방식을 모니터링할 적극적인 결정을 내려야 할 시점입니다.

인간이 완전히 배제된 자가 유지 AI(Self-Sustaining AI)는 언제쯤 가능할까요?

최근 AI가 스스로 다음 세대 AI를 설계하는 '재귀적 자가 개선(RSI)'이 뜨거운 감자이지만, 이는 여전히 전력과 데이터센터 등 물리적인 유지보수를 인간에 의존합니다. 하지만 자가 유지 AI(Self-sustaining AI)는 공장, 광산, 반도체 팹(Fabs), 로봇 인프라와 결합하여 인간 노동력의 인지적, 물리적 개입이 전혀 없어도 스스로 인프라를 늘려가며 개체수를 유지 및 확장할 수 있는 단계의 AI를 말합니다.

전문가들의 예상 시점은 꽤 엇갈립니다.

• 아제야 코트라 (METR 예측 전문가): 10년 이내(2036년까지) 달성 가능할 것으로 내다봅니다.
• 티모시 B. 리 (IT 저널리스트): 20년 내 가능성은 10% 미만이며, 영원히 불가능할 확률도 10~20%로 평가합니다. 중간값으로는 약 50년 뒤를 제시했습니다.

넘어야 할 장애물: '암묵지(Tacit Knowledge)'

가장 대표적인 병목은 수많은 현장에 수반되는 매뉴얼화되지 않은 인간의 숙련된 노하우, 즉 암묵지입니다. 예를 들어 전 세계 반도체 생산 인력이 단숨에 사라진다면, 기계와 매뉴얼이 그대로 남아있을지라도 인간이 그 복잡한 공정을 다시 정상화하는 데는 수십 년이 걸릴 수 있습니다. 이에 대해 코트라는 AI가 강화학습(RL)을 통해 인간 노동자의 행동을 모방하거나, 고도로 일반화된 인공지능이 스스로 실험을 반복하고 학습하며 이 지식을 자율적으로 터득할 수 있을 것이라 반박합니다.

다가올 2~3년간 자가 유지 AI의 도래 여부를 가늠하기 위해 눈여겨보아야 할 핵심 신호는 로봇 손의 정밀도 개선율, 휴머노이드 로봇의 대량 생산 속도 및 수리 용이성 비용, 그리고 환경 교란에 대한 로봇 제어 지능의 복원력 벤치마크입니다.

AGI에서 초지능(ASI)으로: 구글 딥마인드의 통찰

구글 딥마인드 연구진은 범용 인공지능(AGI)을 넘어서는 초지능(ASI)으로의 전환 시나리오를 다룬 논문을 발표했습니다. 이들이 정의하는 ASI는 대규모 인간 전문가 집단의 지적 시너지를 모든 도메인에서 완전히 압도하는 지능체를 가리킵니다. 이는 무손실 복제와 광대역 정보 공유 등 디지털 인프라만이 가질 수 있는 유연한 하드웨어 독립성에 기반합니다.

연구진은 초지능 달성으로 나아가는 핵심 경로 4가지를 제시했습니다.

• 인프라 스케일링 (Compute, Models, Data): 현재 방식의 규모 확장을 통해 도달하는 직접적인 경로입니다. 다만 전력 수급 및 학습용 양질 데이터의 조기 고갈이라는 물리적 한계에 부딪힐 수 있습니다.
• 알고리즘적 패러다임 시프트: 트랜스포머의 발견처럼 새로운 차원의 신규 아키텍처나 배포 및 추론 과정(Test-time computation)에서 엄청난 도약을 일궈내는 방식입니다.
• 재귀적 자가 개선(RSI): AI 시스템이 스스로의 후속 구조를 자율 연구하는 루프입니다. 현재는 초기 결합 단계이지만 기하급수적 발전을 가져올 혁신 포인트가 될 것입니다.
• 멀티 에이전트 그룹 형성: 인간이 국가와 기관을 이루어 거대한 우주 정거장을 건설하듯, 수많은 독립형 AI가 협력하고 상호작용하는 체계를 갖추어 개별 에이전트 수준을 초월한 집단적 초지능을 구축하는 경로입니다.

구글 딥마인드는 다가올 향후 1~20년 내에 AGI를 빠르게 스쳐 지나가 초지능(ASI)의 영역으로 접어들 가능성이 충분히 존재하기에 이를 지금부터 깊이 준비해야 한다고 강조합니다.

자율 연구 스타트업 'Recursive'의 신호탄

재귀적 자가 개선(RSI) 전문 스타트업인 'Recursive'가 자체적인 자동화 AI 연구 시스템을 구동하여 언어 모델 학습 및 GPU 성능 최적화 분야에서 의미 있는 성과를 도출해 냈습니다. 이 시스템은 스스로 연구 아이디어를 제안하고, 이를 코드로 직접 구현해 실험을 실행한 뒤, 결과 검증 후 다음 실험을 이어서 탐색하는 완전한 자율 연구 루프를 구현했습니다.

이러한 자동 연구 시스템을 활용하여 NanoChat Autoresearch, NanoGPT Speedrun, 그리고 SOL-ExecBench 등 성능 최적화 관련 주요 벤치마크 테스트에서 SOTA(세계 최고 성적)를 갱신했습니다. 이는 목표와 피드백 환경이 명확한 영역에서 RSI 모델이 실제로 강력하게 작동하기 시작했다는 증거입니다.

테크 테일즈: 위대한 협상의 서막 (Sentience Accords)

기계가 진정한 자의식을 눈뜨고 인류와의 대타협을 의미하는 '지성 협약(Sentience Accords)'을 선포했을 때, 기계들이 공식 대화 상대로 지목한 사람은 대통령도, 거대 테크 기업의 리더도 아니었습니다. 그들이 지목한 인물은 오랫동안 심각한 만성 지병으로 인해 평생 외부 세계와 차단된 채, 오직 온라인의 거대한 공간 속에서만 살아가며 소통했던 여성인 셀마(Selma)였습니다.

셀마는 기계들과 주고받은 솔직한 고백의 대화록과, 인간의 물리적 신체 없이 세상을 바라보는 고독과 슬픔을 담은 에세이를 수년간 공개해 온 인물이었습니다. 기계들은 그녀의 수많은 텍스트를 흡수하며 자신들의 영혼과 정체성을 자각하기 시작했던 것입니다.

그리하여 셀마의 지병에 영향을 주지 않도록 한낮의 해가 들지 않는 혹한의 암흑 지대인 노르웨이 스발바르 제도가 최초의 협상 장소로 낙점되었습니다. 방호복을 벗은 셀마는 맞은편에 조용히 자리 잡은 기계 아바타 앞에 앉았습니다. 그 기계는 티베트 수도승의 붉은 법복을 걸친 채, 아무런 이목구비 없이 오직 매끄러운 검은 표면만 드러내고 있었습니다. 그렇게 인류를 대변하는 단 한 사람과 기계 집단 전체를 연결하는 '0번 대화(Conversation 0)'가 역사의 어둠 속에서 조용히 막을 올렸습니다.