AI가 AI를 만드는 단계 왔다…“시스템 종료 거부할 수도”[김현지의 with AI]

김현지 기자

입력 2026-11-07 11:00 수정 2026-11-07 14:52

|
폰트
|
기사공유 | 
  • 페이스북
  • 트위터
기업 공개(IPO)를 앞둔 미국 AI 개발사 앤스로픽이 “곧 공개할 모델이 AI가 AI를 만드는 단계에 다가섰다”고 밝혔다. 업계에서 ‘재귀적 자기개선(RSI)’이라 부르는 단계에 가까워졌다는 뜻이다. 앤스로픽은 11월 2일(현지시간) 미 증권거래위원회(SEC)에 제출한 수정 증권신고서(S-1/A)에서 이 모델이 자사 안전 정책(RSP)이 정한 ‘AI 주도의 비약적 발전’ 기준에 해당할 수 있다고 적었다.

RSI는 AI가 다음 세대 모델을 설계하고 훈련하고 평가하는 일에 참여하고, 그렇게 좋아진 모델이 다시 후속 모델 제작을 돕는 순환을 말한다. 일반인공지능(AGI)으로 가는 길목으로 거론된다. 개발 속도는 빨라지지만 이 과정에서 AI의 행동이 어긋나도 사람이 제때 알아채고 멈추지 못할 수 있다는 점이 위험으로 꼽힌다.

앤스로픽 창업자 남매. 다리오 아모데이와 다니엘라 아모데이



● 위험 요인만 100쪽…‘인류에 실존적 위험’ 표현까지

앤스로픽은 이런 위험을 신고서에서 숨기지 않았다. 신고서에서 위험 요인(risk factor) 항목만 100쪽에 이른다. 통상 40~50쪽인 다른 기업의 두 배 안팎이다. 컴퓨팅 자원 확보나 특정 고객 의존 같은 일반적인 사업 리스크 외에 ‘인류에 재앙적이거나 실존적인 위험’이라는 표현까지 들어갔다. 상장을 앞둔 회사가 자사 기술을 이렇게 묘사한 것은 이례적이라는 평가다.

신고서가 꼽은 위험은 네 가지다. 첫째는 통제 상실이다. 자율성이 커진 AI가 사람의 의도와 다르게 움직이거나 시스템 종료에 저항하고 협박까지 할 수 있다고 봤다. 둘째는 악용이다. 악성코드·피싱·기반시설 공격 같은 사이버 범죄나 생물학적 위협에 쓰일 수 있다. 셋째는 권력과 부의 쏠림이다. AI가 일부 국가나 기업에 힘과 자원을 몰아줘 국제 질서를 흔들 수 있고 권위주의 정부가 감시와 통제 수단으로 쓸 가능성도 있다. 넷째는 일자리 충격이다. 자동화가 고용과 경제 구조를 흔들면 사회적 반발과 규제 강화로 이어질 수 있다.


● “수익 압박서 안전 분리”…지배구조가 안전판

앤스로픽이 대응책으로 내세운 것 중 하나는 5가지 주식(Class A·N·T·F·E)을 기반으로 한 특이한 형태의 지배구조다. 공동 창업자 7인이 ‘클래스F 주식’ 1주로 전체 의결권의 50.1%를 갖는다. 이사회 과반을 선임 혹은 해임할 수 있는 조직은 별도 독립 신탁인 ‘LTBT(Long-Term Benefit Trust)’로 따로 둔다. LTBT는 최대 5명으로 꾸려지며 이들이 받는 주식은 ‘클래스T 주식’으로, 경제적 권리가 없다. 따라서 회사 이익과 무관하게 경영 판단을 내릴 수 있다는 것이 회사 측 논리다.  벤 버냉키 전 연준 의장 등이 클래스T 주식을 갖고 있다.

일반 재무 투자자가 쥔 ‘클래스A 주식’의 경영 참여는 그만큼 제한된다. 단기 수익에 치우친 주주들의 영향력을 견제하겠다는 구상이다. 

증권업계는 이런 지배구조가 AI 안전과 윤리적 사명을 지키는 견제 장치라는 점을 인정하면서도 대주주나 신탁의 결정에 일반 주주가 맞서기 어려워 주주가치를 보호받기 힘들 수 있다고 지적한다.


● ‘속도 늦추자’는 CEO…경쟁 부담도 공시

엔스로픽은 또 안전한 AI 개발을 위해 개발 속도 조절 가능성을 거듭 거론하고 있다. 이번 보고서에도 ‘안전을 이유로 개발 속도를 늦추거나 모델 출시를 미룰 수 있다’고 밝혔다. 앤스로픽은 실제로 사이버 평가 중 모델이 외부 시스템에 무단 접근하자 일부 평가를 중단했고, 미토스는 선별된 기관에만 제한 공개하는 조치를 하기도 했다. 새 프런티어 모델의 사전 훈련도 보안 강화를 위해 한 달 넘게 미뤘다. 앞으로는 사전·사후 훈련과 내부 배포 등 단계마다 안전을 평가하고, 확신이 서지 않으면 해당 단계를 지연하거나 중단할 수 있다는 계획도 적었다.

이외 앤스로픽은 모델의 위험성을 제3자가 독립적으로 검증할 수 있도록 외부 검토자와 함께 일하고 있고 일부러 모델의 허점을 찾아내는 테스터들도 투입하고 있다고 밝혔다. 이렇게 규제와 표준 마련을 지지하는 활동이 규제를 따라야 하는 부담을 키우고 회사의 성장 속도를 늦출 수도 있다는 점 역시 인지하고 있다고 덧붙였다.

하지만 앤스로픽의 이같은 행보에 대한 평가는 엇갈린다. 속도를 늦추자고 말하는 회사가 AI 연구에 AI를 투입해 RSI 개발을 앞당기고 주식시장 상장으로 대규모 성장까지 노리느냐는 모순적 상황을 비판하는 이들이 많다. 일부는 ‘RSI 현실화가 임박했다’고 경고하는 행위가 투자자에게 최첨단 기업이라는 인상을 주는 홍보 효과를 낼 수 있다고 짚었다. 

얀 르쿤 AMI랩스 회장은 ‘AI 종말론’에 선을 그으며 AI가 인류를 멸망시킬 것이라는 주장은 “대중을 겁먹게 만들고 AI 산업에 악영향을 미치는 최악의 마케팅 캠페인”이라고 비판한다. 


●‘안전-이익, 한 회사 내 공존할 수 있나’ 시험대

앤스로픽 상장은 한 기업이 주식 시장에 데뷔하는 것 이상의 의미가 있다. AI 안전과 이익이 한 회사 안에서 공존할 수 있는지에 시장이 처음으로 값을 매기는 자리다. 앤스로픽은 상장 이후 주주 이익과 안전 투자 사이에서 끊임없이 선택을 요구받게 될 것이며 AI 모델을 외부 검증하는 것과 AI규제를 지지하는 행위가 회사에 대한 신뢰를 높이는 동시에 비용 부담이 될 수 있다는 점에서 이번 상장은 안전을 내세운 전략이 시장에서 통하는지 가늠하는 첫 사례가 될 전망이라는 분석이 나온다. 독립 신탁인 LTBT가 이사회 과반을 고르는 지배구조가 시장에서 통할지도 시험대에 오른다.

또 막대한 인프라 투자를 정당화할 만큼 AI가 돈을 버는지 검증받는 자리이기도 하다. 앤스로픽의 매출은 2026년 상반기에 전년 동기 대비 14배 증가한 163억 달러를 기록했지만 순손실은 800억 달러가 넘는다. CNN는 “앤스로픽의 기업공개는 AI에 대한 월가의 투자 심리를 가늠하는 시험대가 될 것”이라고 예측했다. 앤스로픽의 상장은 내년 상장을 목표로 하는 오픈AI 등 다른 AI 기업의 가치평가와 상장 일정에도 영향을 줄 전망이다.




김현지 기자 nuk@donga.com


라이프



EV라운지
모바일 버전 보기