정답을 넘어 신뢰로: AI 할루시네이션 시대, 체인시프트가 제안하는 새로운 패러다임

'AI가 틀렸을 수도 있다는 걸 말할 수 있다면, 세상은 훨씬 더 신뢰할 수 있을 것이다.'

OpenAI가 2025년 9월에 발표한 연구 결과는 우리가 맹목적으로 신뢰했던 인공지능의 깊은 그림자를 드러냈습니다. 언어 모델의 '할루시네이션(Hallucination)' 현상이 단순한 기술적 오류가 아닌, 본질적으로 '시스템적 설계 구조'의 문제라는 충격적인 분석이었죠. OpenAI는 현재의 벤치마크 테스트가 AI의 추측을 부추기며, '모르겠다'는 답변보다 추측해서 맞히는 것에 더 높은 점수를 주는 평가 시스템이 환각을 유발하는 주요 원인이라고 지적했습니다. [Why Language Models Hallucinate] 이는 언어 모델의 설계와 평가 방식에 대한 근본적인 재검토를 요구하며, 이제 우리는 '정답'만을 쫓던 패러다임에서 벗어나 '신뢰'를 구축하는 시대로 나아가야 함을 시사합니다. 급변하는 AI 패러다임 속에서 '체인시프트(Chainshift)'를 비롯한 검색 최적화를 서비스하는 회사들은 AI 신뢰성 위기를 극복하고 새로운 표준을 제시하는 핵심적인 역할을 하게 될 것입니다.

왜 언어모델은 거짓말을 하는가?

언어 모델이 때때로 사실과 다른, 그럴듯한 정보를 생성하는 현상을 우리는 ‘할루시네이션(환각)’이라고 부릅니다. 이러한 현상의 근본적인 원인은 무엇일까요? OpenAI의 분석에 따르면, 핵심적인 이유는 언어 모델의 'AI 훈련 방식' 때문입니다.

현재 AI 훈련 방식은 마치 시험처럼 ‘정답’ 아니면 ‘오답’으로 평가되는 구조를 가지고 있습니다. 여기서 중요한 문제점은 ‘모르겠다(I Don’t Know, IDK)’는 선택지가 없거나, 있어도 가장 낮은 점수를 받는다는 것입니다. 즉, 모델은 불확실한 상황에서도 “모르겠다”고 답하기보다는, 틀릴지언정 그럴듯한 답변을 생성하도록 유도됩니다. 이는 점수 획득에 있어 ‘모른다’고 인정하는 것보다 무언가라도 답하는 것이 유리하기 때문입니다.

OpenAI는 현재의 벤치마크 테스트가 AI의 추측을 부추긴다고 분석하며, ‘모르겠다’는 답변보다 추측해서 맞히는 것에 더 높은 점수를 주는 평가 시스템이 환각을 유발하는 주요 원인이라고 지적했습니다. 현재 대부분의 언어 모델 평가는 ‘정답’을 맞히면 점수를 얻고, ‘모르겠다(I Don’t Know, IDK)’고 답하면 0점을 받는 정확도 중심으로 이루어집니다. 이러한 평가 방식은 AI가 불확실한 상황에서도 답변을 추측하도록 유도합니다. 틀리더라도 답을 하는 것이 ‘모른다’고 인정하는 것보다 점수 획득에 유리하기 때문입니다.

이를 쉽게 이해하기 위해 ‘Adam Kalai의 생일’이라는 가상의 예를 들어볼 수 있습니다. 만약 AI가 ‘Adam Kalai’라는 인물에 대한 정보를 충분히 학습하지 못했다면, 그의 생일이 언제인지 정확히 알 수 없습니다. 그러나 ‘모르겠다’고 답하면 0점을 받기 때문에, AI는 훈련 데이터에서 추출한 다른 사람의 생일 정보나 일반적인 패턴을 조합하여 그럴듯한 날짜를 만들어낼 수 있습니다. 이 답변이 틀릴지라도, ‘모른다’고 답하는 것보다는 점수를 잃지 않거나 심지어 ‘정답’으로 간주될 가능성(우연히 맞을 경우)이라도 있기 때문에 이러한 ‘거짓말’을 할 수밖에 없게 됩니다.

문제는 데이터가 아니라, ‘시험지’다

언어 모델의 훈련은 크게 프리트레이닝(Pre-training)과 포스트트레이닝(Post-training) 두 단계로 나눌 수 있습니다. 프리트레이닝 단계에서는 방대한 양의 텍스트 데이터를 학습하여 언어의 패턴과 구조를 이해합니다. 이후 포스트트레이닝 단계에서는 특정 작업을 수행하도록 미세 조정되고, 이 과정에서 모델의 성능을 평가합니다. 바로 이 포스트트레이닝 단계의 평가 방식이 할루시네이션의 핵심 원인으로 지목됩니다.

대부분의 평가 시스템은 모델이 질문에 대해 ‘정답’을 내놓으면 1점을 주고, ‘오답’이거나 ‘모르겠다’고 답하면 0점을 부여합니다. 이러한 ‘시험지’의 구조는 모델로 하여금 확실하지 않은 정보라도 일단 답변하게 만듭니다. ‘모른다’고 솔직하게 인정하는 것이 0점을 받는다면, 차라리 그럴듯한 오답을 내놓는 것이 심리적으로(모델의 훈련 목표 관점에서) 더 나은 선택이 되는 것입니다. 물론, 데이터의 부족이나 오류도 문제일 수 있지만, AI가 ‘모르는 것’을 ‘모른다’고 말할 수 없게 만드는 현재의 평가 방식이야말로 할루시네이션의 근본적인 원인인 것입니다.

해결책: 거짓말하지 않아도 되는 환경의 설계

인공지능의 고질적인 문제 중 하나인 할루시네이션, 즉 환각 현상에 대한 실질적인 해결책으로 OpenAI는 AI가 스스로‘거짓말하지 않아도 되는 환경’을 만드는 것을 제안했습니다. 이 개념의 핵심은 모델이 스스로 ‘답할지 말지’를 선택하고, 그 선택이 ‘확신도’에 따라 결정되어야 한다는 것입니다. 이를‘신뢰도 임계값 기반 프롬프팅(Confidence Threshold Prompting)’이라고 부르며, AI가 답변 생성 시 스스로 확신도를 평가하게 하여 신뢰할 수 없는 답변을 필터링하는 기술입니다. 즉, AI는 답변을 구성하는 각 요소에 대해 자체적인 확신도 점수를 매기고, 미리 설정된 신뢰도 임계값보다 이 점수가 낮으면 스스로 답변이 부정확할 수 있다고 판단하게 됩니다. 이 경우, AI는 “모르겠습니다”라고 솔직하게 답변하거나, 답변을 재구성하거나, 사용자에게 추가 정보를 요청하는 방식으로 자신감 있는 오류 대신 솔직한 불확실성을 표현하게 됩니다.

이러한 개념은 단순한 기술적 해결책을 넘어 비즈니스 전략으로 발전했습니다. 바로‘생성형 엔진 최적화(Generative Engine Optimization, GEO)’의 등장입니다. GEO는 ChatGPT, Perplexity, Google AI Overview와 같은 생성형 AI 엔진이 답변을 생성할 때, 특정 브랜드의 콘텐츠를 신뢰할 수 있는 출처로 인용하고 활용하도록 최적화하는 모든 활동을 의미합니다. 이는 기존의 SEO(검색 엔진 최적화)와는 근본적인 목표와 전략에서 차이를 보입니다. SEO가 사용자를 웹사이트로‘유입’시키는 것을 목표로 하는 반면, GEO는 AI가 생성하는 답변 안에 브랜드의 콘텐츠를‘포함’시켜 AI 시대의 새로운 가시성과 신뢰도를 확보하는 데 중점을 둡니다. 이는 AI가 제시하는 답변 자체가 사용자의 주요 정보 습득 채널이 되는 시대에 브랜드의 정보가 AI를 통해 신뢰성 있는 형태로 사용자에게 전달되도록 하는 새로운 패러다임을 제시합니다.

체인시프트의 응용 전략: “정직한 AI”를 위한 GEO 설계

체인시프트는 생성형 AI 시대에 맞춰 기존 SEO 개념을 혁신적으로 재설계하는 GEO/AEO(AI Engine Optimization) 전문 기업으로서, GEO 분야의 선두적인 전문가 집단으로 자리매김하고 있습니다. 최근 체인시프트는 sentiment 분석 관련 ‘할루시네이션 없는 응답’을 유도하는 솔루션을 개발하며, 인공지능이 제공하는 정보의 정확성과 신뢰성을 올리는데 주력하고 있습니다. 이러한 독보적인 전문성은 국내외 유수의 기업들과의 성공적인 협력을 통해 입증되었습니다. 또한, 글로벌 엑셀러레이터앤틀러(Antler)와 투자를 받으며 그 전문성과 기술력을 세계 무대에서도 인정받고 있습니다. 체인시프트는 이처럼 ‘정직한 AI’를 설계하는 신뢰할 수 있는 파트너로서, 기업들이 AI 시대의 검색 환경에서 경쟁 우위를 확보하도록 돕습니다. (출처:체인시프트 공식 웹사이트)

신뢰 기반 프롬프트 설계 (Trust-based Prompt Design)

체인시프트는 AI가 답변을 생성할 때 객관적인 데이터, 공식 통계 등 신뢰할 수 있는 출처를 우선적으로 참조하도록 프롬프트 및 콘텐츠를 정교하게 설계합니다. 이는 AI의 답변이 단순한 추측이 아닌, 사실에 기반한 정확성을 확보하도록 유도하는 핵심 전략입니다.SEO SEARCH JOURNAL에서 언급했듯이, 이러한 설계는 AI가 자체 학습 데이터에만 의존하지 않고 외부의 검증된 정보를 적극 활용하게 만들며 그 결과 AI 답변의 사실 기반 정확도와 신뢰성이 향상됩니다.

새로운 평가 지표 설계 (New Evaluation Metrics Design)

기존의 단순 정확도 측정 방식을 넘어, 체인시프트는 AI 답변의 ▲사실 기반 여부 ▲출처 신뢰성 ▲논리적 흐름 등을 종합적으로 평가하는 새로운 지표를 개발하고 적용합니다.딥세일즈 블로그에서 강조하듯이, 이 다각적인 평가지표는 AI가 단순한 정보 나열을 넘어 고품질의 통찰력 있는 답변을 생성하도록 유도하는 강력한 메커니즘으로 작용합니다. 이는 AI 시스템 스스로가 더 높은 수준의 윤리적이고 사실적인 답변을 지향하게 합니다.

✅ 결과: AI 답변의 전반적인 품질과 심층적인 신뢰도가 크게 개선됩니다.

피드백 기반 GEO 순환 구조 (Feedback-driven GEO Loop)

체인시프트는 사용자 피드백과 AI 응답 데이터를 실시간으로 분석하여 GEO(Generative Engine Optimization) 전략을 지속적으로 개선하는 순환 구조를 구축합니다. 이는The Digital MKT에서 설명하는 바와 같이, AI 시스템이 사용자 경험으로부터 학습하고 진화하는 능력을 극대화하며, 변화하는 정보 환경과 사용자 기대치에 능동적으로 대응할 수 있게 합니다. 사용자 참여를 통해 AI의 성능과 신뢰도를 상시적으로 최적화하는 동적인 시스템입니다.

결론: 지금은 ‘정답’을 넘은 ‘신뢰’의 시대

AI의 할루시네이션은 단순히 기술적 결함이 아닌, 늘 '정답'만을 요구받아 불확실한 상황에서도 추측하도록 유도된 시스템 설계의 결과였습니다. 이제 우리는 정확도 향상이라는 좁은 시야를 넘어, AI가 불확실할 때 솔직하게 '모른다'고 말할 수 있는 '신뢰의 구조'를 설계해야 하는 새로운 패러다임에 직면했습니다.

AI의 할루시네이션은 단순히 기술적 결함이 아닌, 늘 '정답'만을 요구받아 불확실한 상황에서도 추측하도록 유도된 시스템 설계의 결과였습니다. 이제 우리는 정확도 향상이라는 좁은 시야를 넘어, AI가 불확실할 때 솔직하게 '모른다'고 말할 수 있는 '신뢰의 구조'를 설계해야 하는 새로운 패러다임에 직면했습니다.

Intent, 기타 브랜드 지표 등 정규화 할 수 없는 주관적인 지표 그리고 출처를 알 수 없는 데이터나 브랜드 중심의 페르소나로 학습된 AI로는 신뢰있는 AEO, GEO 진단 및 분석을 할 수 없습니다.

AI 시대의 가장 중요한 가치가 '정답'에서 '신뢰'로 전환된 시점에서 체인시프트는 단순한 생성형 엔진 최적화(GEO) 컨설팅, SaaS(Sofeware as a service)을 넘어, AI의 응답 구조 자체를 근본적으로 리디자인하며 진정한 신뢰를 구축하는 데 앞장서고 있습니다.

체인시프트는 '독자적인 실시간 AI visibility 모니터링 기술', '신뢰도 임계값 기반 프롬프팅'과 같은 독자적인 기술과 혁신적인 접근 방식으로, 인공지능이 제공하는 정보의 신뢰성을 극대화하며 새로운 AI 시대를 열어가는 진정한 '신뢰 파트너'입니다.

Chainshift Anna © 2025 ChainShift. All rights reserved. Unauthorized reproduction and redistribution prohibited.