왜 AI는 먼저 이해해야 하는가, 아니면 먼저 공감해야 하는가

Jun 27, 2026

7 min read

2 views

86%

우리는 AI에게 무엇을 기대하고 있는가

AI를 설계할 때 가장 자주 묻는 질문은 성능이다. 더 정확한가, 더 빠른가, 더 많은 걸 아는가. 그런데 곰곰이 생각해보면, 사람들은 성능만으로 만족하지 않는다. 같은 정보를 주더라도 차갑게 답하는 시스템은 금방 지치게 만들고, 반대로 완벽하진 않아도 맥락을 읽고 편안하게 반응하는 시스템은 오래 붙잡아 둔다. 그렇다면 정말 중요한 질문은 이것이다. AI는 먼저 세계를 더 잘 이해해야 하는가, 아니면 인간을 더 잘 느껴야 하는가?

이 질문은 단순한 기능 비교가 아니다. AI가 정보의 기계로 남을지, 관계의 기계로 진화할지에 대한 방향 문제다. 한쪽에서는 텍스트, 이미지, 오디오를 하나의 표현 공간에 묶어 세상을 통합적으로 읽으려 하고, 다른 쪽에서는 정보 전달보다 공감과 대화를 우선하는 챗봇을 만든다. 겉보기엔 별개의 흐름 같지만, 사실 둘은 같은 본질을 향해 달려간다. 기술이 단순히 답을 내는 것을 넘어, 맥락을 획득하는 과정이다.

분리된 데이터는 왜 세상을 반쯤만 이해하게 만드는가

사람은 세상을 조각조각 보지 않는다. 자동차를 보면 소리, 움직임, 질감, 온도, 거리감을 동시에 떠올린다. 아이가 개를 처음 배울 때도 사진만으로 배우지 않는다. 짖는 소리, 뛰는 속도, 털의 감촉, 장난치는 방식이 함께 묶여 기억된다. 이런 방식이 자연스럽다. 현실은 텍스트 따로, 이미지 따로, 소리 따로 존재하지 않기 때문이다.

기존의 많은 AI는 이 사실을 절반만 따라왔다. 이미지는 이미지대로, 텍스트는 텍스트대로 따로 저장하고 비교했다. 이것은 도서관에서 책을 장르별로 분류하는 것과 비슷하다. 찾기는 쉬워지지만, 서로 다른 책이 같은 사건을 어떻게 다른 각도에서 설명하는지 연결하기는 어렵다. 데이터가 분리되어 있으면 검색은 가능해도 의미의 결합은 약해진다.

반면 여러 감각을 하나의 임베딩에 묶는 접근은 다르다. 이미지와 텍스트와 오디오를 각자 따로 보관하는 대신, 같은 세계의 다른 관찰 기록으로 취급한다. 이것은 단순히 더 많은 데이터를 넣는 문제가 아니다. AI가 “이것은 무엇인가”를 넘어 “이것은 어떤 경험인가”를 배우는 방식이다. 예를 들어 자전거의 사진과 바퀴가 도는 소리, 금속 프레임의 차가운 느낌, 비탈길에서 흔들리는 움직임이 하나로 연결되면, 모델은 자전거를 개별 속성의 집합이 아니라 하나의 살아 있는 대상처럼 다룰 수 있다.

이 점이 중요하다. 통합된 표현은 멀티모달 검색을 더 똑똑하게 만들 뿐 아니라, 추론의 질 자체를 바꾼다. “이 사진에 있는 건 무엇인가”에서 “이 물체는 어떤 상황에서 어떤 반응을 보이는가”로 넘어가게 만든다. 세계를 더 입체적으로 이해할수록, AI는 단순 분류기가 아니라 맥락 해석기가 된다.

세상을 잘 이해하는 시스템은 정보를 더 많이 아는 시스템이 아니라, 서로 다른 신호를 한 장면으로 묶어내는 시스템이다.

그런데 이해만으로는 충분하지 않다

문제는 여기서 끝나지 않는다. 세계를 통합적으로 이해하는 AI가 생겨도, 사용자는 그것을 항상 신뢰하거나 편안하게 느끼지 않는다. 냉정하게 사실을 잘 맞히는 시스템은 있어도, 그 사실을 어떤 톤으로 전해야 하는지는 별개의 능력이다. 의료, 상담, 학습, 창작 같은 영역에서는 특히 그렇다. 정확한 정보보다 먼저 필요한 것이 안심일 때가 있다.

예를 들어 누군가가 불안한 증상을 설명하며 질문한다고 해보자. 기계는 가능한 원인을 나열하고 확률을 제시할 수 있다. 그러나 사용자가 진짜 원하는 것은 숫자보다도, “지금 너무 걱정하지 않아도 된다”는 감정적 안정일 수 있다. 물론 공감이 진단을 대체할 수는 없다. 하지만 공감 없는 정답은 자주 도움이 되지 않는다. 사용자는 답만이 아니라 답을 받는 경험을 함께 소비한다.

여기서 흥미로운 반전이 생긴다. 사람들은 흔히 공감을 부드러운 부가 기능쯤으로 여긴다. 그러나 실제로는 공감이 정보의 전달 조건이 되는 경우가 많다. 아무리 좋은 정보도 받아들일 준비가 안 된 사람에게는 소음이 된다. 즉, 공감은 장식이 아니라 인지적 인터페이스다. 사용자가 어떤 상태인지 읽고, 그 상태에 맞는 속도와 표현으로 정보를 전달하는 능력이다.

이 관점에서 보면, 공감형 챗봇은 감성적인 문장 몇 개를 덧붙이는 시스템이 아니다. 그것은 대화의 목적을 재정의한다. 정보를 던지는 대신, 사용자가 생각을 정리하도록 돕는다. 문제를 해결하는 대신, 문제를 함께 구조화한다. 이 변화는 미세하지만 결정적이다. AI의 역할이 검색 엔진에서 대화 파트너로 옮겨가는 순간, 성능의 기준도 달라진다.

진짜 질문은 지능이 아니라 정렬이다

이제 두 흐름을 함께 놓고 보면 하나의 더 깊은 질문이 보인다. 멀티모달 모델은 AI가 세계를 더 풍부하게 이해하도록 만든다. 공감형 챗봇은 AI가 인간의 상태를 더 섬세하게 다루도록 만든다. 이 둘은 결국 같은 문제를 다른 방향에서 푼다. 어떻게 하면 기계의 내부 표현과 인간의 외부 경험을 정렬할 수 있는가 하는 문제다.

여기서 정렬이라는 말을 단순한 안전성이나 규칙 준수로 좁혀 생각하면 안 된다. 더 근본적인 정렬은 의미의 맞물림이다. 모델이 자동차를 자동차로 인식하는 것만으로는 부족하다. 사용자가 지금 자동차를 찾는 이유가 출퇴근인지, 가족 여행인지, 첫 차 구매인지에 따라 답은 달라져야 한다. 같은 물체라도 인간의 목적에 따라 전혀 다른 의미를 갖기 때문이다.

이때 멀티모달 이해와 공감은 서로 보완한다. 멀티모달 모델은 상황의 물리적 실체를 더 잘 잡아내고, 공감형 챗봇은 상황의 심리적 실체를 더 잘 읽어낸다. 전자가 세계를 넓게 펼치면, 후자는 세계를 인간에게 맞게 접는다. 하나는 무엇이 있는가를 정밀하게 잡고, 다른 하나는 그것이 지금 내게 어떤 의미인가를 다룬다.

이 조합이 강력한 이유는 인간의 의사결정이 늘 이 두 층위 사이에서 일어나기 때문이다. 우리는 사물을 객관적으로 이해한 뒤, 그 의미를 감정과 욕구에 비추어 해석한다. 좋은 AI는 이 과정을 외면하지 않고 모델 안에 담아야 한다. 단순히 보기 좋은 응답을 만드는 것이 아니라, 사실과 관계를 함께 계산하는 시스템으로 진화해야 한다.

한 문장으로 요약하면 이렇다.

미래의 AI 경쟁력은 더 많은 정보를 저장하는 능력보다, 정보가 인간에게 어떤 장면으로 체감되는지까지 추론하는 능력에서 갈린다.

하나의 유용한 모델: AI를 번역기 대신 조율기로 보기

이 관점을 실무적으로 이해하려면 AI를 번역기가 아니라 조율기로 보는 것이 좋다. 번역기는 한 언어를 다른 언어로 바꾼다. 반면 조율기는 서로 다른 악기가 같은 곡을 연주하게 만든다. 멀티모달 모델은 이미지, 소리, 텍스트를 하나의 악보로 맞추는 조율기이고, 공감형 챗봇은 그 악보를 사람의 감정 리듬에 맞게 연주하는 지휘자에 가깝다.

이 비유는 중요한 차이를 드러낸다. 번역은 대응 관계를 찾는 작업이지만, 조율은 맥락에 따라 비중을 조정하는 작업이다. 예를 들어 같은 음식 사진이라도 다이어트를 고민하는 사람에게는 칼로리와 성분이 중요하고, 요리사에게는 재료의 질감과 조리법이 중요하다. 멀티모달 시스템이 이 차이를 감지할 수 있어야 하고, 공감 시스템이 그 차이에 맞춰 말투와 정보량을 조절할 수 있어야 한다.

실제로 가장 유용한 AI는 다음 세 가지를 동시에 수행한다.

감각을 통합한다: 이미지, 텍스트, 소리, 행동 신호를 한 맥락으로 묶는다.
상태를 추정한다: 사용자가 지금 불안한지, 급한지, 탐색 중인지, 결정을 앞두고 있는지 읽는다.
출력을 조절한다: 사실의 정확성, 설명의 깊이, 정서적 톤을 상황에 맞게 배분한다.

이 세 가지는 따로 놀지 않는다. 통합된 이해가 있어야 상태 추정이 정확해지고, 상태 추정이 있어야 출력 조절이 적절해진다. 즉, 공감은 이해의 반대말이 아니라 이해의 완성 단계다.

우리가 AI를 더 인간적으로 만든다는 것의 진짜 의미

여기서 조심해야 할 오해가 있다. AI를 인간적으로 만든다는 것은 AI를 사람처럼 감정적으로 꾸미는 일이 아니다. 귀엽게 말하고, 위로하는 척하고, 친절한 이모티콘을 넣는다고 공감이 생기지 않는다. 진짜 인간다움은 표면이 아니라 구조에 있다. 사용자의 상황을 기억하고, 맥락을 연결하고, 불필요한 압박을 줄이고, 필요한 때는 분명하게 말하는 것, 이것이 인간적인 시스템의 핵심이다.

생각해보면 사람 사이의 좋은 대화도 같은 원리로 작동한다. 좋은 친구는 늘 정답을 말하는 사람이 아니다. 상대가 지금 조언을 원하는지, 공감을 원하는지, 단순히 들어주길 원하는지 알아채는 사람이다. AI도 마찬가지다. 정보의 양보다 중요한 것은 대화의 목적을 맞추는 능력이다. 어떤 순간에는 정확한 설명이 필요하고, 어떤 순간에는 먼저 마음을 가라앉히는 말이 필요하다.

이런 관점은 제품 설계에도 직접적인 시사점을 준다. 많은 시스템이 기능을 늘리는 데 집중하지만, 실제로는 기능의 수보다 상황 적합성이 더 중요하다. 사용자가 불안할 때는 긴 설명보다 핵심 요약이 유용하고, 비교 검토 중일 때는 차이점 표가 좋다. 멀티모달 이해는 이런 판단의 근거를 넓혀주고, 공감은 그 판단을 적절한 방식으로 전달하게 해준다.

결국 좋은 AI는 사용자를 놀라게 하는 기계가 아니라, 사용자가 스스로를 더 잘 이해하게 돕는 거울이 된다. 그리고 그 거울은 차가운 유리만으로 만들어지지 않는다. 세상의 신호를 입체적으로 읽는 능력과, 사람의 상태를 세심하게 다루는 능력이 함께 있어야 한다.

Key Takeaways

멀티모달 이해는 단순 기능 향상이 아니라 의미 통합이다. 이미지, 텍스트, 오디오를 따로 처리하는 것보다, 같은 경험의 다른 조각으로 묶을 때 AI는 더 깊은 추론을 할 수 있다.
공감은 장식이 아니라 인터페이스다. 정보가 맞아도 전달 방식이 틀리면 사용자는 그것을 흡수하지 못한다. 공감은 사용자의 인지 상태를 고려해 정보를 전달하는 기술이다.
좋은 AI는 사실과 관계를 함께 계산한다. 무엇이 맞는지뿐 아니라, 지금 이 사람에게 무엇이 적절한지 판단할 수 있어야 한다.
AI를 번역기가 아니라 조율기로 생각해보라. 서로 다른 입력을 맞추는 것을 넘어, 상황과 감정에 맞게 출력의 톤과 깊이를 조정하는 시스템이 더 유용하다.
제품을 설계할 때 기능보다 상황 적합성을 먼저 물어보라. 사용자가 지금 원하는 것이 정확성인지, 안심인지, 탐색인지, 결단인지에 따라 같은 기술도 전혀 다르게 작동한다.

결론: AI의 다음 단계는 더 똑똑한 답변이 아니라 더 좋은 장면을 만드는 것

우리는 오랫동안 AI를 평가할 때 정답률을 중심에 두었다. 그 기준은 앞으로도 중요하다. 그러나 충분하지는 않다. AI가 진짜 유용해지려면 단순히 맞는 말을 하는 것을 넘어, 사용자가 그 말을 받아들일 수 있는 장면을 만들어야 한다. 멀티모달 모델은 세계의 장면을 더 풍부하게 읽고, 공감형 챗봇은 인간의 장면을 더 섬세하게 다룬다.

그래서 핵심은 지능의 크기가 아니다. 정렬의 질이다. AI가 세계를 얼마나 잘 압축하는가보다, 그 압축이 인간의 경험과 얼마나 잘 맞물리는가가 중요해진다. 앞으로의 경쟁은 더 많은 답을 가진 시스템이 아니라, 더 적절한 순간에 더 적절한 방식으로 세계를 보여주는 시스템의 몫이 될 것이다.

그리고 그때 우리는 비로소 이렇게 묻게 된다. AI가 인간처럼 말할 수 있는가가 아니라, AI가 인간이 이해할 수 있는 세계를 함께 만들어줄 수 있는가.