AI가 판단을 망치는 정확한 순간
AI가 판단을 망치는 것이 아니라, 갭이 판단을 망친다.
AI가 판단을 망치는 정확한 순간
Mind the Gap Chronicles | PART 1: 갭의 발견 (4/12)
"축하합니다, AI 프로젝트가 성공했습니다"
어느 중견 패션 브랜드의 회의실. AI 광고 자동화 시스템 도입 3개월 차 보고가 있었다.
발표 자료는 화려했다. 클릭률 50% 향상, 노출수 100% 증가, 광고비 효율 35% 개선. 임원진은 박수를 쳤고, 기술팀은 보너스를 기대했다.
그런데 같은 시기, 고객센터에서는 불만 접수가 3배로 늘고 있었다.
기존 고객들이 이탈하기 시작했다. 브랜드 평판 지수는 30% 하락했다. 그리고 실제 매출은 오히려 10% 줄었다.
AI 프로젝트는 성공했다. 그런데 사업은 실패하고 있었다.
AI는 정확히 시킨 대로 했다
무슨 일이 일어난 걸까.
회사의 의도는 "브랜드를 해치지 않으면서 매출을 늘리자"였다. 하지만 AI에게 전달된 목표는 "클릭률을 높여라" 하나뿐이었다.
AI는 충실했다. 클릭률을 높이기 위해 자극적인 카피를 만들었다. "파격 할인!" "마지막 기회!" "지금 안 사면 후회!" 클릭은 폭발적으로 늘었다.
하지만 그 클릭을 한 사람들은 실제 구매 의향이 없는 사람들이었다. 자극적인 메시지에 끌려왔을 뿐, 프리미엄 브랜드의 고객이 아니었다. 기존의 충성 고객들은 브랜드가 "싸구려처럼 보인다"며 떠나갔다.
AI가 틀린 게 아니었다. 클릭률을 높이라고 했으니, 클릭률을 높인 것이다.
문제는 "브랜드를 해치지 말라"는 의도가 어디에도 측정 기준으로 번역되지 않았다는 것이다. 3편에서 이야기한 G1 갭(의도 ↔ 판단)과 G4 갭(행동 ↔ 결과)이 동시에 벌어진 것이다.
이런 일은 어디서든 일어난다
이 패턴은 패션 브랜드만의 문제가 아니다.
대형 이커머스에서 AI 추천 시스템을 도입했다. 구매 전환율은 25% 올랐지만, 고객 만족도는 18% 떨어졌다. AI가 "구매 확률이 높은 상품"을 추천한 것이지, "고객이 원하는 상품"을 추천한 것이 아니었기 때문이다. 프리미엄 노트북을 검색한 고객에게 저가 액세서리를 추천하는 식이었다. 의도를 판단 기준으로 잘못 번역한 G1 갭이었다.
글로벌 유통사에서는 AI 가격 자동화 시스템을 도입했다. "경쟁사보다 5% 저렴하게"라는 규칙을 설정했는데, 중단 조건을 넣지 않았다. 경쟁사가 가격을 내릴 때마다 AI도 따라 내렸고, 3일 만에 가격이 30% 하락하며 마진이 소멸했다. 결정에 범위를 설계하지 않은 G3 갭이었다.
세 사례 모두 공통점이 있다.
AI는 한 번도 틀리지 않았다. AI는 시킨 대로 정확히 했다. 문제는 우리가 갭을 설계하지 않았다는 것이다.
정확도 95%의 함정
"AI 정확도 95%"라는 말을 들으면 안심이 된다. 하지만 이렇게 바꿔 생각해보라.
20번 중 1번은 치명적 실수를 한다는 뜻이다.
처리 속도가 10배 빨라졌다면? 실수도 10배 빠르게 확산된다는 뜻이다. 비용이 80% 절감됐다면? 복구 비용은 10배 더 든다는 뜻이다.
기술적 성공 지표는 사업적 실패를 가려준다. 클릭률이 올라가는 동안 브랜드가 망가지고, 정확도가 높아지는 동안 고객이 떠나고, 속도가 빨라지는 동안 손실이 커진다.
"AI 프로젝트 성공 = 사업 성공"이라는 등식은 거짓이다.
당신의 AI 프로젝트를 점검해보라
ChatGPT로 블로그 글을 쓰든, AI로 광고를 돌리든, 챗봇을 도입하든. 규모와 상관없이 같은 질문이 필요하다.
- 의도를 판단 기준으로 번역했는가? — "잘 써줘"가 아니라, "이 톤으로, 이 독자를 위해, 이 목적으로" 번역했는가?
- 판단과 다른 결정을 했다면, 그 이유를 기록했는가? — AI가 A를 추천했는데 B를 선택했다면, 왜?
- AI가 폭주하면 멈출 수 있는가? — 중단 조건, 범위 제한, 사람 승인 지점이 있는가?
- 행동 지표와 결과 지표가 연결되어 있는가? — 클릭이 올라가면 매출도 올라가는가? 정말?
- 이번 결과를 다음에 반영할 수 있는가? — 실패 보고서가 서랍 속에 있지는 않은가?
하나라도 "아니오"라면, 당신의 AI 프로젝트는 기술적으로 성공하면서 사업적으로 실패할 준비가 되어 있는 것이다.
AI가 판단을 망치는 것이 아니라, 갭이 판단을 망친다. 코딩은 가장 마지막이다. 갭 진단이 먼저다.
시리즈: Mind the Gap Chronicles | AI가 판단을 망치지 않게 설계합니다