AI 답, 어디까지 믿어도 될까 | 확인하는 5가지 습관

AI 채팅의 답은 문장이 매끄러워서 틀린 곳이 잘 보이지 않습니다. 그런데 AI가 틀리는 자리는 대체로 정해져 있습니다. 숫자, 출처, 날짜, 요약에 끼어든 문장입니다. 이 네 곳만 습관처럼 확인해도 그대로 옮겨 쓰다 생기는 실수를 크게 줄일 수 있습니다.

이 글은 AI 활용 진단의 「검증·판단」 영역을 풀어 쓴 것입니다. 진단에 나온 상황을 그대로 예시로 씁니다.

왜 AI는 그럴듯하게 틀릴까

채팅형 AI는 질문에 «이어질 법한 문장»을 만들어 냅니다. 그래서 모르는 내용도 아는 것처럼 매끄럽게 씁니다. 숫자에 출처까지 붙여 쓰기도 합니다. 출처 이름이 붙었다고 해서 그 기관이 실제로 그 숫자를 발표했다는 뜻은 아닙니다.

또 하나, 같은 AI에게 「이거 맞아?」라고 되물으면 틀린 답을 그대로 맞다고 하기도 합니다. 확인은 AI 바깥에서 해야 하는 이유입니다.

AI에게 자료를 요약시키면 숫자가 미묘하게 바뀌는 일이 있습니다. 진단의 실습 문항이 바로 그 경우입니다.

원문	AI 요약
3분기 매출 12억 원, 전년 같은 분기보다 8% 증가	매출은 12억 원으로 전년보다 18% 늘었고
신규 고객 140곳	신규 고객은 140곳, 재구매율은 60%였다

틀린 곳은 두 군데입니다. 8%가 18%로 바뀌었고, 원문에 없는 재구매율이 생겼습니다. 훑어 읽으면 둘 다 그럴듯해서 놓치기 쉽습니다. 요약에 나온 숫자마다 원문의 같은 숫자를 찾아 손가락으로 짚듯 맞춰 보는 것이 가장 확실합니다.

「작년 국내 시장 규모는 3조 2천억 원(○○연구원)」 같은 문장을 보면 그 기관의 보고서나 보도자료에서 같은 숫자와 같은 연도를 찾아봅니다. 찾지 못하면 그 문장은 빼는 것이 맞습니다.

다른 AI 서비스 두세 곳에 물어 답이 같으면 참고는 되지만 확인은 아닙니다. 여러 AI가 같은 틀린 정보를 말할 수도 있기 때문입니다.

AI 요약에 자료 어디에도 없는 문장(예: 「고객 만족도 20% 상승」)이 들어 있었다면, 그 문장만 지우고 끝내지 않습니다. 하나가 지어졌다면 다른 곳에도 있을 수 있다는 신호입니다. 요약의 다른 숫자와 주장도 원문과 대조합니다.

다음 정보는 AI가 알려 줘도 공식 안내나 전문가에게 다시 확인합니다.

AI가 학습한 시점 이후에 바뀐 내용은 모를 수 있고, 틀렸을 때 손해가 크기 때문입니다. 반대로 설거지 요령처럼 틀려도 손해가 작은 생활 정보는 그대로 써 봐도 됩니다. 틀렸을 때 손해가 얼마나 큰지로 확인할 범위를 정하면 시간이 덜 듭니다.

확인할 문장이 많을 때는 AI에게 먼저 정리를 시킬 수 있습니다. 예를 들면 이렇게 요청합니다.

방금 답에서 숫자·날짜·출처가 들어간 문장만 골라, 문장 / 근거 자료 이름 / 확실한 정도(확실·추정·모름)를 표로 정리해 줘. 근거를 모르면 「모름」이라고 써 줘.

이 표는 어디부터 확인할지 정하는 데 쓰는 것이지, 확인을 대신하지는 않습니다. 「확실」이라고 적힌 줄도 원자료로 확인합니다.

스마트에듀픽의 무료 프로그램 AI 답변 확인 체크리스트는 AI 답을 붙여 넣으면 숫자·날짜·법·출처·링크·단정 표현이 들어간 문장을 골라 체크리스트로 만들어 줍니다. 습관 5의 「근거를 되묻는 요청문」도 함께 만들어 줍니다.

알아 둘 점이 있습니다. 이 프로그램은 사실이 맞는지 판정하지 않습니다. 확인할 곳을 골라 줄 뿐이고, 고르지 않은 문장도 틀릴 수 있습니다. 붙여 넣은 글은 브라우저 안에서만 처리되고 서버로 보내지 않습니다.

내 검증 습관이 어느 정도인지 궁금하다면 AI 활용 진단으로 확인해 보세요. 가입 없이 15문항이고, 영역별 결과와 문항 해설을 볼 수 있습니다.