[금융 AI 대전환③] 같은 고객 정보에 다른 판단…은행 AI 응답 일관성 72~100%

[KtN 김상기기자]같은 고객 정보를 입력했지만 인공지능(AI)이 내놓는 판단은 매번 같지 않았다. 유럽의 한 은행이 고객확인(KYC) 업무에 도입한 AI 에이전트를 평가한 결과, 동일한 자료를 반복 처리했을 때 응답의 일관성이 72~100%로 나타났다. 일관성이 가장 낮은 항목에서는 대략 네 차례 중 한 차례 다른 답변이 나왔다.

은행은 고객확인 절차 전반에 걸쳐 10차례 평가를 실시했다. 정확도와 응답 일관성, 처리속도, 비용을 각각 측정하고 실제 운영에 적용할 수 있는 기준을 설정했다. 정확도는 80% 이상, 일관성은 70% 이상으로 정했다. 금융권 전체에 적용되는 기준이 아니라 해당 은행이 자체적으로 설정한 승인 조건이다.

AI가 고객정보를 분석하고 자금세탁 위험을 판단하는 업무에 참여하면서 기존 금융 시스템과 다른 문제가 나타나고 있다. 정해진 규칙에 따라 움직이는 프로그램은 동일한 입력값에 같은 계산 결과를 내놓지만, 생성형 AI를 활용하는 에이전트는 동일한 정보를 처리하더라도 분석 내용과 판단 결과가 달라질 수 있다.

금융기관은 고객의 신원을 확인하고 자금 출처와 거래 내역을 검증하는 과정에서 일정한 판단 기준을 유지해야 한다. 고객에 대한 부정적인 언론 보도가 실제 당사자와 관련된 것인지, 재산 형성 경위가 제출된 증빙과 일치하는지, 거래 패턴에 추가 조사가 필요한지를 평가하는 업무에서는 AI의 판단 오류가 내부 통제와 고객 심사 절차에 영향을 줄 수 있다.

유럽 은행들이 에이전틱 AI(Agentic AI)를 실제 운영 환경에 도입하면서 정확도뿐 아니라 재현성(Reproducibility)을 별도의 성능 지표로 관리하기 시작했다. AI가 올바른 답을 내놓는지와 같은 조건에서 얼마나 일관되게 작동하는지를 구분해 검증하는 방식이다.

일관성 72%의 의미…같은 입력에서도 달라지는 AI 판단

고객확인 업무에서는 기업의 등록 정보와 업종, 고객의 소득과 재산 형성 경위, 거래 상대방에 관한 자료를 수집하고 분석한다. 일부 업무는 정해진 데이터와 외부 기록을 대조해 답을 찾을 수 있지만, 복잡한 관계를 해석하거나 위험을 평가하는 절차에는 판단이 필요하다.

기업에 공식 홈페이지가 존재하는지, 어떤 업종에 속하는지 확인하는 업무에서는 AI 에이전트가 매우 높은 정확도를 나타냈다. 외부 자료와 비교해 사실관계를 확인할 수 있고 판단 기준도 상대적으로 명확하기 때문이다.

반면 고객의 거래 패턴이 합리적인지, 자산 형성 과정에 관한 설명이 일관되는지, 부정적인 언론 보도에 등장하는 인물이 실제 고객과 동일한 사람인지 판단하는 업무에서는 성능이 상대적으로 낮아졌다.

고객의 재산 형성 경위를 분석하려면 여러 시점에 발생한 소득과 투자, 부동산 거래, 상속·증여 내역을 연결해야 한다. 제출된 자료가 서로 다른 내용을 담고 있다면 어느 정보에 더 높은 신뢰도를 부여할지도 판단해야 한다.

언론 보도에 등장한 인물의 신원을 확인하는 작업 역시 단순한 이름 검색으로 끝나지 않는다. 이름과 직업, 소속 기업, 활동 지역, 관련 기록을 종합해 동일인 여부를 평가해야 한다. 자료 일부가 일치하더라도 다른 항목에서 차이가 나타날 수 있다.

생성형 AI의 답변은 확률적으로 생성된다. 같은 문서와 질문을 사용하더라도 반복 실행 과정에서 서로 다른 표현이나 분석 경로, 판단을 선택할 수 있다.

서술 방식만 달라진 결과와 실제 사실관계에 관한 판단이 달라진 결과는 구별해야 한다. 보고서의 문장 표현이 달라졌다는 이유만으로 금융 위험 평가가 잘못됐다고 판단할 수는 없다. 반면 동일한 고객에 대한 신원 확인이나 위험 판단이 달라진다면 은행의 검증 절차에 직접적인 영향을 미칠 수 있다.

유럽 은행의 고객확인 업무에서 측정된 72~100%의 일관성은 AI의 반복 실행 결과가 업무별로 상당한 차이를 보였다는 사실을 드러낸다. 특히 자료를 해석해야 하는 항목에서 낮은 수치가 나타났다.

은행 내부에서 사용하는 AI의 성능을 평가할 때는 전체 평균 정확도만으로 충분하지 않다. 어떤 업무에서 결과가 흔들리는지, 차이가 발생한 이유가 자료의 불완전성인지 AI의 판단 과정인지 구분할 수 있어야 한다.

정확도 80%와 일관성 70%…서로 다른 두 가지 평가 기준

AI의 정확도(Accuracy)는 정답으로 인정할 수 있는 사실이나 검증된 기준과 결과를 비교하는 지표다. 고객의 이름과 기업 등록정보를 올바르게 추출했는지, 금액을 정확하게 인식했는지, 조사 보고서에 기록된 내용이 실제 문서와 일치하는지 등을 평가한다.

재현성은 동일한 조건에서 작업을 반복했을 때 결과가 얼마나 안정적으로 유지되는지를 살핀다. 같은 고객정보를 여러 번 처리했을 때 출력 형식과 수치가 일관되는지, 같은 도구를 적절한 순서로 사용하는지, 판단 과정이 논리적으로 유지되는지를 확인한다.

두 지표가 항상 일치하는 것은 아니다.

AI가 동일한 오답을 반복해서 내놓으면 일관성은 높게 측정될 수 있지만 사실 정확도는 낮다. 반대로 사실관계가 대체로 정확하더라도 반복 실행할 때마다 서로 다른 판단 경로와 결론이 나타나면 일관성 평가에서 낮은 점수를 받을 수 있다.

정확도와 재현성을 함께 측정해야 하는 이유다.

유럽의 한 은행은 고객확인 절차에서 실시한 10차례 평가를 통해 정확도와 일관성을 각각 검증했다. 평가에는 응답 지연시간과 운영비용도 포함됐다.

은행이 설정한 승인 기준은 정확도 80% 이상, 일관성 70% 이상이었다. AI를 실제 금융업무에 적용할 때 최소 성능 조건을 명시하고, 결과가 기준을 충족하는지 판단하는 절차를 마련한 것이다.

해당 기준을 모든 금융범죄 예방 업무에 동일하게 적용할 수는 없다. 단순한 정보 분류와 고객 신원 확인, 자금 출처에 관한 복잡한 판단은 오류가 발생했을 때 미치는 영향이 다르다.

기업의 업종을 잘못 분류하는 경우와 부정적인 언론 보도의 당사자를 실제 고객과 혼동하는 경우에는 필요한 검증 수준도 달라진다. 금융기관은 업무의 위험과 결과의 중요도에 따라 정확도와 일관성에 관한 승인 조건을 정해야 한다.

평가 기준을 충족한 뒤에도 실제 운영 과정에서 성능이 유지되는지 지속적으로 살펴야 한다. 입력되는 문서의 형식과 외부 데이터의 내용, AI가 사용하는 도구와 업무 규정이 달라지면 초기 평가에서 나타난 성능이 그대로 유지된다고 보장할 수 없기 때문이다.

정답 대조에서 판단 경로까지…AI 평가 방식도 달라진다

금융 AI의 성능 검증은 사실 정확도와 추론·에이전트 행동의 안정성을 평가하는 두 영역으로 구분된다.

사실 정확도를 평가할 때는 검증된 정답 데이터인 골든 트루스(Golden Truth)를 활용할 수 있다. 고객의 등록정보와 금융 문서에서 추출한 항목을 정답 데이터와 비교해 맞게 추출했는지 확인하는 방식이다.

정보 추출의 정밀도(Precision)와 재현율(Recall), 수치 오차, 사실과 다른 내용의 생성 비율, 문서에 대한 근거 표시의 정확성 등이 평가 대상이다.

정밀도는 AI가 추출한 정보 가운데 실제로 올바른 정보의 비율을 측정하는 개념이다. 재현율은 찾아야 할 정보 가운데 AI가 얼마나 빠짐없이 찾아냈는지를 평가한다.

AI가 고객의 소득 관련 문서에서 잘못된 금액을 추출한다면 정밀도가 낮아질 수 있다. 중요한 소득 항목을 누락하면 재현율에 영향을 미친다.

자금 출처 검증 업무에서는 두 지표가 모두 중요하다. 잘못된 정보를 사실로 받아들이는 오류뿐 아니라 확인해야 할 자산과 소득을 빠뜨리는 오류도 조사 결과를 왜곡할 수 있다.

보고서 작성 단계에서는 숫자 외에도 서술 내용의 근거를 검증해야 한다. AI가 작성한 고객의 재산 형성 경위가 실제 제출 서류와 일치하는지, 보고서에 기록된 판단이 증빙으로 뒷받침되는지 확인하는 방식이다.

추론과 에이전트 행동을 평가할 때는 정답 데이터와의 비교만으로 충분하지 않을 수 있다.

AI가 필요한 정보를 찾기 위해 어떤 검색 도구를 선택했는지, 도구를 올바른 순서로 사용했는지, 여러 자료를 대조하는 과정에서 논리적 일관성을 유지했는지를 살펴야 한다.

같은 고객정보를 반복 입력한 뒤 출력 구조와 계산 결과, 도구 사용 순서의 차이를 비교할 수 있다. 이러한 평가는 모든 항목에 전문가가 미리 정답을 지정하지 않더라도 수행할 수 있다.

은행의 AI 평가 체계에서는 크게 세 가지 방법이 활용된다.

규정 기반 평가(Rubric-based Evaluation)는 사전에 정한 점검 항목을 기준으로 결과를 검토하는 방식이다. 내부 규정 준수 여부와 조사 보고서의 완전성, 서술 내용의 적절성 등을 평가할 때 활용할 수 있다.

계산 기반 평가(Computed Evaluation)는 정해진 계산식이나 프로그램을 이용해 수치 오차와 정보 추출의 정확성을 측정한다. 평가 과정에 AI의 주관적인 판단을 추가하지 않아도 결과를 비교할 수 있다는 특징이 있다.

LLM 평가(LLM as a Judge)는 별도의 언어모델을 활용해 AI가 작성한 내용을 검토하는 방식이다. 위험 분석의 논리적 일관성과 보고서의 서술 내용, 필요한 정보의 누락 여부 등을 평가할 수 있다.

다만 AI가 다른 AI의 결과를 검토하는 방식에도 판단의 변동성이 존재할 수 있다. 평가 기준을 명확하게 설정하고, 정답 데이터나 검증된 점검 항목과 함께 사용해야 한다.

금융범죄 예방 업무의 품질관리는 조사 결과가 정확한지만 확인하는 절차에서 AI가 작업을 수행하는 방식까지 평가하는 체계로 확대되고 있다.

존재하지 않는 근거까지 작성하는 AI…보고서 검증의 부담

자금세탁방지 업무에서 조사 보고서는 고객 관련 정보를 수집하고 검증한 결과를 정리하는 문서다. 거래 패턴과 자금 출처, 고객정보 사이의 관계를 설명해야 하며, 판단의 근거가 되는 자료도 확인할 수 있어야 한다.

AI가 보고서 초안을 작성하면 문서 작성시간을 줄일 수 있지만 실제 자료에 없는 내용을 사실처럼 생성할 가능성도 있다. 생성형 AI의 환각(Hallucination) 현상이다.

단순한 문장 오류와 달리 금융범죄 조사 보고서에 포함된 사실 오류는 위험 평가와 내부 검토에 영향을 미칠 수 있다.

유럽 은행들이 구축한 거래 감시 시스템 가운데 일부는 조사 보고서 작성 기능과 별도로 품질관리 기능을 운영했다. AI가 작성한 보고서에서 개별 주장과 판단을 추출하고, 각 내용이 실제 근거자료와 일치하는지 검증하는 방식이다.

검토 대상에는 사실과 다른 내용뿐 아니라 정보의 누락, 판단의 적절성과 공정성도 포함됐다.

품질관리용 AI 에이전트가 조사 에이전트의 결과를 검토하도록 구성한 시스템이 있는 반면, 하나의 에이전트에 자체 검증 기능을 포함하거나 별도의 자동 평가 기능을 사용하는 은행도 있었다.

조사 과정에서 외부 정보와 고객 제출 자료가 충돌할 때는 근거의 출처와 신뢰성이 중요하다.

공식 기관의 기록이나 검증 가능한 문서와 출처가 불분명한 온라인 정보를 동일하게 취급하면 판단 결과가 왜곡될 수 있다. 고객과 관련된 언론 보도가 발견됐더라도 실제 당사자와의 동일성이 확인되지 않았다면 해당 내용을 확정된 사실로 처리해서는 안 된다.

금융기관은 AI가 활용하는 정보의 출처를 구분하고, 충분한 증거가 없는 결과가 최종 보고서에 반영되지 않도록 통제할 필요가 있다.

유럽의 한 은행은 정보 출처의 신뢰도와 인물·기업의 동일성 확인 수준을 구분해 AI의 판단에 대한 신뢰도 등급을 설정했다. 가장 높은 신뢰도에 해당하는 결과만 인간의 별도 검토 없이 처리하도록 하고, 근거가 없는 답변은 출력하지 않는 방식을 채택했다.

불확실한 답변에 주의 문구를 붙여 그대로 전달하는 방식과는 차이가 있다. 근거를 확보하지 못한 판단 자체가 후속 업무에 사용되지 않도록 통제하는 구조다.

동명이인과 자금 출처…해석이 필요한 업무에 인간 검토 배치

고객 신원 확인에서 가장 주의해야 할 분야 가운데 하나는 부정적인 언론 보도에 등장한 인물과 실제 고객의 동일성 판단이다.

은행은 고객의 이름과 관련 기업, 활동 지역 등을 확인하고 금융범죄와 관련된 정보가 있는지 조사할 수 있다. 이름이 동일하다는 사실만으로 보도에 등장한 인물과 고객을 같은 사람으로 판단할 수는 없다.

서로 다른 출처에서 제공하는 정보가 일치하지 않거나 충분한 증빙이 확보되지 않은 경우에는 추가 검토가 필요하다.

자금 출처 검증도 비슷한 구조다. 고객이 제출한 소득과 자산 형성 내역을 대조하는 작업에는 수치 계산과 자료 해석이 함께 포함된다.

급여 명세서에 기록된 금액을 계산하거나 통화를 변환하는 작업은 정해진 프로그램으로 처리할 수 있다. 반면 수년간의 경제활동과 재산 증가 사이의 관계를 평가하고, 누락된 자료가 전체 판단에 미치는 영향을 분석하는 작업은 복잡하다.

유럽 은행의 AI 도입 경험에서는 객관적인 정답을 확인하기 쉬운 업무부터 실제 운영에 적용하고, 해석의 비중이 높은 업무에는 인간의 검토 절차를 유지하는 접근이 활용됐다.

AI가 작성한 조사 보고서를 사람이 최종 승인하는 방식만으로 모든 판단 오류를 통제하기는 어렵다. 검토자가 어떤 정보를 확인해야 하는지, AI가 작성한 내용 가운데 증거가 부족한 부분이 어디인지, 어떤 단계에서 승인이 필요한지 구체적으로 정해야 한다.

AI가 여러 자료를 분석해 하나의 결론을 제시하더라도 담당자는 판단 근거를 추적할 수 있어야 한다.

고객의 소득 내역이 실제 증빙과 일치하는지, 다른 인물의 정보를 잘못 연결하지 않았는지, 계산 과정에 오류가 없는지를 검토하는 절차가 필요하다.

은행에서 AI를 평가하는 기준은 고객정보를 정확하게 추출하는 능력에서 출발해 조사 결과의 일관성과 설명 가능성, 판단 근거의 신뢰성으로 확대되고 있다.

실제 운영 단계에서는 반복 검증과 기록 관리도 필요

AI 에이전트가 여러 프로그램을 연결해 업무를 수행하면 최종 답변뿐 아니라 작업 과정의 기록도 중요해진다.

자료를 조회할 때 어떤 도구를 사용했는지, 계산에 필요한 데이터를 어디에서 가져왔는지, 보고서에 포함된 주장이 어떤 증빙에 근거했는지 확인할 수 있어야 한다.

은행 내부의 위험관리 부서와 감사 부서는 AI가 정해진 절차에 따라 업무를 수행했는지 검토해야 한다. 동일한 입력을 다시 처리했을 때 결과가 크게 달라진다면 오류가 발생한 단계를 추적하는 데 어려움이 생길 수 있다.

AI의 성능 평가에서는 결과의 정확성뿐 아니라 도구 선택과 실행 순서, 출력 형식의 안정성을 함께 점검한다. 필요한 데이터를 조회하지 않은 채 결론을 작성하거나, 잘못된 순서로 도구를 실행하는 오류를 파악하기 위한 절차다.

조사 보고서에 포함된 숫자와 설명이 맞더라도 필요한 검증 단계를 건너뛴 결과라면 은행의 내부 통제 기준을 충족하지 못할 수 있다.

고객확인과 자금세탁방지 업무는 금융기관이 지속적으로 수행해야 하는 위험관리 기능이다. 새로운 고객의 정보가 유입되고 거래 내역이 축적되며, 외부 데이터와 내부 규정도 변경된다.

AI가 실제 운영 환경에서 처리하는 정보가 달라지는 만큼 초기 개발 단계에서 실시한 시험만으로 성능을 관리하기는 어렵다.

반복 실행에 따른 일관성 평가와 수치 검증, 근거 추적, 도구 사용 기록 점검을 운영 과정에 포함해야 한다. 오류가 발견됐을 때 관련 결과를 다시 확인하고 필요한 검토 절차로 연결하는 방식도 중요하다.

유럽 은행의 고객확인 평가에서 나타난 72~100%의 응답 일관성은 업무별로 AI의 안정성이 다르다는 사실을 드러냈다. 기업의 기본정보 확인처럼 객관적인 정답을 확보하기 쉬운 업무에서는 높은 성능을 보였지만, 거래의 타당성과 재산 형성 경위, 인물의 동일성처럼 해석이 필요한 업무에서는 상대적으로 낮은 평가가 나타났다.

은행들이 AI를 실제 금융범죄 예방 업무에 적용하면서 정확도와 재현성을 각각 측정하고, 근거가 충분하지 않은 판단에 인간의 검토 절차를 유지하는 이유다.

고객정보 분석과 조사 보고서 작성에 AI의 활용 범위가 넓어지고 있지만 금융기관이 승인해야 하는 결과에는 정확한 수치와 일관된 판단, 검증 가능한 증빙이 함께 요구된다. 유럽 은행들이 구축하고 있는 평가 체계에는 사실 정확도와 반복 실행의 안정성, AI의 도구 사용 과정까지 포함되고 있다.