by Ko Youngkon, trimaran, 2024.12.30

인공지능 기술의 발전 및 적용확산에 따른 신뢰성 문제가 점차 부각되고 있다

인공지능을 도입할 때에는 단지 ‘구현할 수 있는가?’라는 기술적 측면뿐 아니라 ‘이 제품･서비스가 존재해도 괜찮은가?’라는 윤리적 측면도 검토해야 한다. 특히 인공지능이 다양한 분야에 활용되면서 인공지능 시스템과 학습 모델에 윤리적인 결함이 있는데도 이를 인지하지 못한 채 사용될 경우 매우 큰 파급효과를 낳을 수 있다. ‘인공지능 신뢰성’이란 데이터 및 모델의 편향, 인공지능 기술에 내재한 위험과 한계를 해결하고, 인공지능을 활용하고 확산하는 과정에서 부작용을 방지하기 위해 준수해야 하는 가치 기준을 말한다. 주요 국제기구를 중심으로 인공지능 신뢰성을 확보하는 데 필수적인 요소가 무엇인지 활발한 논의가 이루어지고 있다. 일반적으로 안전성, 설명가능성, 투명성, 견고성, 공정성 등이 신뢰성을 확보하는 데 필수적인 요소로 거론되고 있다.

인공지능이 금융기관에서 다양한 분야에 적용이 늘어나고 있어, 이에 따른 부작용도 지속적으로 발생하고 있다. 

2023년말 미국 금융 감독 당국의 경우 인공지능(AI)이 금융 시스템에 위험을 초래할 수 있다고 경고하기도 했다. 미 금융안정감독위원회(FSOC)는 연례 보고서에서 “AI가 혁신을 촉진하고 효율성을 높일 잠재력이 있지만 금융 분야에서의 사용은 잠재적 리스크를 관리하기 위한 신중한 시행과 감독을 요구한다”고 밝혔다. 이는 금융기관들의 생성형 AI 도입에 따른 데이터 보안과 소비자 보호, 사생활 위험을 지적한 것이다. 생성형 AI가 환각 현상으로 불리는 결함 있는 결과를 내놓을 수 있다는 점도 지적하고 있다.

실제로, 2024년 1월, 홍콩의 한 기업에서 딥페이크 기술을 이용해 2500만 달러를 송금하게 만든 사건이 발생했다. 또한, 미국 내 생성형 AI 기반 금융사기 피해액은 2023년 123억 달러에서 2027년 400억 달러로 연평균 32% 증가할 것으로 예상된다. 이에 따라, 첨단기술과 인간의 직관을 결합한 사기 방지 전략을 강화, 외부 기술 기업과의 협력, 고객 소통 강화, 규제 당국과의 협력, 인력 구조 개편 등을 통해 AI 기반 사기행위를 막아야 한다고 목소리가 높아지고 있다.

생성형 AI뿐만 아니라, 자문이나 심사 등을 수행하는 인공지능 알고리즘의 문제로 인해 야기되는 이슈도 많아지고 있다. 금융기관에 많이 사용하는 로보어드바이저는 AI 알고리즘을 통해 고객에게 알맞은 투자 포트폴리오를 추천하거나 자산 운용 등을 전담하는 서비스이다. 로보어드바이저에는 자체적인 감시 기능이 없고, 매우 짧은 시간 안에 자동으로 고속 거래를 하는 특성상 시장 안정성, 공평성에 악영향을 줄 수 있다는 우려가 많다.  

심사 역시 AI 기술과 관련한 윤리 문제를 안고 있다. 먼저 AI가 과연 공정한 판단을 내렸는가에 대해서는 많은 의문이 있다. AI의 판단 근거가 되는 데이터의 비중 중 특정 집단에 유리한 데이터가 높으면 AI가 편향된 판단을 하게 된다. 실제 미국에서는 자동차보험료를 산출하는 과정에서 같은 조건일 때 흑인 운전자가 백인 운전자보다 더 많은 보험료를 산정한 사례가 있었다. 또한, AI의 보험심사 결과로 보험금이 지급이 되지 않았을 경우 사유에 관해서 설명할 수 없다는 것이다. 보험금 미지급 통보 시 소비자에게 그 사유에 관해서 설명하지 않으면 신뢰의 문제가 생기기 때문에 AI를 이용한 보험금 지급을 더욱 활성화하기 위해서는 이러한 문제의 해결이 필요하다.

또한, 금융 시스템에서 많은 경우 데이터파이프라인을 통해 데이터를 수집·처리하고 학습하는 과정의 문제점으로 신뢰성에 균열이 발생하는 경우가 많다. 데이터파이프라인은 크게 수집, 전처리, 모델링, 시각화의 네가지로 분류된다. 자료수집단계에서는 인공지능의 알고리즘을 만들고 학습시킬 데이터를 모으는 단계이다. 인공지능의 판단은 데이터에 기초하기 때문에 이단계에서 수집하는 데이터가 인공지능의 윤리적 판단에 영향을주게된다. 자료수집 및 전처리단계에서 잠재적인 윤리적 문제는 데이터편향과 프라이버시에 문제를 발생시키는 주요한 원인이다.

인공지능 신뢰성 확보를 위해서는 생명주기별 필요 요소를 고려하여야 한다

인공지능을 구성하는 4가지 요소는 인공지능 학습용 데이터, 학습과 추론 기능을 수행하는 인공지능 모델 및 알고리즘, 실제 기능을 구현할 시스템, 사용자와 상호작용하기 위한 인터페이스가 있다. 각 구성 요소들은 개별적으로 또는 통합적으로 인공지능 서비스의 생명주기에 따라 개발, 검증 및 운영된다. 

인공지능 서비스 생명주기는 첫 번째에서 살펴본 인공지능 서비스 구성 요소들을 구현하고 운영하는 일련의 절차를 말한다. 기존 소프트웨어 시스템에서 다루는 공학 프로세스나 생명주기와 비슷하나, 인공지능 특성상 데이터 처리 및 모델 개발 단계가 별도로 필요하며, 이외의 단계에서도 주요 활동에 대한 정의가 조금씩 달라진다. 현재 인공지능 혹은 인공지능 서비스의 생명주기는 다수의 문헌에서 6~8가지 단계로 구분한다.

국내외의 관련 기관에서는 인공지능 신뢰성 확보를 위한 기준 및 가이드, 정책 등의 수립을 통해 좀 더 안전한 사용환경 마련을 시도중이다.

금융기관뿐만 아니라 법률 및 규제 기관도 AI의 활용에 점점 더 많은 관심을 보이고 있다. 규제 기관은 금융 분야에서 AI가 무엇보다도 안전하며, 고객의 개인 정보와 금융 정보를 안전하게 사용할 수 있어야 한다는 점을 강조하고 있다. 2022년 말, 미국은 AI 권리 장전(AI Bill of Rights)을 발표하고, 금융 및 은행업을 포함한 모든 산업에서 정책 개발 및 AI 사용 시 고려해야 할 5가지 기본 권리에 대한 지침을 제시하였다.

유럽에서도 유사한 조치가 진행되고 있다. 유럽연합(EU)은 현재 EU AI 법안(EU AI Act)을 통해 모든 산업에 적용될 첫 번째 포괄적인 AI 규제를 마련하여 인공지능 시스템의 신뢰성을 높이기 위한 방안을 제시하고 있다. 유럽은 2018년도부터 인공지능 윤리에 대해 적극적으로 대응하기 위해 52명의 AI 전문가로 구성된 AI-HLEG(High Level Expert Group on AI)를 발족하여 ‘신뢰할 만한 AI 윤리 가이드라인’, “신뢰성 있는 AI 개발을 위한 정책 보고서”, “AI 윤리 가이드라인 및 점검 평가 목록”을 발표하였다.

국내에서도 2019년 정부와 공공기관, 비영리 기관과 기업이 AI의 윤리적 사용을 위한 윤리헌장을 발표했다. 이후로 인공지능 신뢰성과 보안 등을 위해 과학기술정보통신부를 중심으로 2020년 ‘인공지능 윤리기준’을 발표하고, 2022년부터 ‘인공지능 윤리정책포럼’을 운영하고 있으며, 2023년 ‘디지털권리장전’ 발표를 통해 안전과 신뢰의 확보, 윤리적 개발과 사용을 명시하고 추진하고 있다. 또한, 금융위원회 및 금융보안원 등에서는 인공지능 관련 가이드라인을 제공하고 있다.

국내 금융권은 안정성과 보안 강화를 위해 금융 망분리 개선 로드맵을 발표하였으며, 금융 IT 시스템의 신뢰성을 높이기 위해 

정보보안 인증제도를 운영하고, 클라우드 서비스 도입을 위한 「금융분야 클라우드 컴퓨팅서비스 이용 가이드」(2023.02),  

전자금융거래 안정화를 위해 「금융 IT 안정성 강화를 위한 가이드라인」(2023.11)도 제시하고 있다. 또한, 금융위원회는 유관기관 및 시장 전문가 의견수렴 등을 토대로 마련한 「금융분야 인공지능 활용 활성화 및 신뢰 확보 방안」(2022.08)을 발표하여 신뢰성 제고를 추진하고 있다. 이와 함께, 최근 발의된 「AI기본법」에 따라 금융분야에서 인공지능사회의 신뢰 기반 조성에 필요한 기본적인 사항의 준수를 위한 다양한 노력이 시도중이다. 

<끝>