혹시 블랙박스 문제에 대해 들어보았는가? 의사결정트리, 로지스틱 회귀 등 비교적 간단한 머신러닝 기법을 통해 특정 작업을 수행한다면 우리는 어떠한 근거에 기반하여 output이 이렇게 나왔는지를 파악할 수 있다. 하지만 점점 더 높은 성능의 모델(앙상블, 딥러닝…)들을 활용 할수록 모델이 내부적으로 어떻게 작동하는 지 관찰하거나 이해하기 어려운 문제들이 발생한다.
그리고 이를 해결하기 위해 나온 것이 설명 가능한 인공지능, XAI 이다. 인공지능 모델이 어떤 예측이나 의사결정을 내릴 때, 사람에게 이해할 수 있는 방식으로 그 이유나 과정을 설명해 주는 것은 매우 중요할 것이다. 인간의 입장에서는 그것을 바탕으로 누군가를 설득하기도 하며 합리적이라고 판단하여 모델의 결정을 따르게 될 것이다. 그렇다면
이번 Deep dive를 통해 탐구해봅시다!
블랙박스의 정의
머신러닝, 딥러닝에서 output은 인간과 유사하게, 원하는대로 도출할 수 있지만 어떻게, 무엇을 근거로 그러한 결과가 나왔는지 알 수 없습니다. 이에 따른 신뢰성, 데이터 편향 문제가 제기되고 있다.
ex ) 우리가 어떤 사물을 '인형'이라고 인식했을 때, 어떤 과정을 거쳐서 인형이라고 인식했는지에 대해 자세히 설명할 수 없는 것처럼 말입니다.
소프트웨어가 수행할 특정 기능을 알기 위해 각 기능이 완전히 작동되는 것을 입증하는 테스트로 기능 테스트
블랙박스란 안이 보이지 않는 상자를 의미 - 입력값과 출력값만을 확인하는 테스트
블랙박스가 왜 생겨나는지
왜 블랙박스가 생길까? 딥러닝이 학습하면서 하는 일은 절대적인 정답 또는 해답을 찾는 것이 아닙니다. input 이 있을 때 '어떻게' 원하는 output을 도출하는지를 찾는 것입니다. 일반적으로는 많은 데이터와 지도 학습(supervised learning)을 이용하여 학습시키는데, 어떤 데이터가 주어지느냐에 따라 그 기준도 '상대적'으로 달라질 것입니다.이 때 내부적으로 원하는 아웃풋을 도출해내기 위한 여러가지 기준을 정하게 되는데 우리는 그 내부를 들여다볼 수 없습니다. 최근의 딥러닝 모델들은 레이어가 최소 수십개로 '딥'하게 학습하기 떄문에 그 계산이 굉장히 복잡하기 때문입니다.
모델에 대한 전반적인 동작 방식을 설명할 것인지 혹은 개별 사건에 대한 의사결정의 인과관계에 대해서 설명하는 것이 필요한지가 경우에 따라서 다를 것입니다. 전자는 전역 설명(Global Explanations) 방법이라고 하고 후자는 국소 설명(Local Explanations) 방법이라고 합니다.
LIME은 복잡한 인공지능 모델이 왜 특정 결정을 내렸는지를 이해하기 위해 사용됩니다. 예를 들어, 어떤 이미지가 ‘고양이’라고 분류된 이유를 설명할 때, LIME은 그 이미지의 특정 부분(예: 고양이의 귀나 수염)이 중요한 역할을 했다고 알려줍니다.
먼저 이미지를 여러 작은 부분(슈퍼픽셀)으로 나누고, 각 조각을 마스킹하거나 마스킹하지 않은 조합으로 여러 이미지를 생성합니다. 예를 들어, 개구리 사진에서는 눈이나 다리 부분을 각각 가린 이미지를 만듭니다. 그런 다음, 이 이미지를 원래 AI 모델에 입력하여 각 이미지가 개구리로 분류될 확률을 계산합니다. 이 데이터로 *대체 모델(surrogate model, 실제 모델에 근사한 시뮬레이션 결과를 도출하는 단순한 모델)을 학습시켜, 특정 슈퍼픽셀이 마스킹되었을 때 블랙박스 모델의 예측에 얼마나 영향을 미치는지 분석합니다.