정확한 예측과 정당한 결정 사이
인공지능이 높은 예측 정확도를 보인다고 해서 그 결과가 곧바로 정당한 결정이 되는 것은 아닙니다. 대출, 채용, 의료와 같이 삶에 영향을 주는 영역에서는 어떤 정보를 사용했고 오류를 어떻게 바로잡는지도 중요합니다. 법경제학은 성능과 권리 보호를 함께 고려하면서, 각각의 선택에 따르는 비용과 유인을 살펴보는 출발점을 제공합니다.
설명의 대상에 따라 달라지는 정보
개발자는 모델의 실패 원인을 알아야 하고, 이용자는 자신에게 불리한 결과가 나온 이유를 이해해야 합니다. 감독기관은 개별 결과뿐 아니라 전체 의사결정 과정이 일관되게 관리되는지 확인할 필요가 있습니다. 따라서 하나의 기술적 설명으로 모든 목적을 충족한다고 가정하기 어렵습니다. 설명의 대상과 목적을 먼저 구분해야 적절한 정보의 범위도 정할 수 있습니다.
책임이 행동을 바꾸는 방식
오류의 비용을 누가 부담하는지는 사전 투자에도 영향을 줍니다. 개발자에게만 모든 책임을 부과하면 사용 환경의 문제를 놓칠 수 있고, 이용기관만 책임지게 하면 모델 내부의 위험을 통제하기 어려울 수 있습니다. 데이터 수집, 모델 개발, 도입, 운영 과정에서 누가 어떤 위험을 관찰하고 줄일 수 있는지 구체적으로 살펴보는 것이 중요합니다. 이는 특정 책임 배분을 단정하기보다 실제 통제 가능성을 비교하는 연구 질문입니다.
설명을 절차와 연결하기
이해하기 쉬운 설명은 출발점입니다. 잘못된 입력을 정정하고, 판단을 재검토하며, 사람이 개입할 수 있는 경로가 함께 있어야 설명이 실제 권리 행사에 도움이 됩니다. 연구에서는 설명 제공 여부뿐 아니라 정정에 필요한 시간, 이의제기 비용, 재검토의 결과까지 관찰할 수 있습니다. 성능 지표와 절차적 지표를 함께 놓을 때 기술의 효과를 더 입체적으로 평가할 수 있습니다.
함께 생각할 질문
- 설명을 받아야 하는 사람은 이용자, 감독기관, 개발자 중 누구인가?
- 설명이 실제로 결정을 다툴 수 있는 절차로 이어지는가?