같은 인공지능 모델을 사용해도 광고 문구를 만드는 업무와 채용 지원자를 평가하는 업무는 거버넌스 판단이 달라집니다. 기업이 확인해야 할 것은 모델의 성능만이 아니라 사용 목적, 영향을 받는 사람, 잘못된 판단을 되돌릴 수 있는 절차입니다. AI 거버넌스 평가는 이러한 요소를 연결해 법적 의무와 실제 운영 통제를 함께 점검하는 작업입니다.
AI 거버넌스 평가의 출발점은 시스템 목록이다
평가의 기본 단위는 모델 이름이 아니라 실제 업무에 배치된 시스템입니다. 동일한 생성형 모델이라도 사내 문서 요약, 고객 상담, 대출 심사 보조에 사용된다면 데이터의 민감도와 피해 가능성이 달라집니다. 따라서 모델 공급사 목록만 작성해서는 조직이 부담하는 위험을 제대로 파악하기 어렵습니다.
먼저 각 시스템의 업무 목적, 사용 부서, 책임자, 입력 데이터, 출력 결과, 영향을 받는 사람을 기록합니다. 외부 서비스인지 자체 개발인지, 결과가 단순 참고자료인지 최종 결정에 반영되는지도 구분해야 합니다. 시험 운영과 정식 운영을 나누면 평가 대상에서 빠진 실험용 도구를 발견하기 쉽습니다.
공식 구매 절차를 거치지 않은 도구도 점검 범위에 넣어야 합니다. 직원이 개인 계정으로 고객 문서를 요약하거나 외부 자동화 도구에 인사 자료를 전달하는 경우, 계약 목록에는 없지만 실제 정보 처리와 업무 의사결정에는 영향을 줍니다. 현업 인터뷰와 업무 흐름 확인이 필요한 이유입니다.
책임 구조는 업무 책임자, 기술 담당자, 법무·개인정보 담당자, 최종 승인자로 나누는 방식이 실용적입니다. 작은 조직에서는 한 사람이 여러 역할을 맡을 수 있지만, 개발자가 자신의 시스템을 아무 검토 없이 승인하는 구조는 피해야 합니다. 위험을 발견했을 때 운영을 멈출 권한도 지정합니다.
평가 결과는 추상적인 등급보다 근거가 있는 기록으로 남겨야 합니다. 사용 목적 설명서, 데이터 흐름도, 시험 결과, 이용자 안내문, 계약서, 사고 대응 절차가 대표적인 증빙입니다. 정책 문서가 존재한다는 사실과 현장에서 실제로 지켜진다는 사실을 구분하는 것이 평가의 핵심입니다.
AI 기본법 고영향 AI 기준은 사용 맥락으로 판단한다
고영향 인공지능은 단순히 성능이 높거나 이용자가 많은 인공지능을 뜻하지 않습니다. 한국의 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」은 사람의 생명, 신체 안전, 기본권에 미치는 중대한 영향이나 위험과 법에서 정한 활용 영역을 함께 고려하는 체계를 둡니다.
보건의료, 채용, 대출 심사처럼 중요한 판단과 연결되는 영역은 우선 검토 대상이 됩니다. 다만 해당 업종에서 사용하는 모든 프로그램이 자동으로 고영향 인공지능이 되는 것은 아닙니다. 실제 기능이 무엇인지, 누구에게 어떤 판단을 내리는지, 관련 법령의 세부 범위에 들어가는지를 확인해야 합니다.
예를 들어 병원 내부의 회의록 정리 도구와 환자 진료 판단을 지원하는 도구는 같은 방식으로 분류하기 어렵습니다. 채용 공고 초안을 작성하는 기능과 지원자를 점수화해 면접 대상을 좁히는 기능도 다릅니다. 제품 설명보다 실제 운영 방식이 분류 판단에서 더 유용한 정보입니다.
사람이 최종 승인한다는 이유만으로 위험이 사라지는 것은 아닙니다. 검토자가 결과를 이해할 자료가 없거나, 처리량 때문에 기계의 추천을 그대로 받아들이는 경우에는 실질적인 감독이 작동하지 않을 수 있습니다. 승인 버튼의 존재보다 오류를 발견하고 결정을 바꿀 수 있는지가 중요합니다.
분류가 불분명하면 판단 근거를 문서화하고 법이 마련한 확인 절차를 검토할 수 있습니다. 과학기술정보통신부 장관에게 고영향 해당 여부의 확인을 요청하는 제도가 있으므로, 기능 설명과 사용 목적을 구체적으로 정리하는 것이 도움이 됩니다. 기능이나 이용 대상이 바뀌면 기존 판단도 재검토해야 합니다.
AI 기본법 고영향 AI 사업자 의무는 운영 증빙으로 관리한다
고영향 인공지능으로 판단한 뒤에는 분류표를 완성하는 것만으로 대응이 끝나지 않습니다. 안전성과 신뢰성을 확보하기 위한 조치가 제품 개발과 운영 과정에 반영되어야 합니다. 위험 관리, 설명 가능성, 이용자 보호, 사람의 관리·감독, 관련 문서의 작성과 보관을 연결해 살펴보는 접근이 필요합니다.
위험 관리는 예상 가능한 오작동을 나열하는 데서 시작합니다. 입력 정보가 누락되었을 때의 처리, 학습 범위를 벗어난 사례의 대응, 특정 이용자 집단에서 발생하는 성능 차이, 외부 공격이나 부적절한 사용 가능성을 검토합니다. 각 위험에는 예방 조치와 발생 후 대응 담당자를 붙여야 합니다.
설명 가능성은 반드시 모델 내부의 모든 계산을 공개한다는 뜻은 아닙니다. 이용자가 결과를 이해하는 데 필요한 기준과 한계, 주요 영향 요소를 적절하게 설명하는 것이 실무적으로 중요합니다. 설명 수준은 기술적 가능성뿐 아니라 해당 결정이 사람에게 미치는 영향과 보호해야 할 정보도 고려해야 합니다.
사람의 감독은 담당자 이름을 적는 것으로 충족되지 않습니다. 담당자가 어떤 상황에서 개입하고, 어떤 정보를 확인하며, 결과를 변경하거나 시스템을 중단할 수 있는지 절차로 정해야 합니다. 검토 시간을 확보하지 않거나 반대 의견을 기록할 수 없다면 감독 체계가 형식적으로 운영될 가능성이 큽니다.
이용자 고지는 위험 관리 문서와 별개로 점검하는 것이 좋습니다. 고영향 또는 생성형 인공지능을 활용한 제품·서비스의 사전 고지와 생성 결과에 관한 투명성 의무는 각각 적용 조건을 확인해야 합니다. 계약서 깊숙한 곳의 문구만으로 충분하다고 단정하지 말고 실제 이용 과정에서 안내가 전달되는지 확인합니다.
AI 영향평가 방법은 피해 경로를 따라 설계한다
영향평가는 정확도 시험보다 넓은 작업입니다. 시스템이 누구에게 어떤 불이익을 줄 수 있는지, 그 불이익이 어떤 업무 절차를 통해 발생하는지, 예방과 구제가 가능한지를 분석합니다. 법적 의무에 해당하는 평가인지 자율적인 내부 평가인지 먼저 구분하면 범위와 승인 기준을 명확히 정할 수 있습니다.
첫 단계는 의사결정 흐름을 그리는 것입니다. 데이터 수집, 분석, 추천, 사람의 검토, 최종 통지까지 연결하고 각 단계의 책임자를 표시합니다. 이 과정에서 잘못된 정보가 수정되는 지점과 이용자가 설명을 요청할 수 있는 지점을 확인하면, 모델 밖에 있는 운영 위험도 드러납니다.
다음으로 영향을 받는 집단을 구체화합니다. 직접 이용자뿐 아니라 평가 대상자, 데이터에 포함된 사람, 결과에 따라 서비스를 받지 못하는 사람도 포함될 수 있습니다. 장애, 언어, 디지털 접근성 등의 조건 때문에 안내나 이의제기 절차를 이용하기 어려운 상황도 별도로 살펴봅니다.
피해는 가능성과 심각성만으로 단순화하지 않는 편이 좋습니다. 피해가 장기간 지속되는지, 당사자가 원인을 알아차릴 수 있는지, 잘못된 결정을 되돌릴 수 있는지까지 검토해야 합니다. 소규모로 발생하더라도 회복하기 어려운 불이익은 일반적인 불편과 다른 수준의 통제가 필요합니다.
시험 계획에는 대표적인 정상 사례와 실패가 예상되는 경계 사례를 함께 넣습니다. 전체 평균 성능이 양호해도 특정 조건에서 오류가 집중될 수 있으므로 데이터가 허용하는 범위에서 집단별 차이와 오류 유형을 분석합니다. 다만 시험을 위해 민감정보를 무분별하게 추가 수집해서는 안 됩니다.
마지막으로 완화 조치 이후에도 남는 위험을 기록합니다. 적용 범위 축소, 추가 검토, 이용자 안내 개선, 이의제기 절차 보강 등 어떤 조치를 선택했는지 설명하고 승인권자가 잔여 위험을 검토하도록 합니다. 평가서는 출시 전에 작성한 고정 문서가 아니라 변경과 사고에 따라 갱신되는 운영 기록이어야 합니다.
AI 기본법과 EU AI Act 비교에서 놓치기 쉬운 차이
한국과 유럽연합의 제도는 신뢰할 수 있는 인공지능을 지향하지만, 위험 분류와 규제 구조를 동일하게 취급하면 안 됩니다. 한국의 고영향 개념을 유럽연합의 고위험 분류로 그대로 옮길 수 없으며, 한쪽의 분류 결과가 다른 쪽의 적합성 판단을 대신하지도 않습니다.
유럽연합 인공지능법은 금지되는 인공지능 관행, 고위험 시스템에 대한 요구사항, 특정 시스템의 투명성 의무, 범용 인공지능 모델에 대한 규율 등을 구분합니다. 한국 제도와 비교할 때는 용어의 유사성보다 금지 여부, 적용 대상, 사업자의 역할, 요구되는 증빙을 각각 대조해야 합니다.
유럽연합에서는 공급자와 도입·사용 주체 등의 역할 구분이 특히 중요합니다. 고위험 시스템 공급자에게 요구되는 기술문서, 품질관리, 적합성 평가 등의 사항과 도입 주체의 운영 의무는 서로 다릅니다. 한국에서 서비스를 제공하는 사업자라는 설명만으로 유럽연합에서의 법적 역할까지 확정할 수 없습니다.
비교표를 만들 때는 시스템별로 한국 분류, 유럽연합 분류, 조직의 역할, 적용 의무, 필요한 문서, 책임 부서를 별도 항목으로 두는 방식이 유용합니다. 공통 자료는 재사용하되, 법적 근거가 다른 의무를 하나로 합치지 않습니다. 개인정보, 소비자 보호, 제품 안전 규제도 함께 검토해야 합니다.
EU AI Act가 한국 기업에 미치는 영향은 제공 경로에 따라 달라진다
한국에 본사가 있다는 사실만으로 유럽연합 인공지능법의 적용 대상에서 제외되는 것은 아닙니다. 유럽연합 시장에 시스템이나 범용 모델을 제공하는 경우뿐 아니라, 법이 정한 조건에 따라 시스템의 산출물이 유럽연합에서 사용되는 경우도 검토 대상이 될 수 있습니다.
사업 구조를 확인할 때는 계약 상대방의 주소만 보지 말고 실제 이용자, 제공 지역, 결과의 사용처를 함께 살펴야 합니다. 한국 기업이 유럽연합 고객에게 분석 서비스를 제공한다면, 고객이 그 결과를 어떤 결정에 사용하는지가 중요합니다. 계약상 명칭과 실제 역할이 다른 경우도 주의해야 합니다.
외부 모델을 가져와 자사 서비스에 결합하는 기업은 역할 변화 가능성을 확인해야 합니다. 시스템을 자신의 이름으로 제공하거나 의도된 목적을 바꾸고 중요한 변경을 하는 경우에는 공급자 관련 책임이 문제될 수 있습니다. 단순한 이용과 법적으로 의미 있는 변경을 구분하려면 기술 구조와 계약 내용을 함께 검토해야 합니다.
일부 고위험 시스템의 도입 주체에게 요구되는 기본권 영향평가도 모든 기업에 일률적으로 적용되는 것은 아닙니다. 주체의 성격과 활용 유형에 따라 적용 여부가 달라집니다. 한국에서 수행한 내부 평가를 기초자료로 활용할 수는 있지만, 유럽연합의 별도 요구사항을 충족하는지는 따로 확인해야 합니다.
해외 고객에게 제공할 증빙은 개발 단계부터 준비하는 편이 효율적입니다. 사용 목적, 성능 한계, 데이터 관리, 사람의 감독, 변경 이력, 사고 대응 정보를 정리하면 계약 검토와 운영 협의에 도움이 됩니다. 공개해서는 안 되는 정보와 고객의 준수 업무에 필요한 정보를 구분하는 기준도 마련합니다.
AI 기본법 과태료는 위반 조항별로 확인해야 한다
과태료를 검토할 때 가장 흔한 오류는 모든 거버넌스 미흡 사항에 같은 제재가 적용된다고 생각하는 것입니다. 과태료는 법에서 정한 특정 의무 위반과 연결됩니다. 내부 평가 점수가 낮다는 사실이나 권고 수준의 조치를 이행하지 않았다는 사실만으로 과태료를 단정해서는 안 됩니다.
사전 고지 의무, 적용 요건에 해당하는 해외 사업자의 국내대리인 지정 의무, 사실조사나 시정명령 관련 사항 등은 해당 조문과 제재 조항의 연결을 확인해야 합니다. 부과 기준을 검토할 때도 위반의 종류와 횟수, 관련 하위 규정 등을 구분해야 하므로 하나의 최대 금액만으로 위험을 설명하기는 어렵습니다.
국내대리인 지정 역시 국내에 주소나 영업소가 없는 모든 해외 사업자에게 무조건 적용된다고 표현하면 부정확합니다. 법과 하위 규정에서 정한 규모 등의 적용 요건을 확인해야 합니다. 국내 고객과 거래한다는 사실, 국내 이용자가 있다는 사실, 법정 지정 대상이라는 판단을 각각 구분할 필요가 있습니다.
제재 대응의 실무 핵심은 조사와 시정 요구에 대응할 수 있는 기록입니다. 누가 고지를 승인했는지, 이용자에게 어떤 화면을 제공했는지, 문제를 발견한 뒤 어떤 조치를 했는지 확인할 수 있어야 합니다. 공식 질의나 확인 절차를 활용하더라도 답변 시점을 확정적인 처리 기한으로 전제하지 않는 편이 안전합니다.
ISO 42001 인증 절차는 관리체계의 반복 운영을 검증한다
인공지능 경영시스템 표준인 ISO 42001은 특정 모델이 항상 정확하거나 모든 법률을 준수한다는 보증이 아닙니다. 조직이 인공지능 관련 책임, 위험, 통제, 개선 절차를 체계적으로 관리하는지 평가하는 기준입니다. 따라서 인증 준비는 기술 성능 보고서보다 조직의 관리체계를 정리하는 작업에 가깝습니다.
첫 단계는 적용 범위 설정입니다. 전사 인공지능 활동을 포함할지 특정 사업부나 서비스에 한정할지 결정하고, 조직의 역할과 이해관계자 요구를 정리합니다. 범위가 모호하면 어떤 시스템과 외부 공급자를 관리해야 하는지 불분명해져 이후 위험평가와 심사의 일관성이 떨어집니다.
그다음에는 현황과 표준 요구사항 사이의 차이를 분석합니다. 정책, 책임 배분, 위험평가, 영향평가, 통제 선정, 교육, 공급자 관리, 성과 점검 등의 체계가 있는지 확인합니다. 표준의 통제 항목을 기계적으로 복사하기보다 적용 여부와 제외 이유를 조직의 상황에 맞게 설명해야 합니다.
문서를 마련한 뒤에는 실제 운영 증거를 축적해야 합니다. 위험 검토 회의, 변경 승인, 교육 이수, 사고 처리, 내부심사, 경영진 검토 등의 기록이 이에 해당합니다. 외부 심사를 앞두고 문서만 급히 작성하면 절차가 현실의 업무와 맞지 않는 문제가 드러날 수 있습니다.
인증 심사는 일반적으로 문서와 준비 상태를 확인하는 단계와 실제 이행을 평가하는 단계로 진행되며, 부적합 사항이 발견되면 시정조치가 필요합니다. 인증 이후에도 사후관리와 갱신 과정이 이어집니다. 정확한 심사 방식과 인정 범위는 인증기관의 조건에 따라 확인해야 하며, 인증이 법정 적합성 평가를 자동으로 대체하지는 않습니다.
AI 거버넌스 평가에서 자주 생기는 오해
한국 기본법의 고영향 인공지능 관련 기본권 영향평가를 모든 사업자에게 일률적으로 강제되는 사전 절차라고 이해하면 부정확하며, 법은 해당 평가를 수행하도록 노력할 의무를 두고 있으므로 다른 법률이나 계약에서 별도로 요구하는 경우와 구분해야 합니다. 외부 서비스 사용, 사람의 최종 승인, 관리체계 인증도 각각 위험이나 책임을 자동으로 없애는 조건은 아닙니다. 분류, 법적 의무, 자율 통제, 계약상 요구사항을 따로 기록하면 이러한 혼동을 줄일 수 있습니다.
기업의 AI 기본법 대응 방안은 평가 결과를 업무에 연결하는 것
실무에서 유용한 평가 결과는 종합 점수 하나가 아니라 조치 가능한 과제 목록입니다. 각 과제에 문제의 근거, 책임자, 완료 조건, 필요한 증빙을 붙이면 실행 여부를 확인할 수 있습니다. 이용자에게 큰 영향을 주는 시스템부터 검토하되, 개인정보 유출처럼 영향이 넓은 운영 위험도 함께 우선순위를 정합니다.
운영 결정은 그대로 유지, 조건부 운영, 적용 범위 축소, 일시 중단처럼 구분할 수 있습니다. 조건부 운영이라면 추가 검토가 필요한 사례와 담당자의 개입 기준을 명시해야 합니다. 위험을 수용하기로 한 경우에도 승인권자와 판단 근거를 남겨야 다음 담당자가 결정의 맥락을 이해할 수 있습니다.
재평가 시점은 달력뿐 아니라 변화에 연결합니다. 새로운 데이터 도입, 모델 교체, 고객군 확대, 사용 목적 변경, 반복적인 민원, 성능 저하가 대표적인 계기입니다. 공급사의 변경 통지가 내부 검토로 이어지도록 절차를 마련하면 외부 서비스의 변화도 관리 범위에 넣을 수 있습니다.
기록 보관은 많을수록 좋은 것이 아닙니다. 준수 증빙과 문제 해결에 필요한 내용을 남기되 개인정보와 영업비밀의 접근 권한, 보관 기간, 삭제 기준을 함께 정해야 합니다. 입력과 출력을 무조건 전부 저장하는 방식은 오히려 정보 보호 부담을 키울 수 있습니다.
처음 시작하는 조직이라면 대표 시스템 하나를 선정해 목록 작성, 분류 검토, 영향평가, 통제 설계, 승인 기록까지 연결하는 방식이 현실적입니다. 완성된 사례를 다른 시스템에 적용하면서 평가 기준을 다듬으면 문서와 운영의 간격을 줄일 수 있습니다. 구체적인 법 적용과 제재 가능성은 해당 조문·하위 규정 및 개별 사실관계를 바탕으로 법률 전문가의 검토를 받는 것이 적절합니다.
