거버넌스라고 하면 컴플라이언스 부서를 둔 대기업 얘기처럼 들립니다. 작은 사업에는 더 단순하고 더 시급합니다 — 안정적으로 작동하는 AI와, 뒤처리할 문제를 만드는 AI를 가르는 차이입니다.
OECD의 2025년 중소기업 조사가 그 격차를 보여 줍니다. 이미 생성형 AI를 쓰는 중소기업 중 직원 가이드라인을 둔 곳은 28.6%뿐입니다. 직원이 AI 교육에 참여한다는 곳은 23.6%, 저작권·법률·규제 이슈를 검토한 곳은 35.6%뿐입니다. 대다수가 규칙 없이 AI를 쓰고 있고, McKinsey 연구에 따르면 바로 여기서 "AI가 기대만 못하다"는 불만이 대부분 나옵니다.
이 글은 한국의 작은 사업이 고객 상담 AI를 켜기 전 정해 둘 8가지 거버넌스 영역을 제시합니다. 각각은 한 페이지로 정리할 수 있습니다.
8가지 거버넌스 영역
1. 허용·금지 용도
직원이 AI에 시킬 수 있는 일과 절대 시키면 안 되는 일. 예: AI는 상품 질문에 답하고, 연락처를 받고, 예약을 잡아도 된다. AI는 환불 처리, 의료 조언, 게시 가격표 밖의 가격 약속을 절대 해선 안 된다. 명시적으로 적으세요 — 모호함이 곧 사고의 근원입니다.
2. 데이터 취급 규칙
어떤 고객·금융·개인·내부 데이터를 어떤 시스템에 넣어도 되는지. 예: 이름·전화번호는 AI 채팅으로 받아도 된다. 카드번호, 신분증, 건강 정보는 AI에 절대 입력하지 않는다. 결제 정보는 안전한 결제 링크로만 받는다.
3. AI 고지 기준
고객에게 AI임을 언제 알려야 하는지. 모범 사례는 대화 시작 시 항상 고지. SurveyMonkey의 2026년 데이터에 따르면 소비자의 14%가 AI임을 밝히지 않으면 신뢰를 잃습니다. 고지는 짧고 자신 있게, 변명조가 아니게 하세요.
4. 사람 검토 기준선
발송·실행 전에 사람 승인이 필요한 응답·작업의 종류. 예: 표준 가격표 밖 가격이 걸린 응답, 배송 일정 약속, 보증 조건 언급. 틀렸을 때 금전·평판 손실이 나는 주제를 정의하세요.
5. 에스컬레이션 트리거
대화를 사람에게 넘겨야 하는 시점. 예: "컴플레인", "환불", "사장님" 같은 단어나 불만이 담긴 메시지. AI가 두 번 시도해도 못 알아듣는 대화. 고객이 명시적으로 사람을 찾는 경우.
6. 도구 권한
AI가 어떤 시스템을 읽고 쓸 수 있는지. 예: AI는 지식 베이스와 상품 목록을 읽을 수 있다. 고객 정보를 기록할 수 있다. 재무 기록, 직원 데이터, 내부 소통에는 접근할 수 없다.
7. 로깅과 사고 보고
오류, 환각(없는 사실 생성), 데이터 유출, 부적절한 동작을 어떻게 기록·처리하는지. 간단한 사고 로그를 유지하세요 — 날짜, 무슨 일, 무엇이 영향받았나, 어떻게 바로잡았나. 월 1회 검토합니다. 책임과 개선 흐름이 생깁니다.
8. 교육과 책임
누가 AI 거버넌스 정책을 소유하고, 직원을 어떻게 교육하고, 준수를 어떻게 점검하는지. 2인 팀이라도 한 사람을 AI 담당자로 정하세요. 20분짜리 교육 한 번을 하고, 연 1회 또는 큰 변경 시 갱신합니다.
왜 작은 사업에 거버넌스가 중요한가요?
McKinsey의 2025년 AI 현황 연구는 사람의 검증, 피드백 루프, 도입 로드맵, KPI 추적, 고객 신뢰 관행을 AI 가치 창출과 가장 강하게 연결되는 요인으로 꼽았습니다. 쉽게 말해, AI를 켜기 전에 규칙을 정한 사업이 일단 켜고 나서 규칙을 정하는 사업보다 더 큰 가치를 얻습니다.
McKinsey는 또 CEO의 AI 거버넌스 감독이 손익 영향과 가장 상관 높은 속성 중 하나라고 밝혔습니다. 작은 사업에서 "CEO"는 보통 사장님 본인입니다 — 즉 거버넌스에 위원회가 필요한 게 아니라, 사장님이 8가지 결정을 명시적으로 내려 적어 두면 됩니다.
규제 환경
개인정보보호법(PIPA, 한국): AI 전용 법은 아직 없지만, 개인정보를 처리하는 모든 사업에 PIPA가 적용되며 AI 고객 상담도 포함됩니다. 개인정보보호위원회는 안전한 AI·데이터 활용을 위한 안내를 내놓고 있습니다. "새 AI 법을 기다리라"가 아니라 "문서화된 통제와 함께 책임 있게 쓰라"가 핵심입니다.
EU AI Act: 이미 발효돼 단계별로 적용됩니다. 금지 관행과 AI 리터러시 의무는 2025년 2월부터, 거버넌스·범용 AI 의무는 2025년 8월부터, 전면 적용은 2026년 8월입니다. EU 고객을 응대하는 사업은 회사 규모와 무관하게 준수가 의무입니다.
품질 보증 관행
검토 없는 거버넌스는 집행 없는 정책입니다. 작은 사업의 QA는 이렇게 구성하세요.
주간 대화 표본 점검. 주당 AI 대화 10〜15건을 읽으세요. 정확성, 톤, 적절한 인계를 확인합니다.
에스컬레이션 감사. 넘어간 대화가 잘 처리됐는지 — 사람이 충분한 맥락을 받았는지, 고객이 같은 말을 반복했는지 — 검토하세요.
환각 태깅. 지식 베이스에 없는 정보가 담긴 응답을 표시하세요. 그 빈틈을 메우도록 지식 베이스를 갱신합니다.
월간 레드팀 테스트. 월 1회, 까다로운 질문(가격 경계 사례, 정책 예외, 민감 주제)을 일부러 던져 AI가 적절히 반응하는지 확인하세요.
Comm100의 2026 벤치마크는 AI→상담원 인계 만족도(CSAT)가 92.6%에 달했다고 보고합니다. 인계 품질 자체가 측정 가능한 기능이자 경쟁 차별점임을 보여 줍니다.
자주 묻는 질문
AI 거버넌스 정책을 쓰는 데 얼마나 걸리나요?
작은 사업이라면 1〜2시간입니다. 8개 영역 각각에 긴 법률 문장이 아니라 불릿 몇 개면 됩니다. 목표는 완비가 아니라 명료함입니다. 직원이 실제로 읽는 한 페이지가, 아무도 안 여는 20페이지 문서보다 가치 있습니다.
AI 거버넌스에 변호사가 필요한가요?
대부분의 작은 사업엔 아니요. 위 8개 영역은 사장님이 내릴 수 있는 운영 결정입니다. 규제 업종(의료·금융·법률)이거나 EU 고객을 응대한다면, 구체적 준수 요건은 전문가에게 확인하세요.
이미 거버넌스 없이 AI를 쓰고 있다면요?
지금 정책을 만들고 이번 주에 팀을 교육하세요. 규칙 없는 AI의 위험은 "반드시 사고가 난다"가 아닙니다 — 사고가 났을 때 그것을 식별·교정·재발 방지할 틀이 없다는 점입니다.
거버넌스가 법적 의무인가요?
한국에 AI 전용 법은 아직 없지만, 개인정보를 처리하는 모든 사업에 PIPA가 적용되며 AI 고객 상담이 여기 포함됩니다. 개인정보보호위원회의 안내를 따르는 것이 사업을 보호합니다. 개인정보 실무는 AI 고객 상담과 개인정보 가이드를, AI와 사람 역할 분담은 AI냐 채용이냐 비교를 함께 보세요.
출처: OECD Generative AI and the SME Workforce(2025), McKinsey State of AI(2025, 2026), 개인정보보호법(PIPA)·개인정보보호위원회 안내, EU AI Act, Comm100 2026 Live Chat Benchmark, SurveyMonkey Customer Service Trends(2026).