사회복지 AI 영향평가 체크리스트 (이해관계자·위험지도)

1. 범위·목적·거버넌스 정의

  : 사회복지 AI 영향평가·스코프설정·책임체계

 

사회복지 영역에서 AI 영향평가는 기술의 성능평가가 아니라 사람과 권리에 미치는 영향을 체계적으로 검증하는 절차다.

첫 단계는 스코프 정의다. 대상 시스템(예: 안부확인 콜봇, 위기탐지 모델, 사례배정 추천)의 기능·이용자 여정·데이터 흐름을 다이어그램으로 명확히 하고, 평가의 목적을 권리보호·안전·차별방지·책임성 강화로 고정한다.

 

다음은 거버넌스다. 의사결정과 책임의 선을 그리기 위해 사업부(프로덕트 오너), 현장부서(사례관리), 정보보호, 윤리위원회, 법무, 외부전문가를 포함한 다부서 평가위원회를 상설화하고, 안건 상정→문서검토→현장검증→조치결정의 스테이지 게이트(기획/개발/파일럿/확대/종료) 절차를 둔다.

 

각 게이트마다 필수 산출물(데이터사전, 모델카드, 위험지도, 개인정보 영향점검표, 접근권한 매트릭스, 사용자 고지문)을 업데이트하도록 내규화한다. 또한 사회복지 특성상 취약계층 보호 원칙(최소수집·목적명확성·비례성·투명성·이의제기권)을 평가기준으로 문서화하고, 생명·신체 위험이 의심되는 경우 선조치·후통지 예외조항과 사후감사 규칙을 포함한다.

 

운영 관점에서는 평가 주기를 분기·반기로 고정하되, 기능 변경·데이터 소스 변경·성능 하락·민원 급증 등 트리거 이벤트 발생 시 수시 영향재평가를 가동한다.

 

마지막으로, 평가 결과를 의사결정 로깅 시스템에 연결해 “누가 언제 어떤 위험을 어떻게 완화하고 어떤 잔여위험을 승인했는지”를 감사가능한 기록으로 남겨야 한다. 이 문단의 체크리스트는 다음과 같다

① 시스템 범위도 작성 ② 목표·원칙 명문화 ③ 평가위원회 구성·의결정족수 규정

④ 게이트별 필수 산출물 목록 ⑤ 예외조항·사후감사 규칙 ⑥ 정기·수시 재평가 트리거 정의 ⑦ 의사결정 로그 연결

 

2. 이해관계자 식별·참여

: 당사자·가족·현장전문가·행정·민간파트너 매핑

 

AI 영향평가의 품질은 이해관계자 참여에 달려있다. 

먼저 **정보주체(당사자)**를 세분화한다. 독거노인, 노인부부, 장애인, 치매 초기, 주거취약, 이주민 등 특성별로 디지털 접근성·언어·인지·감각 제약을 파악하고, 각 집단의 위험(오탐에 따른 불필요 출동·낙인, 미탐에 따른 위험 미대응, 데이터 오용에 대한 불안)을 페르소나로 정리한다.

 

가족·비공식 돌봄자는 실제 알림을 수신하거나 의사결정에 관여하므로 연락동의·연계책임·부담 증가 가능성을 함께 평가한다.

현장전문가(사회복지사·방문간호사·상담원)는 모델 출력의 수용성·업무부하·책임전가 위험의 1차 당사자이므로, 경보 기준치·확인 절차·기록 기준에 대한 의견을 반영해야 한다.

 

행정기관은 법적 책임과 공공정보 결합의 관리자로서 접근권한·재제공 금지·감사요건을 점검한다.

민간 파트너(플랫폼·클라우드·콜센터·디바이스 제공사)는 하위처리자 관리·로그 제공·침해 통지 의무를 계약과 체크리스트로 묶는다. 참여 방식은 문서 설문만으로 끝내지 말고 포커스 그룹·시나리오 워크숍·사용성 테스트를 혼합한다.

 

예를 들어 위기알림이 밤 11시에 발화될 때 당사자·가족·야간당직자가 각각 어떤 파급을 겪는지를 엔드투엔드 모의훈련으로 관찰한다. 수집한 인사이트는 이해관계자 매트릭스(영향/관심도 좌표)로 시각화하고, 고영향·고관심군에는 사전고지·실시간 피드백 채널을 제공한다.

체크리스트

①세분집단 페르소나 정의 ②권리·부담·리스크 목록화 ③참여 방식(인터뷰/FGI/현장테스트) 계획

④알림·확인·연계 전 과정 모의훈련 ⑤매트릭스 작성 및 커뮤니케이션 계획 ⑥피드백 반영 로그.

3. 위험지도 작성·완화전략

: 데이터·알고리즘·시스템·업무프로세스 리스크 맵핑

 

위험지도는 데이터→알고리즘→시스템→업무프로세스 4층으로 나눠 작성한다.

데이터층에서는 출처·표본 대표성·라벨 신뢰도·누락·편향(연령·성별·장애·지역)을 진단하고, 최소수집·가명처리·보유기간·접근등급으로 보호설계를 한다.

 

특히 위기탐지는 드물고 불균형한 사건을 다루므로 클래스 불균형과 오디오·텍스트 방언·억양에 따른 편향을 별도 지표로 관리한다. 알고리즘층에서는 목표함수와 임계값을 복지현장 지표(안전·오탐비용·미탐비용)와 연결한다.

단순 정확도 대신 정밀도·재현율·F1·AUROC, 특히 미탐 비용 가중 시뮬레이션을 요구하고, 위험군별 민감도 분석(예: 고령·청력저하·한국어 미숙 사용자)에 따라 하위 임계값을 차등 적용한다.

 

시스템층은 경보 발화·재시도·장애 복구·지연 시간에 민감하다.

SLA(예: 95% 경보가 5분 내 전달)와 페일세이프(모델 실패 시 사람 콜백) 규칙, 감사추적(누가 무엇을 왜 열람했는지)과 권한분리(사례배정 여부·근무시간·직무)에 따른 접근제어를 설계한다.

 

업무프로세스층에서는 “경보→확인→조치→기록→피드백”의 SOP를 표준화하고, 오탐·미탐 발생 시 이의제기·재평가 루프를 의무화한다. 각 위험에는 발생가능성×영향도를 점수화해 레드/앰버/그린으로 표시하고, 레드 등급은 즉시 완화조치(예: 임계값 상향/하향, 추가 확인 콜, 인간 검토 단계 삽입)를 걸어야 한다.

 

잔여위험 승인은 윤리위원회 명의로 문서화하고 만료일을 부여한다.

체크리스트

①데이터 편향·품질 지표 ②임계값·비용곡선 시뮬레이션 ③SLA·페일세이프·로그 규정 ④SOP·이의제기 루프

⑤레드리스크 즉시조치와 승인 문서 ⑥만료가 있는 잔여위험 관리.

4. 실행·모니터링·보고

: KPI·대시보드·감사·교육·개선 사이클

 

영향평가는 문서로 끝나면 실패다. 실행과 모니터링이 핵심이다.

우선 KPI를 안전·권리·성과로 나눈다.

안전  - 미탐→중증사건 전환률, 오탐→불필요 출동률, 경보→조치까지 평균시간(TTA).

권리 - 동의취득률, 철회 처리 TAT, 민원·이의제기 해결 리드타임, 무단열람 제로건 달성.

성과 - 지속이용률, 위기사건 조기개입 비율, 재입원·응급실 방문 변화 등이다.

 

모든 KPI는 대시보드로 실시간 모니터링하며 임계치 초과 시 자동 에스컬레이션을 건다.

사후감사는 분기마다 표본 로그를 무작위 점검해 접근사유·조치 정당성을 검증하고, 외부전문가 리뷰를 연 1회 이상 받는다.

 

교육은 신규·보수로 분리해 개인정보·윤리·시스템 사용법·시나리오 훈련(야간 경보, 대리인 오인, 언어장벽 상황)을 포함한다.

릴리즈마다 모델카드와 변경 이력을 공개하고, 사용자에게는 쉬운 언어의 변경 고지와 옵트아웃 경로를 제공한다.

 

사고 대응은 탐지→격리→평가→통지→재발방지의 5단계 체크리스트와 72시간 내 관계기관 통지, 24시간 내 당사자 1차 안내 같은 시간기준을 규정한다.

 

마지막으로 CAPA(시정·예방조치)를 운영해, KPI 미달·사고·민원 패턴을 원인-대책-책임자-기한 형식으로 기록하고 차기 분기 영향평가에서 조치효과를 검증한다.

 

이 사이클이 돌아갈 때 조직은 증거기반 책임성을 확보하고, 기술은 현장과 함께 안전하게 진화한다.

 

체크리스트

①KPI 세트 정의 ②대시보드·알림 임계치 ③분기 감사·연간 외부검토 ④교육·시나리오 훈련 

⑤릴리즈 노트·모델카드·고지 ⑥사고 대응 타임라인 ⑦CAPA 운영과 효과검증.