[정책 트렌드] '신뢰' 없는 인공지능 규제, 기술사회와 민주주의의 경계에서

[KtN 임우경기자] 2026년 1월 시행 예정인 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 '인공지능기본법')의 시행령 제정을 둘러싸고, 한국 사회는 지금 '규제의 본질'을 다시 묻는 순간에 직면해 있다. 민주사회를위한변호사모임 디지털정보위원회, 정보인권연구소, 진보네트워크센터, 참여연대 등 시민단체들이 공동 제출한 의견서는 단지 법령의 미비를 지적하는 수준을 넘어서, 디지털 권력 구조에 대한 근본적 문제제기를 내포한다. 시민사회가 지적하는 핵심은 명확하다. 인공지능의 영향력은 사회 전 영역으로 확장되고 있음에도 불구하고, 해당 법제는 그 사회적 무게를 담아내기에 턱없이 얕다는 것이다.

특히 시행령 제정 과정에서 시민사회가 전적으로 배제되었다는 점은, ‘신뢰 기반 조성’이라는 법명의 전제를 무색하게 만든다. 기술적 논리와 산업진흥 중심의 정책기조가 규제 설계의 중심을 점하고 있는 현실은, 결과적으로 인공지능이 시민의 삶에 미치는 구조적 영향을 외면하는 형태로 귀결된다.

‘고영향 인공지능’이라는 구조적 맹점

인공지능기본법 제2조는 고영향 인공지능을 “사람의 생명, 신체의 안전, 기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 큰 인공지능”으로 정의하고 있으나, 실제 법적 규정은 그 정의를 구체화하거나 실효적 통제 기제를 마련하지 못하고 있다. 시민사회는 이에 대해 “국민의 권리에 실질적으로 작동하는 고영역을 누락했다”고 명확히 지적한다.

출입국, 난민심사, 고용평가, 인사배치, 선거관리, 교육선발 등 인공지능이 판단을 통해 인간의 삶을 계층화하거나 배제하는 역할을 수행하는 영역이 법령상 명시되지 않았다는 것은, 위험의 비대칭성과 사회적 계급화 가능성을 방기한 것과 다름없다. 유럽연합(EU)의 AI 규제 법안이 사회적 점수화(social scoring)나 인간의 자유의지를 왜곡하는 인공지능을 명시적으로 금지하는 것과는 구조적으로 다른 접근이다.

한국 사회가 고영향 인공지능의 개념을 방기하는 사이, 기술은 이미 권력화되고 있다. 이 권력은 투명하지 않고, 책임지지 않으며, 특히 피해자에게는 구조적으로 불평등한 방식으로 작동할 가능성이 높다.

국방 목적 AI, ‘면책특권’의 기술화

가장 논쟁적인 조항 중 하나는 제4조에서 명시된 “국방 또는 국가안보 목적의 인공지능은 법 적용에서 제외”된다는 내용이다. 시민사회는 이를 기술적 예외가 아닌 정치적 치외법권의 승인이라고 보고 있다. 문제는 여기서 그치지 않는다. 국가안보의 이름으로 모든 기술적 행위가 면책될 경우, 인권 침해는 비가시적 권력으로 제도화될 위험이 있다.

이는 단지 감시 기술에 국한된 문제가 아니다. 전투 드론, 자동살상 알고리즘, 예측형 범죄 모델 등이 실제 적용되는 현장을 고려할 때, ‘안보’라는 이름으로 도입된 기술이 시민의 생명과 자유에 실질적 영향을 미치고 있음에도 불구하고, 법적 통제의 외부에 놓여 있다는 사실은 심각한 문제다.

특히 이러한 기술이 국방 영역에서 개발된 후 민간 영역으로 이식되는 ‘기술 전이’ 현상까지 감안하면, 국방 목적 기술을 전면 면제하는 조항은 AI 거버넌스 체계를 완전히 무력화할 수 있는 구조적 허점으로 작용한다.

투명성과 책임의 이중 구조, 기술 생태계의 윤리 설계 부재

의견서는 기술 공급자와 사용자 간의 법적 책임 구분, 그리고 AI 투명성에 대한 구체적 의무화를 요구하고 있다. 이는 단지 규범적 요청이 아니라, AI 기술의 다층적 구조를 반영한 법적 리스크 구조화의 필요성이다.

예컨대 개발자는 학습 데이터의 출처, 저작권자의 동의 여부, 연산량과 자원 사용 내역을 공개해야 하며, 이용자는 AI 시스템의 위험 여부를 판단하고, 피해 발생 시 즉각 사용을 중단할 책임을 져야 한다. 이러한 구조는 단순히 책임을 이양하는 방식이 아닌, 기술 생태계 전반의 윤리적 설계 원리를 사회적으로 재설계하는 행위에 가깝다.

유럽 AI법이 기계판독 가능한 책임추적성(Traceability)을 법제화한 것은 AI가 인간 사회에 미치는 영향을 기술적 사후관리 수준이 아닌 사회적 책임 체계로 재정의하려는 시도이다. 반면 한국 시행령 초안은 ‘자율’과 ‘자정’이라는 추상적 원칙에 기대고 있다.

데이터센터, 디지털 자원의 블라인드스팟

시민사회는 학습용 데이터의 수집 및 이용 과정에서 개인정보보호법, 저작권법의 위반 가능성에 대한 대응뿐 아니라, 데이터센터 운영이 기후위기에 미치는 구조적 영향까지 포함해야 한다고 주장한다. 이는 AI 생태계를 자원 집약적 산업으로 바라보는 인식의 전환을 요구한다.

특히 연산량이 방대한 범용 AI의 경우, 물과 전기 사용량은 지역 공동체의 에너지 수급에도 영향을 미친다. 기술의 진보가 생태적 지속 가능성을 해치고 있다면, 그것은 미래가 아니라 위협이다. 따라서 데이터센터의 에너지 사용 정보를 공개하고, 지역 단위의 환경영향을 평가할 수 있도록 하는 조항은 법제도의 ‘생태 민주화’로 해석될 수 있다.

인공지능 영향평가, 공공성의 실현인가, 형식적 면책인가

시민사회는 인공지능 영향평가 제도(35조)에 대해 보다 실질적인 이행 메커니즘을 요구한다. 특히 정부기관, 공공기관, 공공서비스 조달기업에게는 사전평가뿐 아니라 정기적 사후평가와 평가결과 공개를 의무화해야 한다는 주장이다.

이는 단순한 감사의 성격을 넘어서, 디지털 기술이 공공정책과 서비스 구조에 어떤 구조적 영향을 미치고 있는지를 추적 가능한 기록으로 남겨야 한다는 요구다. 이 평가에는 인권영향, 지역사회 영향, 젠더 영향 등이 포함되어야 하며, 국가인권위원회와의 협력체계가 함께 제도화되어야 한다.

기술사회에서 ‘신뢰’는 권력의 분산으로부터 출발해야

인공지능기본법의 핵심적 결핍은 기술적 정교함의 부족이 아니라 민주주의적 상상력의 부재다. 신뢰는 감정적 호소나 산업적 성장의 논리에서 발생하지 않는다. 그것은 권력이 시민에게 재분배될 때, 그리고 그 권력이 제도적으로 보장될 때 비로소 발생한다.

AI는 인간을 강화할 수도, 대체할 수도 있다. 그것이 어느 방향으로 작동할지는 결국 사회가 어떤 구조를 선택하는지에 달려 있다. 시민사회가 요구하는 것은 기술의 중지를 뜻하지 않는다. 오히려 기술의 진보가 시민의 권리 위에서 설계되어야 한다는, 사회계약의 갱신이다.

2026년의 시행령은 단지 한 법률의 시작이 아니라, 디지털 시대의 통치 원리가 어디로 향할 것인가를 결정짓는 시금석이 될 것이다. 그리고 그 선택의 중심에는 ‘누가, 어떻게, 기술을 통제할 것인가’라는 질문이 놓여 있다.