여성 얼굴에 음란물을 합성한 딥페이크 영상물 파문이 전방위로 확산하고 있지만 인공지능(AI) 기술을 범죄에 악용한 생성물을 식별하고 걸러낼 수 있는 제도적 장치가 없어 심각한 사회 문제와 인권 유린을 방치한다는 비판이 커지고 있다.

27일 정보통신(IT) 당국과 국회 등에 따르면 AI 기술이 통제 수준을 넘어서 고의로 악용되는 우려를 막기 위한 '인공지능 산업 육성 및 신뢰 확보에 관한 법률안' 등이 국회에 계류돼 있다.

법안들은 대부분 지난 21대 국회에서 결론을 내리지 못한 채 임기 만료로 폐기됐다 22대 국회에서 재발의된 것으로, 21대 국회 김승수 국민의힘 의원이 대표로 발의한 정보통신망법 일부개정안이 26일 국회 과학기술정보방송통신위원회 전체 회의에서 법안소위로 넘어가는 등 논의가 다시 시작되고 있다.

이 법안은 AI 생성물에 가상의 정보라는 특정 표식, 이른바 '워터마크'나 메타데이터를 넣도록 하고, 플랫폼 기업들은 표식이 없는 AI 생성물을 바로 삭제할 것을 의무화했다.

국회 입법조사처는 이 법안에 대한 입법 영향 분석 보고서에서 "이미지·영상·음성 등을 인공지능으로 만들었다는 것을 의무적으로 표시할 경우 사람들이 가상 정보와 실제 사실을 쉽고 효과적으로 구분하게 되고, 최근 고도로 정교해진 딥페이크 문제를 줄이는 효과를 기대할 수 있다"고 했다.

이 법안이 지난 국회에서 통과됐다면 최근 사회를 경악에 빠트린 지인 얼굴 합성 등의 광범위한 딥페이크 범죄를 사전 차단할 수 있었을 것이라는 아쉬움이 나오는 지점이다.

다만, 어떤 생성물이 AI를 쓴 딥페이크라는 사실을 정확하게 가려내고 표시하기가 기술적으로 상당히 어렵다는 한계는 법안 통과 등 제도 정립을 가로막는 원인으로 꼽힌다. 오픈 소스로 공개된 AI 모델을 쓴 딥페이크는 추적이 쉽지 않은 점에서다.

자칫 이러한 규제가 막 태동하는 생성형 AI 산업 발달을 가로막는 것 아니냐는 우려도 있다.

입법조사처도 보고서에서 "표시 기술과 제도의 불완전성, 산업계 부담 증가, 개인의 표현의 자유 제한 등의 문제가 예상되므로 적절한 보완 조치가 필요할 것"이라고 첨언했다.

이 법안이 AI 생성물이 딥페이크가 아니라는 증명을 하고, 그렇지 않은 콘텐츠는 즉시 삭제하도록 강제한 데 대해 플랫폼 기업들이 "딥페이크 생성물의 완벽한 식별은 기술적으로 난도가 높아 즉시 삭제는 어렵다"는 입장을 밝힌 것으로 전해진다. 과학기술정보통신부 역시 입법조사처에 해외 입법 동향을 봤을 때 표시 의무를 개인에게까지 부과한 사례는 없다는 점을 전달했다.

과기정통부 관계자는 "AI 워터마크라는 것이 종이에 찍는 워터마크처럼 정확히 표시할 수 있는 성격이 아니라는 문제가 있고 AI 산업 발달을 저해하지 않는 방안도 필요하다"며 "정확한 방법론을 고민 중"이라고 말했다.

법안 제정 추진과 함께 과기정통부는 지난해부터 내년까지 24억원을 투입, 성균관대 산학협력단 등과 함께 악의적으로 변조된 콘텐츠 대응을 위한 딥페이크 탐지 고도화 및 생성 억제 기술을 연구개발 중이다.

또, 진짜 데이터가 가짜 데이터를 찾아 진위를 가리는 기술인 생성적 적대 신경망(GAN·Generative Adversarial Networks) 기술을 활용하는 방안도 검토 중이다. 한국정보통신기술협회(TTA)는 딥페이크 방지법 제정과 별도로 플랫폼 및 생성형 AI 업계에 제시할 지침인 'AI 워터마크 적용 가이드라인'을 연내 마련한다는 계획이다.