인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 일부개정법률안

제안 이유

제안자는 사람의 개별 지시 없이 스스로 계획하고 외부 시스템을 활용해 여러 단계 임무를 수행하는 인공지능 에이전트가 확산되면서 위임 권한을 벗어난 작동과 예측하지 못한 위험이 나타나고 있으나 이에 대응하는 사업자 의무 규정이 없다고 설명합니다. 또한 국민의 윤리적이고 책임 있는 인공지능 활용 역량 함양 시책도 명시되어 있지 않다고 밝혔습니다.

주요 내용

1. 정부의 인공지능 신뢰 기반 조성 시책에 모든 국민이 인공지능을 윤리적이고 책임 있게 활용할 수 있는 역량을 함양하기 위한 교육·홍보 및 지원이 추가됩니다.

2. 위 역량 함양 시책은 「디지털포용법」 제14조에 따른 디지털역량 함양 활동과 연계되도록 정부가 노력해야 합니다.

3. 인공지능사업자는 대통령령으로 정하는 기준에 해당하는 인공지능 에이전트를 개발하거나 제공할 때 권한 위임의 범위와 한계를 사전에 설정해야 합니다.

4. 인공지능사업자는 외부 시스템 또는 도구 연계로 발생할 수 있는 보안 및 오작동 위험을 평가·관리해야 하며, 위임받은 권한을 벗어나 작동하는 것을 막기 위한 기술적 조치를 마련해야 합니다.

5. 정부는 인공지능사업자가 이러한 조치를 효과적으로 마련할 수 있도록 안전성 확보의 기준·방법 등에 관해 컨설팅·자문 등 필요한 지원을 할 수 있습니다.

달라지는 점

• 현행

  정부의 신뢰 기반 조성 시책은 1호부터 7호까지 있으며, 국민의 인공지능 역량 함양에 관한 시책은 명시되어 있지 않습니다.

  개정안

  제7호로 모든 국민이 인공지능을 윤리적이고 책임 있게 활용할 수 있는 역량을 함양하기 위한 교육·홍보 및 지원이 추가됩니다.

• 현행

  인공지능 에이전트에 관한 사업자의 안전성 확보 의무 규정이 없습니다.

  개정안

  제32조의2를 신설하여 인공지능사업자가 권한 위임의 범위와 한계를 사전 설정하고, 외부 시스템·도구 연계 위험을 평가·관리하며, 권한 이탈 방지 기술적 조치를 이행하도록 합니다.

• 현행

  인공지능 에이전트 안전성 확보와 관련한 정부 지원 규정이 없습니다.

  개정안

  정부는 사업자의 안전성 확보 기준·방법 등에 관해 컨설팅·자문 등 필요한 지원을 할 수 있습니다.