사용자의 개입 없이 스스로 문제를 해결하는 4세대 인공지능 ‘에이전트 AI(Agentic AI)’의 활용 가능성이 커지고 있는 가운데, 이를 제도적으로 뒷받침할 법적 논의는 아직 초기 단계에 머물러 있다는 지적이 나온다. 에이전트 AI가 고영향 인공지능에 해당하는지 여부와 활용 확대에 앞서 신뢰성과 책임 기준을 선제적으로 마련해야 한다는 필요성이 제기됐다.

1일 서울 여의도 국회의원회관에서 열린 ‘고영향 AI 및 Agentic AI 시대의 신뢰 확보를 위한 정책적 논의’ 세미나에는 정부와 산업계, 기업, 학계 관계자들이 참석해 에이전트 AI의 활용 가능성과 법적 쟁점에 대해 의견을 공유했다. 세미나를 주최한 최수진 국민의힘 의원은 환영사에서 “내년 시행을 앞둔 인공지능기본법은 고영향 AI와 생성형 AI를 정의하고 안전하고 책임 있는 활용을 위한 제도적 틀을 마련했지만, 최근 급부상하고 있는 에이전트 AI에 대한 논의는 여전히 초기 단계에 머물러 있다”고 지적했다.

이어 “에이전트 AI가 고영향 인공지능에 포함되는지 여부, 별도 법적 기준이 필요한지에 대한 사회적 합의가 필요한 시점”이라며 “국민이 신뢰할 수 있는 안전장치와 정교한 제도 마련이 시급하다”고 강조했다.

에이전트 AI는 하이퍼오토메이션과 같은 기술 발전과 함께 일상 속 간단한 작업에서부터 업무에 이르기까지 폭넓게 적용되고 있다. Salesforce의 최근 연구에 따르면 앞으로 2년 내 에이전트 AI의 도입률이 327% 증가할 것으로 전망됐다. 단순한 자동화 도구에서 벗어나 자율적으로 판단하고 행동하는 에이전트 AI 확산이 현실화되고 있다는 분석이다. MIT AI Agent Index 역시 67개에 달하는 에이전트 사례를 분석한 결과 소프트웨어, 컴퓨터 활용, 연구 등 다양한 분야에 걸쳐 적용되고 있다고 집계했다.

◆ 기존 규제체계로는 한계…신뢰 기반 거버넌스 필요
최민석 AI안전연구소 실장은 이날 토론회에서 현행 체계는 AI를 수동적 도구로 간주하고 있어 다수의 에이전트가 상호작용하며 자율적으로 판단하고 행동하는 상황에서 실시간 감독이 어렵고, 배포 이후 관리 책임이 명확하지 않으며 사고 발생 시 책임소재도 불분명하다고 설명했다. 최 실장은 “에이전트의 자율성이 높아질수록 그에 비례하는 단계적인 권한 설계가 필요하다“고 강조했다. 

최 실장은 ▲단계적 권한 부여 ▲사전 승인 절차 ▲실시간 모니터링 시스템 등 다층적 안전장치 구축을 제안했다. 또 일정 수준 이상의 자율성을 가진 에이전트에 대한 공지, 지속적인 모니터링, 개발자-배포자-사용자 간 책임 분담 체계 수립, 국가 간 안전 기준 마련과 사고 대응 협력 등 법·제도적 프레임워크와 국제 협력 체계 마련의 필요성도 제시했다.

최 실장은 “에이전트 AI가 인류에게 기회와 위협을 동시에 안겨주는 기술인 만큼 기술 혁신과 함께 이를 신뢰할 수 있는 생태계로 관리하는 이중적 과제에 직면해 있다“며 “기술 개발자, 정책 입안자, 학계, 시민사회가 협력해 새로운 거버넌스 모델을 구축해야 한다“고 말했다. 

◆ “Trust 정책 필요하지만…기술 막지 않는 유연한 규제 필요”
이어진 토론에서 이형섭 삼성SDS 커뮤니케이션팀 상무는 에이전트 AI 도입 시 종합적인 접근이 필요하다고 말했다. "에이전트 AI는 사용자를 대신해 판단하고 업무를 수행하는 기술인 만큼 결과에 대한 검증이 중요하다”며 “AI는 정확하지 않기 때문에 오류 가능성을 인지해 사람이 확인하는 검수 과정을 통해 신뢰를 확보해야한다“고 말했다. 사용자의 무비판적 사용을 방지하기 위해 교육도 함께 병행돼야 한다고 덧붙였다. 

특히 Trust 정책과 관련해 필요성은 충분히 공감하지만, 과도한 규제가 기술 발전을 위축시켜선 안 된다고 강조했다. 최 상무는 “에이전트 AI 는 아직 초기 단계의 기술로 각 기업의 도입 수준과 방향도 천차만별”이라며 “정책은 신기술 확산의 발목을 잡지 않도록 유연하게 설계돼야 한다”고 말했다. 이어 “기술적 리스크를 예방하고 최소화하기 위한 제도적 논의는 필요하지만 발전과 책임이 함께 갈 수 있는 균형점이 중요하다”고 덧붙였다.

한편, 삼성SDS 컨소시엄은 최근 행정안전부의 ‘범정부 초거대 AI 공통기반 구현 사업’에서 우선협상대상자로 선정돼 본격적인 준비 단계에 들어섰다. 회사 측은 향후 에이전트 AI 기술을 공공기관 시스템과 연계해 적용하는 방안도 검토 중이며 이를 기반으로 관련 사업을 단계적으로 확대할 계획이라고 밝혔다.