자율주행차와 AI, 기타 점검 사항


우리의 AI 기본법은 고영향 10개 영역 가운데 하나로 '교통안전법상의 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영'을 규정하고 있습니다.
사업자에 대한 과태료 등의 제재규정은 적어도 1년은 시행을 늦추겠다고 정부가 발표했지만 법조문 상 먼저 주목하게 되는 것은 자율주행차라는 교통수단만 독립적으로 규정된 것이 아니라는 점입니다.

즉 교통시설, 교통체계와 같은 교통인프라도 함께 규정되어 있어서 정부의 ‘고영향 AI 판단 가이드라인’이 고영향 AI로 예시하고 있는 ‘레벨 4 이상의 무인 자율주행차’가 제대로 운행되기 위해서는 기존의 교통설비, 교통체계 또한 AI 환경에 맞춰 같이 바뀌어야 함을 의미합니다. 따라서 자율주행차의 도입으로 자동차 관련 SW, HW 산업뿐 아니라 법적으로도 사이버보안, 보험, 나아가 제조물책임 등 연쇄적 체제 변화가 불가피합니다.

한편, 우리 법에 지대한 영향을 미친 EU AI 법은 부록(Annex) I에서 AI가 제품의 안전구성요소(safety components)로 사용되는 경우를 열거하고 있고, III에서는 새로운 고위험 영역을 신설하면서 '핵심 기반(critical infrastructure)' 중 하나로 'AI 시스템이 도로교통(road traffic)의 관리와 운영에서 안전구성요소로 사용되었을 경우'를 고위험으로 명시하고 있습니다. 구체적으로 자율주행차 자체에 대해서는 형식승인 등을 통해 적합성 판정을 하는 Regulation (EU) 2018/858, 안전구성요소에 대해 규제하는 Regulation (EU) 2019/2144가 Annex I에 열거되어 있고, 도로교통의 기반 설비, 체계에 대해서는 Annex III에서 안전구성요소를 중심으로 규제하게 됩니다.

이렇게 볼 때 우리 법 구조상 '교통'에서의 고영향 판정은 AI가 교통수단, 교통시설, 교통체계의 '주요한 작동 및 운영'에 관여하였는지를 판단하는 복합적인 작업이 되지만 EU AI 법은 교통시설, 체계와 같은 교통인프라에서의 새로운 AI 응용 영역은 물론이고 교통수단인 자동차도 AI가 '안전구성요소'로 사용되었는지를 집중적으로 점검하는 차이가 발생합니다.


Ⅰ. 우리 AI 기본법과 EU AI 법상의 자율주행차 규정 분석

1. 법조문

1) 교통안전법은 '도로교통법'에 의한 차마 또는 노면전차, '철도산업발전기본법'에 의한 철도차량, '궤도운송법'에 따른 차량은 물론이고 '해사 안전 기본법'에 따른 선박, '항공 안전법'에 따른 항공기를 모두 '교통수단'으로 열거하고 있습니다. 또한 도로ㆍ철도ㆍ궤도ㆍ항만ㆍ어항ㆍ수로ㆍ공항ㆍ비행장 등은 물론이고 교통안전표지ㆍ교통관제 시설ㆍ항행안전시설 등의 보조시설 또한 '교통시설'로 정의하고 있고, '교통체계'는 더 광범위하게 교통수단과 교통시설의 이용ㆍ관리ㆍ운영체계 또는 이와 관련된 산업 및 제도 등을 말하는 것으로 정의하고 있습니다.

따라서 우리 법상 자율주행차는 교통수단 중 하나로서 도로라는 교통시설을 이용하면서 디지털 교통체계 속에서 AI에 의해 스스로 판단, 움직여야 하는 것으로 정의됩니다. 그런 교통수단은 민간제조업체의 경쟁영역에 속하지만, AI 자율주행차의 판단과 운전을 가능하게 하는 교통시설과 교통체계는 공공 기반 영역이기 때문에 정부의 적극적 투자와 역할이 필수적인 복합적 구조에 들어가 있다고 할 수 있습니다.

2) EU AI 법은 고위험을 제6조에서 부록 I과 III으로 나눠 분류하고 있고, 부록 I은 AI 시스템이 제품의 안전구성요소(safety components)로 들어가거나 AI 시스템이 제품 자체가 되어 판매되며, 또한 제3자로부터 적합성 평가(conformity assessment)을 받도록 요구되는 제품군을 지칭하고 있기 때문에 육상, 해상, 항공의 전통적 교통수단들을 모두 포괄하게 됩니다. 이에 반해, 부록 III는 새로운 유형의 AI 고위험 영역 중 하나로 ‘핵심기반'(critical infrastructure)이라는 영역을 규정하고, 이를 '핵심 디지털 기반'(critical digital infrastructure), '도로교통'(road traffic), 그리고 물, 가스, 난방, 전기의 세 가지 영역으로 각각 구분하여 규정하고 있습니다.

즉 AI '도로교통'은 지능형 교통 신호등, 자율주행 차량의 안전 기능, 철도 또는 항공 교통 관제 시스템 등 물리적 운송 시스템의 관리 및 운영에 사용되는 안전 구성요소이면서 핵심 기반(critical infrastructure)이기 때문에 EU AI 법은 새로운 고위험 규제의 대상을 부록 III에서 '도로교통의 관리와 운영에 사용된 안전구성요소'로 명확히 하고 있습니다. 반면, 제품 (product)으로서의 자동차를 포함한 해상, 항공 등에서의 다양한 교통수단에 대해서는 안전구성요소에 대한 전통적 규제법들이 부록 I에서 명시됨으로써 결과적으로 우리의 AI 기본법처럼 EU도 교통수단, 교통시설, 교통체계를 다 포괄하여 고위험 영역으로 규율하는 구조를 취합니다.


2. 우리의 AI 기본법이 "교통안전법상의 교통수단, 교통시설, 교통체계의 주요한 작동 및 운영"을 고영향AI로 폭넓게 명시함에 따라 정부의 ‘고영향 AI 판단 가이드라인’은 자동차, 선박, 항공, 철도와 같은 교통수단별로 관련 교통시설 및 교통체계에 대한 세부적 '주요한 작동 및 운영'에 대해 설명하고 있습니다. 예를 들면, 자율주행차는 '운전 행위'를 통해 주요한 작동 및 운영이 이루어진다고 전제하고 '조건부 완전자율주행 시스템 이상'(레벨 4 이상)에 해당하면 고영향 AI로 분류되지만, 운전자의 착석 여부 및 안전띠 착용 여부와 같은 운전자 상태 감시 시스템은 레벨 3에 사용되며, 운전자가 당연히 인지하고 있어야 하는 사항을 보조하는 시스템이므로 고영향으로 분류하지 않습니다. 또한 자율주행차 관련 '교통시설, 교통체계'에 관해서는 ① 주요한 동작과 운영과 관련하여 의사결정을 내리는 데 관여하는 정도 ② 해당 의사결정에 따른 결과로 사고 발생 시 잠재적 피해 정도를 평가하여 고영향 AI해당여부를 결정하도록 하고 있습니다.

전자의 'AI가 스스로 판단하여 교통수단은 물론이고 교통시설, 교통체계의 주요한 작동 및 운용에 대한 의사결정을 내린다'라는 것은 "종래의 규칙 기반으로 미리 정해진 논리에 따라 작동 및 운용되지 않고, AI가 학습한 데이터에 기반한 추론 결과에 따라 주요한 작동 및 운용에 대한 의사결정이 내려지는 것"이라고 설명하고 있습니다. 따라서 논리적으로 사람이 주요한 작동 및 운용을 위한 의사결정을 내리고, AI 시스템 결과가 의사결정의 참고용, 보조용으로 사용되는 정도라면 고영향 AI로 분류되지 못합니다. 또한 후자의 잠재적 피해 정도를 평가하면서 스쿨존/교차로/철도 건널목 등과 같이 특별히 안전조치가 강화된 곳에 영향을 미치면 잠재적 피해 정도가 높은 것으로 평가합니다.


3. 안전구성요소 (safety components)
EU AI 법 부록 III에서 새롭게 고위험 영역으로 규정한 '도로교통의 관리와 운영에 AI 시스템이 안전구성요소로 사용된 경우'는 결국 사람의 생명, 신체의 안전에 직접적 위험을 초래하게 되는 고위험의 성격상 교통 인프라에서의 '안전구성요소' 판단 여부에 집중할 수밖에 없습니다. 육상교통의 경우 대체로는 지능형 교통 신호 제어 시스템 (AI-based Traffic Light Control), 터널과 교량 안전관리 AI, 가변 속도 제한 및 차로 제어 시스템 (VSL/LCS), 사고 자동 감지·통제 시스템 (Automatic Incident Detection & Response) 등을 생각할 수 있습니다. 이 가운데 가변 속도제한(VSL) 및 차로 제어 시스템(LCS)은 차량 흐름(혼잡, 평균속도, 통행시간)을 예측하고, 신호 연동, 차로 운영, 우회경로 안내, 가변 속도(VSL) 등을 통해 네트워크 전체를 최적화하기 위한 '교통관제센터(traffic management center)'의 대표적 AI활용 도구라고 할 수 있습니다.

현실적으로는 AI가 최적화된 교통신호체계를 디자인하고 산출하였더라도 인간(관리자)의 최종승인 행위를 요구하도록 시스템을 설계하는 경우 또한 흔하므로 결국 개별적으로 고위험 AI의 최종 규제 대상 여부를 종합적으로 판단할 수밖에 없습니다. 예를 들면, AI가 사고를 감지하고 경고신호를 보내 인간이 차로 통제나 변경을 결정하도록 도와주는 것과 AI가 위험을 감지하여 자동으로 차로를 변경시켜 사고를 예방, 인간의 개입 없이 실시간 통제하는 시스템은 법적 규제가 달라질 수밖에 없습니다.

즉 전자와 달리 후자는 '안전구성요소'로 분류되어 EU AI 법상 고위험 AI로 규제하게 됩니다. 그러나 교통수단, 교통시설, 교통체계의 '주요한 작동 및 운영'에 대한 고영향 AI 규제를 하는 우리 AI 기본법 규정과 비교하면 '안전구성요소'를 중심으로 규제하는 EU AI 법이 그 범위에 있어 훨씬 예측 가능하다고 할 수 있습니다.

Ⅱ. 자율주행차 운행을 위한 관련 법체계

1. 자율주행과 교통 시스템

레벨 3까지의 감독형 자율주행이 인간 운전자의 인지, 판단 반응을 전제로 운전자 중심의 교통 신호와 표시, 시설을 설계, 관리하였다면 인간의 개입이 원칙적으로 불필요한 레벨 4 이상의 자율주행은 AI가 인지하고 데이터신호를 주고받으면서 운행이 가능할 수 있도록 ‘교통시설’의 개념을 디지털신호, 통신설비, 센서 기반 등으로, ‘교통체계’는 AI·통신 인프라의 일부로 재설계되면서 중앙관리형 스마트 교통 시스템으로 바뀌게 됩니다.

구체적으로 현재의 AI 기본법상 도로교통 분야 고영향 영역의 법으로 명시된 '교통안전법'도 물리적 교통시설과 단속적 성격 중심의 법이 아니라 완전 자율주행차 시대에는 지능형 신호기, 디지털 교통표지, 도로 센서 및 IoT 설비, 교통 데이터플랫폼, 차량 통신 등 스마트 교통시설, 교통체계를 중심으로 고영향 AI 안전장치의 위험 사전 예방, 관리 성격의 법으로 바뀌게 됩니다.

EU는 2010년 ITS Directive (2010/40)을 통해 지능형교통체계(Intelligent Transportation System)의 프레임을 법으로 규정함으로써 차량·교통 기반, 교통 정보가 상호운용(interoperable) 되도록 디지털 교통 데이터의 제공, ·연계의 표준화 의무화를 하게 하는 등 EU 회원국 간 ITS 교통시설과 서비스의 공통 표준을 확립하였습니다. 이후 2023년 Directive 개정(2023/2661)을 통해 도로뿐 아니라 철도, 항공, 해운 등 타 운송수단도 포함한 ‘자율주행’의 실현을 위해 디지털 교통 데이터를 기계 판독할 수 있는 디지털 형식으로 제공하도록 표준화 (의무화)하는 등 디지털 교통시설의 핵심 기반을 확충한 바 있지만 2010년 Directive에서의 ITS 정의(제4조)는 여전히 유지되고 있습니다.

EU는 ICT 기술을 교통, 차량 관리, 다른 교통수단과의 소통, 교통시설, 차, 이용자를 포함한 도로교통에 적용하는 시스템으로 보되, 2023년 개정된 ITS Directive에서는 시스템이 운전을 주도하게 되는 자율주행 레벨 4 이상 단계에서 자율주행차가 도로의 모든 요소와 실시간으로 소통하면서 협력하여 안전을 확보함은 물론, 효과적인 차량흐름을 확보하기 위한 C-ITS (cooperative intelligent transport systems) 개념을 추가하였고, EU 각국의 국내 법으로의 반영은 2025년 12월 21일까지였습니다. 완전자율주행 단계라고 할 수 있는 레벨 4 이상에서 ITS 이용자(users)는 인간 운전자가 아니라 자율주행차이고 인간 운전자가 보고 판단할 정보를 제공하는 ITS에서 자율주행차가 직접 해석하고 즉각 반응할 데이터를 도로 인프라가 제공하는 C-ITS로 진화하여야 하기 때문입니다.


2.사이버보안
자율주행차와 관련된 사이버보안 체계는 자동차의 제조사가 부담하는 자동차 자체의 사이버보안 인증인 CSMS(Cyber Security Management System)과 차량과 차량, 기반, 보행자 등과 상호 통신하면서 (V2X) 메시지가 진짜 참여자에게서 왔는지, 중간에서 변조되지 않았는지, 그리고 차량을 장기적으로 추적하기 어렵게 할 수 있는지를 보장하는 통신용 신뢰 기반 체계인 SCMS (Security Credential Management System)이 구분됩니다. 우리 법으로도 전자는 자동차관리법에 규정되어 있고, 후자는 '자율주행 자동차 상용화 촉진 및 지원에 관한 법률'(이하 '자율주행자동차법'으로 칭함)로 구분되어 규정되어 있습니다. 더 나아가 SCMS 운영의 상위 전략과 기반 구축은 '국가통합교통체계효율화법'의 지능형교통체계 (ITS) 기본 계획에서 출발하게끔 되어 있습니다.

한편, '자율주행자동차법'은 "자율협력 주행 과정에서 일어나는 통신 등의 안전성 및 신뢰성을 확보하기 위하여 자동차, 노변 기지국 등 도로교통의 구성요소들을 식별하고 증명하는 행위"를 '자율협력 주행 인증'으로 정의하고, 국토교통부 장관으로 하여금 자율협력 주행 인증 업무를 안전하고 신뢰성 있게 수행할 능력이 있다고 인정되는 자를 인증기관으로 지정, 관리하도록 하고 있습니다. 다만 보안 인증 체계인 SCMS는 자율주행 자동차를 안전하게 주행하게 하기 위한 신뢰 기반이고 기술적 필수 요소임에도 불구하고 탑재를 직접 강제하는 명문의 규정을 두지 않는 대신 인증기관의 감독을 통해 탑재를 간접 강제하게 됩니다.

따라서 만약 SCMS 관련 해킹 등 보안 사고가 발생하게 되면 현재의 법 체계상 IT 사고 자체를 다루는 외부의 정보통신망법, 개인정보보호법, 형법과 교통사고를 다루는 도로교통법, 그리고 자율협력 주행 인증기관에 대한 제재가 가해지도록 한 자율주행자동차법 등이 다원적으로 적용됩니다. EU 차원에서도 실시간으로 자율주행차가 주고받는 메시지의 신뢰성·무결성·출처를 EU 차원에서 보증하는 교통 전용 기반인 C-ITS SCMS (security credential management system)을 2023년의 EU Directive (2023/2661)를 통해 EU 각국의 법으로 구축, 운영되게 의무화하였습니다.

한편, 미국은 교통부가 연방규정 (Federal Motor Vehicle Safety Standards; FMVSS)으로 자율주행·협력 지능 교통 시스템(C-ITS/V2X)의 보안 인증 체계 도입을 의무화하는 입법예고를 한 적이 있었지만 이후 철회, 현재는 단일한 연방기준을 통한 강제인증 의무화보다는 정부의 가이드라인 제시를 통해 산업계의 자율적 보안체제 강화를 유도하고 있습니다.

즉 전체적으로는 현재 EU의 2023년 Directive (2023/2661)와 같이 연방차원에서 자율주행 C-ITS 인프라나 관련 데이터 체계를 전국적으로 구축하도록 강제하는 단일 규범은 없고, 훨씬 분산된 형태로 규율하게끔 되어 있습니다. 예를 들면, 자율주행차는 먼저 차량 자체의 안전을 확보하기 위한 연방차원의 제품안전 규제로 중점적으로 다루어지게 되고, 자율주행에 사용되는 메시지의 신뢰성·인증은 EU처럼 하나의 통일된 규제체계가 아니라 별도의 FCC 통신규칙, 기술표준, SCMS 체계, 주 정부 차원의 규제 등으로 분산되어져 있습니다.


Ⅲ. 기업에 대한 시사점

1. AI 기본법은 고영향 AI사업자에게 제34조 1항의 5개 책무 (①위험관리방안의 수립, 운영, ②설명방안의 수립, 시행, ③이용자 보호방안의 수립, 운영, ④사람의 관리, 감독, ⑤문서의 작성과 보관)를 중심으로 의무를 부과하고 있지만 다른 법령에서 정하는 조치를 이행하는 경우에는 제1항의 5개 책무를 이행한 것으로 본다고 규정 (제34조 3항)하고 있습니다.

이에 따라 대통령령 제27조는 '자율주행자동차법'상의 성능인증 및 변경 인증을 받은 경우, '자동차관리법'상의 사이버보안 관리체계 인증 및 변경 인증을 받고 동 법 제34조의5에 따른 모든 책무를 이행하였으면 AI기본법 제34조 1항 1호의 위험관리 방안에 대한 사업자 책무를 이행한 것으로 본다고 명시하였습니다. 나아가 '자율주행자동차법' 제43조에 따른 책무를 모두 이행한 경우, 즉 '안전 운행 조치'를 이행하면 AI 기본법상의 사람의 관리, 감독에 대한 고영향사업자 책무를 이행한 것으로 본다고 함으로써 중복 규제를 받지 않게 배려하고 있습니다.

대통령령은 한 걸음 더 나아가 고영향 AI 사업자의 책무에 대한 최후의 준수 가드레일로서 지능정보화기본법 제60조의 '안전성 보호조치'를 이행하면 AI 기본법 제34조 1항 1호의 위험관리방안, 2호의 설명방안, 4호의 사람의 관리, 감독 의무에 따른 조치를 사업자가 이행한 것으로 본다는 추가 규정까지 둠으로써 결과적으로 고영향 AI 사업자가 부담하여야 하는 핵심 책무의 부담을 크게 줄였습니다.

한편, AI 기본법 제35조에 규정된 기본권 영향평가는 비록 자율적 준수 규정이라 할지라도 규정상으로는 자율주행차를 운행하는 AI 이용사업자에게도 적용되게끔 되어 있습니다. 그러나 EU AI 법은 제27조의 기본권 영향평가 의무를 부담하는 이용사업자(deployer)의 범위를 공공기관, 공공서비스를 제공하는 민간기관, 금융에서의 신용평가, 신용점수, 그리고 보험에서의 위험평가와 보험료를 결정하는데 한정하고 있어서 자율주행차와 같이 제품의 개발사업자(provider)가 안전에 대한 의무를 원칙적으로 부담하여야 하는 경우에는 법상 기본권 영향평가 의무 대상에서 제외하고 있습니다.

2. 한국의 AI 교통체계와 같은 인프라 시스템을 미국이 아닌 EU에 수출하고자 하는 사업자는 실무적으로 먼저 자사 제품, 서비스의 기능을 분리 설계하는 것부터 포함, 개발 단계에서부터 꼼꼼하게 준비하는 것이 필요합니다. 왜냐하면, 우리의 AI 기본법과는 차원이 다르게 도로교통 관련 고위험 모델의 국내 개발사업자는 물론이고 이용사업자라 할지라도 EU 시장에 진입하기 위해서는 먼저 제품, 서비스의 적합성 평가를 의무적으로 받아야 하는 EU AI 법의 획일적인 규제구조 (제43조 이하) 때문입니다. 또한 사업자의 의무 역시 고위험 모델의 전 수명주기 동안 지속되며, 특히 육상의 도로교통은 교통시설, 교통체계가 노후화, 날씨와 이용 패턴 변화 등 사업자의 사후감시적 관리의무가 수반될 수밖에 없는 성격의 제품군이기 때문에 사업자는 더더욱 관련 제품 개발 단계에서부터 의무 부담을 염두에 두어야 합니다.

다만 우리 AI 기본법과 달리 EU AI 법은 '안전구성요소'에 규제의 초점이 있어서 AI 활용 기능이 모듈별로 독립적으로 움직이고 더욱이 제품의 '안전구성요소'로 들어가 있지 않다면 수출기업으로서는 해당 교통 제품 전체를 고위험으로 사전 인증을 받을 필요도 없이 규제 위험 부담을 크게 줄일 수 있습니다.

구체적으로 EU AI 법상 고위험으로 분류될 수 있는 기능은 단일 제품 속에 통합하지 말고 반드시 모듈화하여 분리하고, 자동제어 기능과 같이 고위험 영역으로 분류될 수 있는 범위 또한 될 수 있는 대로 줄여 설계, 개발토록 함으로써 EU 시장의 규제 위험 부담을 미리 줄이면서 전략적으로 대비하는 것이 필요합니다. 더욱이 도로교통 인프라 관련 AI활용이라면 우리와 달리 EU AI법은 기본권영향평가의 의무대상으로 분류하지 않습니다.