소프트웨어 안전과 자율주행 제조사 책임 — 테슬라 사고 판결과 ISO 26262가 말하는 것

핵심 메시지

• 소프트웨어 안전은 외부 침해가 없는 상태에서 기능이 안전하게 구현됐는지와 무결성을 갖췄는지를 보는 영역으로, 외부 위협에 대응하는 보안과는 구분된다.
• 2019년 발생한 테슬라 사고에 대한 판결은 제조사 책임을 처음으로 물은 사례로, 7 대 3 수준의 제조사 과실에 징벌적 손해배상까지 인정됐다.
• 오토파일럿과 풀셀프드라이빙은 실제로는 운전자가 전방을 주시해야 하는 자율주행 2단계 주행 보조인데도 3단계 이상으로 오해할 표현을 써 온 점이 책임 인정의 핵심이었다.
• 차량 안전은 기능 안전을 규정한 ISO 26262, 운행 중 안전을 다루는 ISO 21448, 그리고 지난해 새로 마련된 AI 안전 표준이 서로 맞물려 하나의 판으로 작동한다.
• 국내에서는 항공·자동차·의료가 비교적 잘 갖춰져 있고, 과기정통부의 소프트웨어 안전 고시가 최소 기준 역할을 하되 도메인별 세부 기준은 각 분야가 스스로 마련해야 한다.

쉽게 이해하기

소프트웨어정책연구소가 연 2026 소프트웨어 산업전망 컨퍼런스의 이 발표는 AI와 양자, 로봇이라는 기술의 지향점에 어떻게 도달할 것인가라는 질문을 안전에서 찾습니다. 발표자가 말하는 소프트웨어 안전은 두 가지를 함께 봅니다. 기능 자체가 안전하게 구현돼 있는가, 그리고 무결성을 갖추고 있는가입니다.

여기서 중요한 구분이 안전과 보안입니다. 외부의 침해가 없는 상태에서 시스템 자체의 무결성과 오작동을 막는 것이 안전이고, 외부 침해에 대응하고 예방하는 것은 보안의 영역입니다. 두 말이 자주 혼용되지만 규범과 표준에서는 다른 자리를 차지합니다.

발표는 이 정의를 2019년 테슬라 사고에 적용해 보입니다. 운전자가 전방을 주시하지 못한 상태에서 앞차를 추돌하고 보행자를 덮친 사고였는데, 전방 주시 여부와 무관하게 긴급제동 장치가 작동했어야 했다는 점에서 소프트웨어 결함이 함께 있었습니다. 기존에는 운전자 부주의로 처리돼 제조사에 책임을 묻지 않았지만, 최근 8월에 나온 판결은 제조사 과실을 7 대 3 수준으로 인정하고 징벌적 손해배상까지 더했습니다.

판결을 읽는 열쇠는 자율주행 단계입니다. 0단계부터 5단계까지 가운데 2단계까지는 주행 보조이고 흔히 떠올리는 자율주행은 3단계부터입니다. 테슬라의 오토파일럿과 풀셀프드라이빙은 운전자가 앉아 전방을 주시해야 하는 명확한 2단계 장치인데도 그 명칭을 조건 없이 사용해 왔고, 이는 합리적으로 예상 가능한 사용자의 오용을 막고자 하는 ISO 21448의 취지에 어긋납니다. 설계 결함은 기능 안전을 규정한 ISO 26262 쪽의 미흡함으로, 사고 당시 데이터를 즉각 제시하지 않은 점은 제조사 의무 위반으로 각각 연결됐습니다.

국내 상황을 보기 위해 연구진은 안전 필수 분야를 먼저 규정했습니다. 행정안전부의 범정부 정보시스템 1등급, 주요 정보통신 기반시설, 재난안전법상 국가 핵심 기반시설에 더해 최근 나온 AI 기본법의 고영향 인공지능이 그 범위에 가깝습니다. 그중 항공·자동차·의료를 살펴본 결과, 항공은 예방·대비·대응·복구 전반을 체크리스트 수준까지 촘촘히 갖췄고 자동차는 민간 영역 특성상 관리기구 구성 항목을 빼면 항공과 비슷했으며, 의료는 올해 시행된 디지털 의료제품법을 축으로 예상보다 빠르게 국제 표준을 받아들이고 있었습니다.

주요 인사이트

• 이번 판결의 무게는 사고 자체보다 이름 붙이기에 있습니다. 2단계 장치에 풀셀프드라이빙이라는 조건 없는 표현을 쓰면 사용자는 전방을 주시하지 않아도 시스템이 막아 줄 것으로 기대하게 되고, 그 기대를 만든 쪽이 책임을 지게 됐습니다.
• 실제로 이후 표기는 바뀌었습니다. 풀셀프드라이빙 옆에 감독이 필요하다는 조건이 함께 명시되고, 옵션 선택 화면에서도 같은 표기가 붙는 형태가 되었습니다.
• 표준은 따로 놀지 않습니다. 소프트웨어 업데이트와 보안, 기능 안전이 하나의 틀에서 맞물릴 때 비로소 차량의 안전이 담보되며, 발표자도 앞으로 디지털 안전이라는 전반적 틀에서 통합 관리되는 방향이 적절하다고 봅니다.
• 하나의 표준 프레임워크로 모든 분야를 같은 수준으로 덮기는 어렵다는 진단도 함께 나왔습니다. 영역마다 요구되는 도메인 지식이 다르고 버티컬 AI로 갈수록 더 세분화되기 때문에, 공통 프레임워크는 최소한의 지침 수준에서 성립할 수 있다는 것입니다.
• 과기정통부의 소프트웨어 안전 확보 지침 고시는 안전 책임자 지정과 관리 대상 소프트웨어 지정, 개발·운영 단계별 관리를 규정하고 있지만 현재는 공공 중심입니다. 컨설팅 확대와 예산 편성 지원, 공공과 민간이 함께 참조할 모델 제시가 과제로 꼽혔습니다.

자주 묻는 질문

관련 AI 소식