앤드리슨 에세이 다시 읽기와 BIOS까지 걷어낸 서버를 만들며 겪은 최하위 펌웨어 버그

핵심 메시지

• 2011년 에세이가 미래의 주자로 지목한 회사들은 대부분 사라졌고, 그보다 큰 문제는 소프트웨어와 하드웨어를 대립시킨 전제 자체에 있다.
• 소프트웨어의 경계는 생각보다 모호하다. 바꿀 수 없는 마스크롬 펌웨어도 소프트웨어이고, 바꿀 수 있는 FPGA는 하드웨어라 부르며, 정의를 밀고 가면 유클리드의 알고리즘까지 딸려 들어온다.
• 옥사이드는 BMC와 UEFI BIOS를 걷어내고 보드·스위치·운영체제를 직접 설계했는데, 가장 위험해 보였던 BIOS 제거가 결과적으로는 더 빠른 길이었다.
• 실제로 회사를 괴롭힌 문제는 전부 자기들이 통제하지 못한 최하위 펌웨어였다. 전압 레귤레이터의 완료 응답 누락, 19년 묵은 네트워크 카드 버그, 1.5밀리초 동안 전압이 흔들린 버스 컨버터가 그 사례다.
• 하드웨어와 소프트웨어를 함께 설계하지 않으면 원인을 끝내 못 찾는 '유령'만 남는다는 것이 이 강연의 결론이다.

쉽게 이해하기

발표자는 벤처투자자 마크 앤드리슨이 2011년에 쓴 '왜 소프트웨어가 세상을 먹는가'를 15년 만에 다시 읽는다. 인프라 비용이 월 15만 달러에서 1500달러로 떨어졌다는 대목은 명백히 옳았고, 그 덕에 낮은 진입 비용으로 서비스가 폭발했다고 인정한다. 문제는 그 뒤다. 사진은 이미 소프트웨어가 먹었다면서 승자로 셔터플라이·스냅피시·플리커를 꼽고, 게임에서는 일렉트로닉 아츠와 닌텐도를 제치고 징가와 로비오를 들었다. 오늘의 시점에서 그 목록은 사실상 묘지에 가깝다.

그가 보기에 더 큰 문제는 목록이 틀린 것이 아니라 사고방식이 환원적이라는 데 있다. 혁신을 신생기업 창업과 동일시하면 기성 기업 안에서 벌어지는 깊은 혁신이 통째로 사라지고, 스프레드시트를 쓴다는 이유로 모든 회사가 소프트웨어 회사가 되어 버린다. 무엇보다 그 글은 반복적으로 하드웨어를 저마진 범용품으로 깎아내리며 소프트웨어의 우위를 전제한다. 그러나 2011년으로 돌아간다면 사둘 주식은 엔비디아·TSMC·AMD·애플처럼 물리 세계에 발을 딛고 소프트웨어를 중요하게 다루는 회사들이다.

그렇다면 소프트웨어란 무엇인가. 발표자는 언어 K를 만든 아서 휘트니에게 같은 질문을 던졌더니 '시'라는 답이 돌아왔다는 일화를 소개한다. 소프트웨어는 정보이면서 동시에 기계이고, 판매원가가 0이며, 무엇보다 오래 살아남는다. Y2K 무렵 한 대형 은행 최고정보책임자는 자기네 문제의 45%가 1950년대 기계인 IBM 1401에서 왔다고 했는데, 그 소프트웨어는 에뮬레이터 위의 에뮬레이터 위에서 돌고 있었다. 이쯤 되면 무엇이 하드웨어이고 무엇이 소프트웨어인지 가르는 일이 의미가 없어진다.

옥사이드는 그래서 처음부터 하드웨어·소프트웨어 공동설계를 목표로 삼았다. 서버 안의 또 다른 컴퓨터인 BMC를 없애고, 자체 보드와 랙과 스위치를 설계했으며, 운영체제도 직접 만들었다. 가장 위험했던 결정은 UEFI BIOS를 통째로 걷어낸 것이다. BIOS는 시스템을 부팅하기 위해 먼저 시스템을 올렸다가 다시 되돌리는 층이고, 취약점이 발견되면 시스템의 뇌간을 내주는 자리다. 업계에서는 불가능하다고 했지만, 이들은 리셋 직후의 첫 명령어부터 직접 제어해 시스템을 되돌리지 않고 위로 쭉 올린다. 그 대가로 PCIe 엔진 초기화 같은 최하위 작업을 직접 떠안았다.

강연의 절정은 실패담이다. 첫 보드에서 CPU가 리셋에서 나오지 않고 1.25초 뒤 되돌아가던 문제는 몇 주의 디버깅 끝에, 전압 레귤레이터가 '요청한 전압을 맞췄다'는 완료 패킷을 CPU에게 보내지 않는 펌웨어 버그로 밝혀졌다. 네트워크 카드가 간헐적으로 PCI 링크를 잡지 못하던 문제는, 세상 모든 시스템이 리셋을 두 번 보내는 관행 뒤에 19년 동안 숨어 있던 버그였다. 마지막은 24~48시간마다 슬레드의 드라이브 열 개가 한꺼번에 리셋되던 사건으로, 54V를 12V로 낮추는 버스 컨버터가 1.5밀리초 동안 8V 근처까지 떨어진 것이 원인이었고 다른 부품은 모두 견뎠지만 드라이브만 견디지 못했다. 세 사건 모두 자기들이 짜지 않은 가장 낮은 층의 소프트웨어에서 왔고, 스택 전체를 들여다볼 수 없었다면 그저 '가끔 재부팅하면 낫는' 유령으로 남았을 문제들이다.

주요 인사이트

• 실패를 파고들면 시스템이 어떻게 작동하는지가 드러난다. 발표자가 자기 결정을 후회하지 않게 된 순간도 잘 돌아갈 때가 아니라 무언가 고장 났을 때였다.
• 업계가 범용품을 원해서 세상이 범용품으로 맞춰지면, 결국 형편없는 부품 위에 쌓게 된다. 제대로 돌아가는 것을 원한다면 더 단단히 통합해야 하고 그것은 특정 벤더를 고르는 선택을 뜻한다.
• 그가 요구하는 것은 모든 코드를 직접 짜는 것이 아니라 하드웨어·소프트웨어 경계의 투명성이다. SSD도 네트워크 카드도 펌웨어가 공개된 제품이 사실상 없다는 점을 문제로 꼽는다.
• 가속기 문제에 대한 답은 뼈아프다. 특정 GPU 업체와 협력하는 문과 경쟁하는 문이 있는데 둘 다 죽음이라는 것이다. 학습용 부품의 신뢰성이 기대에 크게 못 미친다는 지적도 함께 나온다.
• 하드웨어의 골치 아픈 성질은 부품마다 편차가 있다는 점이다. 소프트웨어는 되거나 안 되거나지만, 저항과 커패시터의 편차가 쌓이면 3%의 기기에서만 나타나는 결함이 된다.

자주 묻는 질문

관련 AI 소식