지난주, 화이자 글로벌 자동화 엔지니어링 책임자인 짐 라본티는 Claroty 글로벌 고객 관리 수석 부사장 길라드 레게브와 함께 화이자의 산업 사이버 보안 여정, 전례 없는 수요를 충족하면서 안전하게 코로나19 백신을 생산하는 방법 등에 대한 인사이트를 공유했습니다. 간결하고 명확하게 편집된 이 블로그에서는 대담의 주요 내용을 공유합니다.
바이오제약 분야에서는 2017년 [화이자의 경쟁사인] Merck MSD가 NotPetya의 영향을 크게 받아 전 세계 제조 역량과 공급망에 영향을 미쳤을 때 실제로 경각심을 불러일으켰습니다. 이 사건을 계기로 화이자는 사이버 공격이 회사 운영에 미칠 수 있는 잠재적 영향에 대해 진지하게 고민하기 시작했습니다. 2017년 말, 이사회는 제조 현장의 생산 현장 시스템을 더욱 안전하게 보호하라는 강력한 지침을 발표했습니다.
그 시점에 우리는 이미 2년 전인 2015년경에 산업 사이버 보안 프로그램을 시작했습니다. 이미 제조 환경을 보호하기 위한 기술을 도입하고 있었습니다. 하지만 사이버 공격의 잠재적 영향으로부터 생산 현장과 산업 제어 시스템 등 OT 환경을 보호하는 데 집중하라는 강력한 메시지를 이사회에서 전달한 것은 2017년에 이르러서였습니다.
이 지침은 IT 조직과 엔지니어링 조직이 긴밀하게 협력하도록 이끌었기 때문에 경영진의 선물과도 같았습니다. 우리는 프로그램을 시작하고, 목표를 달성하기 위해 필요한 사항을 수립하고, 어떤 파트너 및 사이버 보안 컨설턴트와 협력할지 결정하는 등의 작업을 수행했습니다.
이 분석은 2018년 봄에 이루어졌으며, 저희의 목표는 첫 번째 단계 또는 최소한 파일럿 활동을 통해 산업 사이버 보안 프로그램에서 어떤 기술이 최종적으로 적용될지 파악하는 것이었습니다. 그 당시에는 어떤 IT 도구가 OT 세계에서 작동하고 어떤 도구가 작동하지 않는지 전혀 알지 못했습니다. 우리는 일련의 파일럿 활동에 착수하여 다양한 기술을 테스트했고, 광범위한 연구와 분석을 통해 생산 현장 환경에 적합한 몇 가지 핵심 기술을 찾아냈습니다.
우리는 프로그램을 통해 달성하고자 하는 몇 가지 명확한 목표를 설정했습니다. 또한 글로벌 프로그램을 위한 예산을 확보하기 위한 논리를 만들기 시작했습니다. 그리고 프로젝트 관리 조직(PMO)을 구성하고 본격적인 작업에 착수했습니다.
저희는 프로덕션 환경을 완벽하게 파악할 수 있는 도구가 필요하다는 것을 알고 있었습니다. 실제로 존재하는지 모르는 것은 보호할 수 없습니다. 일단 파악하면 보호할 수 있습니다. 환경을 이해하고 보호하려면 완전한 OT 인벤토리를 확보하고 가시성을 확보하며 어떤 자산이 통신하는지 파악하는 것이 필수적입니다.
NIST 사이버보안 프레임워크는 저희의 산업 사이버보안 전략의 기본 지침이 되어 왔습니다. 이 프레임워크는 매우 잘 작동하며 계속해서 사용하고 있습니다. 또한 NIST 800.82의 지침을 사용하는데, 이 지침은 ICS 환경을 보호하는 방법을 쉽게 이해할 수 있도록 작성되었습니다.
가장 먼저 해야 할 일은 달성하고자 하는 주요 목표를 명시하는 것입니다. 기본 원칙은 프로그램을 통해 달성하고자 하는 목표가 되어야 합니다. 화이자의 경우 처음에 설정한 6가지 주요 목표는 변하지 않았습니다. 그 목표 중 하나가 ITOT 세분화였는데, 이제는 이 목표가 얼마나 중요한지 더욱 중요해졌습니다. 지난 몇 년 동안 공격자들은 피싱을 적절한 세분화가 이루어지지 않은 네트워크의 OT 환경에 멀웨어를 전달하는 통로로 매우 성공적으로 사용하는 것을 보았습니다.
회사의 이메일 시스템이 프로덕션 환경과 분리되어 있지 않다면 이는 우려스러운 일입니다. 네트워크 구조가 획일적이어서 피싱의 희생양이 되면 멀웨어가 모든 곳에 퍼질 수 있습니다. 화이자는 세분화가 생산 현장과 IT 시스템을 연결할 수 있는 좋은 방어 메커니즘이라는 것을 잘 알고 있습니다. 중요한 데이터 흐름을 주고받지만 생산 현장과 IT 간에 통신할 수 있는 자산은 매우 제한적입니다. 중요한 비즈니스 기능만 통신할 수 있습니다.
2015년에 엔터프라이즈 IT와 제조 IT를 연결하는 방화벽을 구축한 후, 생산 현장의 OT에서 제조 IT 자산을 분리하기 위해 산업용 방화벽 계층을 추가했습니다.
좋은 질문입니다. 프로그램을 시작할 때 프로젝트 관리 조직(PMO) 내에 세 명의 프로젝트 매니저를 배치했습니다. 북미, 유럽, 아시아 태평양, 아프리카는 각 지역의 문화, 환경, 제작 역량이 서로 다릅니다. 전체 프로그램을 시작했을 때 많은 활동은 지역별로 거의 동일했지만 진행 속도는 달랐습니다.
지역별로 어떻게 다른지 보여주는 예로, 아프리카의 생산 운영 자산은 대부분 IT와 격리되어 있습니다. 특히 생산 현장에서는 공백이 있는 자동화 섬과도 같습니다. 이러한 OT 사이트에는 상호 연결성이 부족하기 때문에 다른 지역과 마찬가지로 IT-OT 연결성을 보완하기 위한 보안 대책이 필요하지 않으며, 에어 갭 환경은 본질적으로 세분화되어 있습니다.
하지만 아프리카의 이러한 무선 환경에서도 여전히 IT 환경과 생산 현장 간에 정보가 전달되고 있기 때문에 모바일 디바이스를 스캔할 수 있는 도구가 필요하다는 것을 깨달았습니다. 만병통치약은 없습니다. 저희는 약 5가지 기술을 사용해 왔으며, 각각의 다양한 기술은 전체 보안 패브릭의 요소를 제공합니다. 이러한 각 기술은 글로벌 SOC에 위협 탐지 피드를 제공하고 있습니다.
2017년에 세분화는 IT와 OT 간의 통신 상호 연결을 분리하는 데 큰 의미가 있었습니다. 이미 ICS와 분산 제어 시스템으로 어느 정도 세분화되어 있었지만, 이미 매우 세분화된 계층이 있는 사이트가 방화벽 기술을 매우 빠르게 구현할 수 있다는 것을 알게 되었습니다. 그리고 2014년에 방화벽을 도입한 다른 서너 곳의 프로덕션 사이트에서 교훈을 얻었습니다. 해당 생산 현장의 방화벽에 문제가 거의 없거나 전혀 발생하지 않았기 때문에 산업용 방화벽이 매우 합리적이라는 것이 분명해졌습니다. 가장 먼저 산업용 방화벽을 설치하기 시작했고, 방화벽이 구축된 후에는 Claroty 을 구현했습니다. 또한 남북 트래픽을 위한 통합 방화벽 세트와 코어 스위치 세트도 설치했습니다.
따라서 방화벽이 도입된 지 몇 달 후에 Claroty 을 구현했고, Claroty 은 수동 모니터링을 염두에 두고 설정했습니다. 제조 분야에서는 생산이 가장 중요하고 앞으로도 그럴 것입니다. 우리는 구축한 솔루션이 네트워크와 생산 환경의 트래픽을 모니터링할 수 있기를 원했지만 어떤 방식, 형태, 형태로든 운영에는 영향을 미치지 않기를 원했습니다. Claroty 의 패시브 모니터링은 우리에게 매우 효과적이었고, 작년 이맘때쯤 액티브 쿼리 기능을 사용하여 더 풍부한 데이터를 얻기 시작할 때까지 그 모드를 그대로 유지했습니다.
저는 컨버전스라는 단어를 약 15년 동안 다뤄왔습니다. 적어도 제가 생각하는 컨버전스는 IT와 OT의 두 세계가 하나의 세계가 되는 것이 아니라 두 세계가 서로 연결되는 것을 의미합니다. 두 세계가 정확히 하나가 되는 것은 아니기 때문에 진정한 컨버전스라고 할 수 없습니다. 그렇지만 커뮤니케이션의 융합과 생산 제조 시스템과 IT 환경 사이의 경계를 넘나드는 작업 능력이 필요한 것은 사실입니다. 이를 위해서는 이해, 기술 구축, 협력이 핵심입니다.
화이자 프로그램의 성공 요인 중 가장 큰 부분은 팀 간의 협업과 기꺼이 협력하는 자세입니다. IT와 OT 직원이 항상 같은 목표나 사고방식을 가지고 있는 것은 아니지만, 공동의 결정을 내릴 수 있을 만큼 서로를 이해하고 협업할 수 있는 능력을 갖추고 있습니다. 양측 모두 결정에 항상 만족할 수는 없지만 장기적으로 화이자를 위해 올바른 결정을 내리고 있다는 점에는 동의할 수 있습니다.
이러한 협력과 이해의 장에 도달하는 것은 여정이며, 이를 제대로 이루려면 시간이 걸립니다. 1년 만에 해결될 수 있는 문제가 아닙니다. 서로 다른 문화적 차이를 녹여내고 융합해야 합니다. 아직 완벽하지는 않고 여전히 진행 중인 작업입니다. 하지만 특히 지난 6개월 동안 제조 현장에서 OT 사이버 보안이 제대로 구현되고 있는지 확인하기 위해 큰 진전을 이루었습니다. 적절한 솔루션을 도입하고 운영을 안전하게 유지해 준 공급업체와 현장 직원들에게 큰 공을 돌리고 싶습니다.
현재 우리의 SOC는 온프레미스로 구축되어 있으며, 화이자 내에 완전히 통합되어 있습니다. SOC는 비즈니스 기능과 제조 부문을 모두 살펴봅니다. 따라서 4~5개의 서로 다른 기술에서 가져온 데이터 피드가 우리가 활용 중인 SIEM에 공급되고, 그 데이터는 SOC에 공급됩니다.
따라서 SOC는 제조 부문이나 전 세계 모든 비즈니스 기능에서 발생하는 모든 위협을 살펴보고 있습니다. IT와 OT에 걸쳐 완전히 통합된 SOC입니다. OT 측면을 위한 별도의 SOC를 고려하고 있었지만 여러 가지 이유로 의미가 없었습니다.
OT 측면에서 각 제조 현장은 그 자체로 하나의 독립체이며, 효과적으로 방어하기 위해서는 해당 위치의 특정 위협을 파악할 수 있어야 합니다. 여러분이 살고 있는 마을에서 일어나는 일에도 관심이 있지만, 최우선 순위는 여러분이 살고 있는 집을 보호하는 것이라고 생각해보세요.
현재로서는 코로나19 백신이 최우선 과제이지만, 백신의 생산 및 공급망을 확보하는 것이 그 다음으로 중요한 과제입니다. 1년 전에는 지금과 같은 생산 능력을 갖추지 못했습니다. mRNA도 없었고, 지금처럼 빠르게 구축한 규모도 없었습니다. 하지만 다행히도 우리는 광속으로 움직일 수 있었고, 실제로 화이자의 이 프로그램을 '라이트스피드'라고 부릅니다.
우리는 전 세계에 걸쳐 수십억 도즈를 공급할 수 있는 생산 역량을 구축할 수 있었습니다. 과거에 화이자의 일반적인 백신 생산량은 1억~2억 도즈였으므로 수십억 도즈는 확실히 기준을 매우 높인 것입니다.
저는 화이자의 모든 동료들이 놀라운 일을 해낸 것에 대해 칭찬하고 싶지만, 확장된 생산 공정과 공급망을 보호해야 합니다. 우리는 공급업체와 함께 그들이 사용하는 장비의 사이버 보안에 대한 평가를 진행하고 있습니다. 취약점은 없는가요? 취약점이 있나요? 지금까지 우리는 화이자가 자체적으로 처리하는 것부터 제3자가 처리하는 측면까지 전체 공급망의 보안을 매우 훌륭하게 유지해 왔습니다.
항상 반발이 있습니다. 변화하고 있습니다. 생산 현장에 규모를 추가하고 있습니다. 모든 사람이 전체 공급망의 큰 그림과 그 우선순위가 생산 현장에 어떻게 적용되는지 파악하고 있는 것은 아닙니다. 전체 프로그램의 중요성을 이해하고, 생산이 가장 중요하지만 효과적이고 안정적인 백신 생산을 유지하기 위해서는 강력한 사이버 보안이 필요하다는 점을 이해시키기 위해 관련된 모든 사람과 많은 소통이 필요합니다. 지금 당장 사이버 공격의 영향을 받아서는 안 되며, 코로나19 백신이나 기타 생명을 구하는 의약품을 우리에게 의존하는 환자들에게도 영향을 줄 수 없습니다. 공급망을 온전하게 유지하는 것이 필수적입니다.
처음부터 혼자서는 할 수 없다는 것을 알고 있었습니다. 먼저 보안 컨설팅이 필요했고 부즈 앨런 해밀턴을 선정하여 프로그램을 진행할 수 있도록 지원했습니다. 부즈 앨런 해밀턴은 화이자의 팀이 체계적이고 신속하게 대응할 수 있도록 큰 도움을 주었습니다. 두 번째는 사이버 보안과 인프라 구축에 필요한 지원을 제공할 수 있는 글로벌 파트너가 필요했습니다. 이를 위해 로크웰 오토메이션을 선택했는데, 그 이유는 로크웰 오토메이션이 전 세계에 깊이를 가지고 있고 많은 고객 사이트와 가까이에서 일하고 있기 때문입니다. 로크웰 오토메이션의 규모와 기술, 인력을 잘 활용하여 생산 현장에서 기술을 구현할 수 있었습니다.
프로그램 구현의 핵심 목표 중 하나는 모든 사이트에서 생산에 미치는 영향, 즉 다운타임을 제로로 만드는 것이었습니다. 우리가 수행한 많은 작업은 낮은 위험으로 생산과 병행하여 구현되었지만, 다른 경우에는 기술을 구현할 수 있는 좁은 기회를 발견하여 모든 것이 영향 없이 제대로 설정되었는지 확인한 후 생산 환경을 다시 변경해야 했습니다.
규제 변화 측면에서 바이오제약은 다른 분야만큼 규제의 영향을 많이 받지는 않았지만, 환경에 대한 통제권을 확보하기 위한 요구사항이 있습니다. 따라서 사이버 보안이 중요한데, 규제 위원회는 이를 어떻게 구성할 것인지에 대해 질문하기 때문입니다. 현재 사이버 보안에 대한 직접적인 규제 요건은 없지만, 생산을 더 안전하게 보호하고 다른 사람에 의해 운영이 영향을 받거나 변질되지 않도록 하기 위해 무엇을 하고 있는지에 대한 간접적인 질문이 있습니다. 따라서 저희는 기술과 도구를 통해 감사 추적 기능을 갖추고 있으며, 운영이 안전한지 확인하기 위해 들어오는 트래픽을 검사하고 있습니다.
2017년에는 우리 모두가 우리가 무엇을 하고 있는지 잘 몰랐습니다. 단계별로 따를 수 있는 명확한 청사진과 로드맵이 없었습니다. 우리는 계획을 수립하고 다음에 무엇을 해야 할지 결정했습니다. 저는 신속한 프로토타입 제작이 모든 종류의 기술이 사용자의 환경에서 어떻게 작동할지 이해하는 데 매우 중요하다고 생각합니다. 여정을 시작하면서 지금 여정을 밟고 있는 다른 사람들의 통찰력을 활용하면 분명히 그 통찰력을 활용할 수 있습니다.
산업 사이버 보안의 여정이 끝났다고 느껴지지 않는 이유는 그 여정이 결코 끝나지 않기 때문입니다. 하지만 구현 단계는 거의 끝나가고 있습니다. 이제 우리는 생산 역량 보안을 위해 구축한 기술과 역량을 완전히 활용하기 위해 노력하고 있습니다.
저는 오탐을 제거하는 것을 적극 지지하며, SOC 담당자가 가장 중요한 알림에 집중할 수 있도록 새로운 아이디어와 혁신으로 Claroty 을 지속적으로 추진하고 있습니다. 제가 추진한 것 중 하나는 프로덕션 환경에서 무엇이 실행되고 있는지, 더 구체적으로 해당 환경의 어떤 자산과 프로세스가 변경되어서는 안 되는지 파악하는 데 컨텍스트를 추가하는 것입니다. 운영 중에는 이러한 특정 영역에 대한 새로운 트래픽이나 데이터 흐름이 최우선적으로 처리되어야 합니다. 반면에 이러한 자산이 업데이트되는 다운타임 기간 동안, 특히 변경을 진행하는 동안 SOC에 오탐이 발생하는 것을 원치 않을 것입니다. 업데이트를 구현한 후 프로덕션으로 돌아가기 전에 최종 검증 단계가 있으므로 SOC는 의도적인 변경이 계속될 것임을 이해해야 합니다. 오탐을 성공적으로 제거하려면 IT와 생산 현장 간의 커뮤니케이션이 매우 중요합니다.
Claroty 을 구현하는 것이 빠르고 쉬워서 놀랐습니다. 매우 간단해서 일주일 만에 완료할 수 있었습니다. 필요한 관리 수준도 매우 낮고, 적시에 필요한 사람들에게 풍부한 데이터를 제공하고 있습니다. Claroty 는 많은 인력을 고용할 수 있는 상황이 아닐 때 중요한 프로덕션 환경에 무엇이 있는지 파악하는 데 많은 수고를 덜어주었습니다.
원활한 의사소통은 필수입니다. 생산 측면을 명확히 하기 위해 말장난은 아니지만 현장 경영진과 생산 현장 엔지니어링 및 기술 인력과 같은 기타 공장 직원들은 모두 매우 지원적인 역할을 합니다. 이들은 해당 환경을 유지 관리할 책임이 있기 때문에 산업 사이버 보안의 가치를 잘 이해하고 있습니다. 동시에 사이버 보안 기술의 구현, 검증 및 사용이 애플리케이션에 영향을 미치는 것을 원하지 않습니다.
사이버 보안이 항상 사고방식의 최전선에 있는 것은 아니기 때문에 리더십이 더 어려운 요소인 경우가 많습니다. 그들은 다른 것들에 대해 걱정하고 있습니다. 따라서 강력한 산업 사이버 보안의 필요성을 알리는 것이 중요합니다. 저희는 실무 커뮤니티(COP)를 구축하여 정기적으로 교훈, 잘 작동하는 방법, 작은 지식 조각을 한 번에 전달할 수 있는 방법을 제공합니다. 이는 사람들이 서로에게 연락하여 무슨 일이 일어나고 있는지 알릴 수 있기 때문에 화이자의 글로벌 네트워크를 작게 느낄 수 있게 하는 방법입니다.
다행히도 Pfizer의 CISO는 훌륭합니다. 산업 사이버 보안 여정 초기에 저는 그에게 연락을 취했고, 그 덕분에 그는 자동화 엔지니어인 저의 입장에서 생산 환경을 방문하여 ICS 환경을 다루는 현장의 상황을 더 잘 이해할 수 있었습니다. 그것이 우리가 함께 일할 수 있는 분위기를 조성해 주었고, 저는 그 이상을 해준 그에게 많은 공을 돌리고 싶습니다.
두 가지가 복합적으로 작용했습니다. 앞서서 구현을 완료한 일부 사이트는 코로나19의 도전을 받아들일 수 있는 좋은 상태였습니다. 반면에 구현 중이거나 아직 구현 중인 대규모 사이트는 약간의 속도 저하를 겪었습니다.
제조 현장은 매우 부족한 자원입니다. 그리고 일정의 관점에서 볼 때, 이러한 대규모 현장에는 코로나19 백신 생산을 가능하게 하는 핵심 자원이 많이 있습니다. 한 번에 많은 일을 처리하는 것은 한계가 있습니다. 그리고 코로나19 백신 생산이 1순위였습니다. 그 다음으로는 백신 생산이 멀웨어의 영향을 받지 않도록 하는 것이 두 번째 우선순위였습니다.
