2018 11-12월(합본호) 컴퓨터를 통한 선동과 딥페이크 시대의 비즈니스 스콧 베리나토(Scott Berinato)

 

 

ARTICLE

컴퓨터를 통한 선동과

딥페이크deep fake시대의 비즈니스

 

 

허위뉴스의 차원이 달라지고 있다.

스콧 베리나토

 

 

락 오바마 미국 전 대통령이정신 똑바로 차리고 있어, xx들아(Stay woke, b*****s)”라고 말하는 동영상이 있다. 물론 영상 속 인물은 오바마가 아니다. 오바마 얼굴에 코미디언 조던 필의 입과 목소리를 감쪽같이 덧입혔을 뿐이다. 이는 허위뉴스가 조만간 동영상 형태로 제작돼 유포될 것이며, 이런 영상이 완전히 자연스럽지는 않지만 놀랄 만큼 진짜와 비슷해 보일 수 있다는 사실을 사람들에게 일깨우기 위해 제작된 자료다.

 

허위뉴스를 연구하는 전문가들은 벌써부터 이런 발전을 예상했다. 얼마 전에는 선도적인 기술과학 분야 전문가, 사이버보안 전문가, 소셜미디어 및 플랫폼기업 전문가, 연구자, 언론인, 인권운동가, 그 밖의 동영상 및 검증 전문가가 실리콘밸리에 모여 회담을 갖기도 했다. 이 회담은 오바마 영상 같은딥페이크를 비롯한합성미디어의 악용에 대한 대응전략을 논의하는 자리였다. 딥페이크와 합성미디어는 모든 전자정보에 대한 신뢰성을 더욱 의심하게 만들지도 모른다. 기업 평판에 크게 의존하는 사업을 하는 기업이 제공하는 정보, 이들 기업에 관한 정보, 거래 당사자 간 신뢰성도 의심해야 할지 모른다.

 

회담의 주최자 중 한 명인 샘 그레고리Sam Gregory는 위트니스WITNESS의 프로그램 디렉터로, 수상 경력도 있다. 위트니스는 주로 시각매체와 소셜네트워크를 통해 인권 탄압과 관련한 정보 및 다큐멘터리 자료를 배포하는 인권단체다. 그레고리는 인권과 관련한 사건에서 목격자 영상의 혁신, 신뢰, 신용, 이미지를 다루는 이니셔티브를 총괄한다. 또 위트니스의 테크+애드보커시Tech+Advocacy프로그램 감독으로서, 인권활동가가 기술플랫폼을 활용하는 방식을 플랫폼기업들이 이해할 수 있도록 애쓰고 있다. 라틴아메리카와 아시아에서 실시하는 여러 캠페인에도 관여하고, 미국 의회, 영국 의회, 유엔의 정책과 법을 바꾸는 활동에도 일조한다. 세계경제포럼 산하 인권의 미래 부문 글로벌미래위원회 위원이자 국제형사재판소 기술자문위원회 위원이기도 하다.

 

그레고리는 오바마와 필의 동영상이 사람들에게 각성하는 계기를 줬다고 본다. 하지만 바이러스처럼 빠르고 널리 확산되는 조작영상뿐만 아니라디지털 들불digital wildfires도 우려해야 한다고 말한다. 디지털 들불은 소규모의 특정 인구집단을 표적으로 삼아 제작된 딥페이크인데, 비록 도달범위는 제한적이지만 무시할 수 없는 영향을 끼친다. 그는 딥페이크를 비롯한 다른 형태의 합성미디어가 정치적 목적으로만 활용되지 않는다는 사실을 기업들이 확실히 알아야 한다고 말한다. 그리고 신뢰에 크게 의존하거나 평판을 유지하는 데 힘쓰는 모든 조직이 이런 활동의 표적이 될 거라고 주장한다. “이건 결코 하찮은 문제가 아닙니다.” 그레고리는 말한다.

 

HBR은 딥페이크와 컴퓨터를 통한 선전을 주제로 그레고리와 대담을 나눴다. 인터뷰의 분량과 명확성을 고려해 주요 내용을 발췌·편집해 아래에 실었다.

 

HBR: 딥페이크라는 용어부터 이야기해 보죠. 어떻게 정의하면 좋을까요?

 

그레고리:점점 널리 알려지고 있지만 사람마다 다른 의미로 쓰는 용어죠. 원래 이 말은 머신러닝과 인공지능 기술을 활용해 미디어를 조작하는 것을 뜻합니다. 어떤 사람의 형체에 다른 사람의 얼굴을 덧씌우는 경우를 예로 들 수 있습니다. 그러니까 당신의 말을 녹음해서 다른 사람의 이미지에 삽입하면, 그 사람이 당신의 말을 하는 것처럼 보일 겁니다. 아니면 그 반대 경우도 생각할 수 있습니다. 당신을 흉내 낸 누군가가내 아티클의 콘텐츠는 모두 내가 만들어냅니다”라고 말하는 영상을 찍고 나서 당신의 얼굴을 입히면, 마치 당신이 직접 말하는 것처럼 보이겠죠. 더 나아가서는 당신의 목소리를 성대모사한 사람의 말을 녹음해서 당신의 행동을 흉내 낸 사람의 비디오에 덧씌울 수도 있습니다.

 

 

이 모두를 당사자의 협조 없이도 만들어낼 수 있다는 건가요?

 

그렇습니다. 가장 유명한 사례가 바로 조던 필이 버락 오바마 전 대통령을 흉내 낸 영상이죠.(이 영상에는 욕설이 포함돼 있다.) 바로 이게 딥페이크입니다. 중요한 점은 인공지능 생성 콘텐츠가 진보한 형태 중 하나가 딥페이크이고, 이 기술로 합성미디어를 얼마든지 만들어낼 수 있다는 사실입니다. 소리와 영상을 편집하고, 마음대로 바꾸고, 얼굴 표정을 모방하는 일이 점점 쉬워지고 있습니다.

 

 

그렇다면 사진이나 영상 편집에 아주 능하거나 성대모사를 할 줄 아는 사람만 할 수 있는 일이 아니라는 거군요?

 

그렇습니다. 최신 합성미디어의 대부분은 머신러닝의 진보 덕분에 가능했습니다. 특히 생성적 적대 신경망generative adversarial networks 기술이 크게 일조했죠. 간단히 말하면, 두 가지 신경망이 하나의 데이터를 두고 서로 경쟁하는 겁니다. 한 신경망은 무언가를 생성하는 역할을 합니다. 이를테면 그럴듯한 가짜 이미지 같은 걸 만들어 냅니다. 다른 신경망은 진짜 이미지와 가짜 이미지를 구분하는 임무를 맡습니다. 고양이가 끊임없이 쥐를 쫓는 식으로 작업을 수행하다 보면 학습 속도가 빨라지고, 신경망이 가짜 콘텐츠를 훨씬 쉽게 만들어낼 수 있습니다.

 

이런 기술이 긍정적인 용도로 유용하게 쓰일 수 있다는 점을 꼭 언급하고 싶습니다. 중요성에 비해 많이 알려지지 않은 부분이거든요. 증강현실과 가상현실의 경우, 콘텐츠에 사람의 이미지를 덧씌우는 기술이 유용하게 쓰일 수 있습니다. 예를 들면 루게릭병을 앓는 환자가 더 이상 말을 할 수 없을 때를 대비해 목소리은행voice bank을 미리 만들어 둘 수 있습니다. 이 기술은 여러 방면에서 우리에게 도움을 줄 수 있습니다. 하지만 악용될 가능성도 신중히 따져봐야 합니다.

 

 

조던 필의 동영상을 보고 놀라기는 했지만 조작된 티가 많이 났습니다. 실제와 구분되지 않는 딥페이크는 아직 불가능한가요?

 

어떻게 활용하느냐에 따라 다릅니다. 대부분의 경우 얼굴을 덧씌우면 티가 많이 납니다. 입과 코를 보면 어색한 부분이 눈에 띕니다. 배경이 산만하다면 자연스럽게 만들기 어려울 수 있습니다. 고도의 기술이 필요하죠. 지금의 생성적 적대 신경망 기술은 매우 손이 많이 가는 편입니다. 강력한 프로세서, 좋은 그래픽카드, 입력할 이미지와 관련된 양질의 훈련 데이터, 그리고 인내심이 필요합니다. 그래도 이런 기술이 할리우드 스튜디오의 CGI로만 구현할 수 있었던 시대를 생각하면 많이 발전했다고 할 수 있습니다. 연산능력과 네트워크가 발전하면서 이 기술도 계속 진화할 겁니다. 언젠가는 이런 위협이 모바일로도 옮겨갈 수 있겠지만, 아직은 아닙니다.

 

아마추어는 아직 손댈 수 없는 기술이라는 건가요? 글쎄요. 그렇지 않은 아마추어도 있을 겁니다. 하지만 기술이 개선될수록 위협 모델도 진화할 겁니다. 딥페이크 영상 제작의 진입장벽은 이미 많이 낮아졌습니다. 딥페이크를 만드는 코드가 무료로 공개된 적이 있습니다. 사람들이 그 코드를 계속 발전시켜 왔죠. 하지만 딥페이크를 생성하려면 어떤 이미지를 골라서 사용할지 결정하는 기본 단계에서부터 뛰어난 감각이 필요합니다. 그리고 위협이라는 관점에서 제가 가장 우려하는 부분은 고도로 정교하게 얼굴을 덧씌우는 기술이 아닙니다.

 

 

어떤 부분을 더 걱정해야 할까요?

 

세 가지를 꼽을 수 있습니다. 첫째, 사소한 편집입니다. 가령 영상의 뒷면이나 전면에 새로운 요소를 더하거나 있던 요소를 빼는 작업은 앞으로 훨씬 간단해지고, 비주얼이나 영상의 의미를 완전히 뒤바꿀 겁니다. 원본 프레임에 논란의 여지가 있는 깃발을 삽입하거나, 특정 사건과 관련된 중요한 목격자를 화면에서 지우거나, 바닥에 있던 총을 없애는 것을 예로 들 수 있겠죠.

 

둘째, 정교하게 만들어진 딥페이크만이 사람들에게 영향을 끼칠 수 있는지가 불분명합니다. 포르노 업계에서 딥페이크는 하나의 장르로 자리잡았습니다. 유명인의 얼굴을 포르노 영상에 집어넣는 거죠. 그리고 시청자를 끌어들이기 위해 반드시 자연스러워 보일 필요도 없습니다. 인권 분야에서 있었던 제 경험에 비춰볼 때, 주류세계에서도 허술하게 만들어진 딥페이크로 인해 신용과 진실이 공격받는 경우가 있었습니다. 인도의 한 여성 기자가 성적 행동에 관여한 것처럼 보이도록 만든 영상은 전혀 그럴듯하지 않았지만, 해당 기자에게 피해를 입히고 심각한 위협을 가하기에 충분했죠. 딥페이크의 핵심은 조작된 영상의 그럴듯함이 아니라 미디어의 개인화에 있는 것 같습니다.

 

디지털 들불도 걱정됩니다. 특정 대상을 표적으로 한 악의적 영상이 폐쇄형 대화 앱을 통해 공유될 때, 국지적이지만 순식간에 파괴적인 효과를 낼 수 있습니다. 유명인사가 폭력을 조장하는 경우가 아니라고 해도, 거짓을 믿기 원하는 특정 공동체를 겨냥해 만들어진 저해상도 딥페이크 영상이 주류세계로 바이러스처럼 확산될 수 있습니다. 얼마 전 인도에서 이런 일이 있었죠. 두 남성이 아이를 유괴한 것처럼 편집된 동영상이 퍼지면서 유괴범으로 오인받은 두 사람이 린치를 당했습니다. 합성미디어는 이런 위협 모델을 강화해줄 겁니다. 이런 일이 정치와 인권 분야뿐만 아니라 비즈니스 분야에서도 일어나지 않을까 염려됩니다.

 

 

기업을 표적으로 삼은 딥페이크와 다른 합성미디어에 대응하기 위해 기업은 어떻게 해야 할까요?

 

기업에게는 평판이 중요하죠. 딥페이크는 리더들이 말하지 않은 사실을 말한 것처럼 꾸미거나, 지지하지 않는 입장을 지지하는 것처럼 꾸며서 기업의 평판에 위협을 가할 수 있습니다. 상장기업의 거래는 그 기업의 가치를 판단하는 근거가 되는 정보에 대한 신뢰를 바탕으로 이뤄집니다. 순식간에 퍼진 동영상 하나가 기업의 평판과 주가에 영향을 줄 수 있습니다. ‘펌프 앤드 덤프를 비롯한 각종 사기수법에 허위뉴스가 이미 활용되고 있습니다. 딥페이크와 다른 합성미디어도 이런 사기행각에 동원될 수 있습니다. 시장에 대한 대중의 신뢰가 약해질 수 있습니다. 결코 사소한 문제가 아니죠.

 

하지만 한 기업을 완전히 무너뜨리기 위한 거대한 계략만 걱정할 일이 아닙니다. 더 낮은 수준에서 일어나는 디지털 들불도 생각하지 않을 수 없습니다. 식품이 오염됐다거나 제품 안정성에 문제가 있는 것처럼 조작된 동영상, 어떤 임원이 회사가 공모에 가담했다는 사실을 털어놓는 질 낮은 녹취 유출 파일, 호감 가는 한 국회의원을 난처하게 만드는 딥페이크 영상 같은 것 말입니다. 이런 정보는 설령 허위라는 사실이 밝혀진다 해도 해당 기업과 정보 일반에 대한 신뢰에 지속적으로 영향을 끼칩니다.

 

개인과 마찬가지로 기업도 합성미디어의 활용이 정보를 악용하는 다른 트랜드와 어떻게 결합하는지 주의 깊게 살펴야 합니다. 컴퓨터를 통한 선전computational propaganda과 결합하는 경우도 여기에 포함됩니다. 봇과 알고리즘을 활용해 인간 활동을 모방하고 증폭시키는 활동, 채팅방 및 오프라인 활동과 긴밀히 연계된 온라인 활동 같은 것 말이죠. 합성미디어의 활용은 우리 사회에 존재하는 기성 뉴스매체에 대한 불신과 이념 양극화 같은 보편적 문제와도 결합할 수 있습니다.

 

 

리터러시 문제도 고려해야 하지 않을까요? 허위정보와 선동은 어제오늘 일이 아니니까요. 정보를 비판적으로 이해하는 능력이 관건이지 않을까요?

 

어느 정도는 그렇습니다. 하지만 인간은 시각 콘텐츠를 본능적으로 더 신뢰합니다. 그에 반해 시각자료의 진위를 판별해본 경험은 부족하죠. 인간은 시각 콘텐츠를 비판적으로 보지 않는 경향이 있습니다. 그런 방면에서는 아직 리터러시가 높지 않죠. 이 부분은 교육을 통해 개선이 가능하고, 아마 그런 교육이 필요할 겁니다.

 

 

어느 것도 쉽게 믿을 수 없는 세상을 사는 일은 정말 어려운 것 같습니다.

 

오래전부터 사람들이 고민했던 부분이죠. 무엇도 믿을 수 없다면 아무것도 믿어서는 안됩니다. 신뢰를 무너뜨리기 위해 환경을 일부러 오염시키는 것은 권위주의자들이 쓰는 흔한 전술입니다. 우리는 이런 시도를 경계해야 합니다. 그리고 더 제한적인 영향을 끼치는 문제도 중요합니다. 특정 청중을 대상으로 한 딥페이크와 합성미디어 문제 말이죠. 인권 분야의 예를 들자면, 어떤 청중을 대상으로 특정 민족과 인종에 대한 혐오 발언을 하고 싶을 때, 자신의 동료나 존경받는 지도자와 비슷한 목소리를 만들어내서 그런 메시지를 전달하는 일이 일어날 수 있습니다. 비즈니스 분야에서는 신뢰할 만한 사람의 목소리를 흉내내서 피싱 사기를 저지르는 경우를 생각해 볼 수 있겠죠. 오보와 허위정보가 초래하는 광범위한 위험을 다룰 때, 우리가 제시해 온 위협 모델에 이런 사례들이 포함돼 있습니다.

 

 

그렇다면 이런 위협을 저지하기 위해 어디서부터 손을 써야 할까요?

 

얼마 전 있었던 콘퍼런스에서 우리는 12가지 솔루션 영역을 제시했습니다. 우리는 문제가 본격화되고 합성미디어가 널리 퍼지기 전에 적극적으로 솔루션을 찾아야 한다는 결론에 다다랐습니다. 저는 가장 가능성 있는 서너 가지 접근방식을 말씀드리고 싶습니다.

 

첫째, 전형적인 과학수사 기법으로 딥페이크와 가짜 이미지를 찾아내는 방법을 알아야 합니다. 그런 다음 이런 방법을 기자나 수사관 같은 게이트키퍼에게 알리고, 결국에는 소비자에게 알려야 합니다. 우리는 새로운 과학수사 기법을 열심히 찾고 있습니다. 이를테면 지금의 딥페이크 기술로는 얼굴의 맥박을 구현할 수 없습니다. 진짜 영상의 픽셀을 확대해 보면 맥박이 뛰는 걸 확인할 수 있죠. 이런 기법을 활용해 조작된 이미지를 판별할 수는 없을까요? 이런 연구가 현재 열심히 진행되고 있습니다.

 

둘째, 딥페이크 제작에 활용되는 기술을 이용해 딥페이크를 탐지하는 겁니다. 얼마 전 연구자들이 가짜 이미지 데이터베이스인 페이스포렌식FaceForensics을 구축했습니다. 페이스포렌식을 이용해서 가짜 이미지를 탐지하는 신경망을 훈련시킬 수 있죠. 한 차례 훈련을 거친 신경망은 맨눈보다 훨씬 뛰어난 탐지능력을 보였습니다. 탐지할 수 있는 가짜 이미지가 많아질수록 훈련 데이터가 증가하고, 결과적으로 알고리즘의 탐지능력은 더 향상되죠. 이 부분은 장래가 밝습니다. 하지만가짜 이미지를 탐지하는 능력이 생성능력의 발전속도를 따라갈 수 있을까?’라는 질문에 대해서는 과학기술계 내에서도 의견이 엇갈립니다. 현재 시점에서는 많은 사람이 가능하다고 자신하고 있습니다. 그리고 이런 탐지기술에 대한 접근성을 높이고 플랫폼에 통합한다면, 가짜 이미지를 아예 차단할 수도 있을 겁니다.

 

셋째, 플랫폼이 행동에 나서고 관련 정책을 세워야 합니다. 가짜와 풍자의 모호한 경계를 어떻게 구분 지을 수 있을까요? 어떤 지도자의 얼굴에 다른 사람의 입모양을 입히는 게 단순히 정치풍자 만화의 연장선이라고 주장하는 예술가가 있을지도 모릅니다. 정치풍자 만화에서는 왜곡이 비판의 한 방법으로 활용되죠. 악의적 콘텐츠를 통제하는 한편, 표현의 자유를 제약하지 않으려면 어떻게 해야 할까요? 플랫폼은 이런 질문에 적절한 답을 찾아야 합니다. 레딧은 딥페이크 게시판을 폐쇄했습니다. 지피Giphy와 폰허브Pornhub도 딥페이크 콘텐츠를 삭제했죠. 플랫폼, 검색 사이트, 소셜 미디어 사이트가 해결해야 할 중요한 문제가 분명 있습니다.

 

마지막으로 자료의 출처와 진실성을 보장할 수 있는 기술적 접근법을 개발해야 합니다. 이미지의 출처를 기록하고, 진짜 이미지에 대한 신뢰를 높이기 위해 관리 연속성chain of custody을 알려주는 방식을 더 개선할 수는 없을까요? 현재는 콘텐츠를 제작하는 과정에서 생성되는 메타데이터, 블록체인을 통한 편집 추적, 그 밖에 다양한 표식을 더하는 방법이 마련돼 있습니다. 물론 중대한 유출자료나 범죄증거에 너무 많은 정보나 개인의 신상정보가 포함될 경우, 위험에 처하는 사람이 생길 수 있습니다. 하지만 사진과 영상에 대한 신뢰를 구축하기 위한 논의, 출처 표시와 진본을 인증하는 기술의 역할에 대한 논의는 반드시 필요합니다.

 

 

이런 전략을 통해 딥페이크의 흐름을 막을 수 있다고 자신하시나요?

 

제가 제시한 전략 중 어느 하나만으로 모든 문제를 해결할 순 없습니다. 각 영역마다 허점과 단점이 있죠. 하지만 이런 방법이 신뢰를 구축하는 최선이라고 생각합니다. 우리는 아직 이미지, 음성, 영상이 광범위하게 조작될 수 있다는 점을 쉽게 상상하지 못합니다. 언젠가는 이런 상황에 익숙해지겠지만, 사람들이 거짓인 줄 알면서도 허위콘텐츠를 찾는 이유를 이해하기 위한 노력을 계속해야 합니다.

 

 

스콧 베리나토(Scott Berinato) HBR 선임편집자다. 저서로 <Good Charts: The HBR Guide to Making Smarter, More Persuasive Data Visualizations>가 있다.

페이스북 트위터

2018 11-12월(합본호) 다른 아티클 보기

목록보기

무료 열람 가능 아티클 수 0/1 회원가입 | 서비스상품안내