Runway가 첫 화면이 나타날 때까지의 시간을 줄이고 입력과 함께 영상을 이어 보내는 실시간 생성 연구의 방향을 공개했다. 회사는 즉각적인 피드백이 기다리는 시간을 능동적으로 연출하는 시간으로 바꾸고, 더 빠른 모델이 비용 구조와 활용 범위에도 영향을 줄 수 있다고 설명했다.

Runway가 공개한 실시간 영상 생성 연구

Runway는 기본 토대 모델을 추가 학습하는 방식으로 실시간 영상 모델을 연구하고 있다고 밝혔다. 생성 과정을 시간 순서에 따라 앞선 결과를 바탕으로 다음 결과를 만드는 구조로 바꾼 뒤, 교사 모델의 지식을 더 빠른 모델에 옮기는 것이 회사가 제시한 핵심 절차다.

공식 발표 내용

Runway는 현재의 영상 생성이 대체로 입력을 넣고 몇 초 또는 몇 분을 기다린 뒤 완성된 결과를 받는 정적인 흐름이라고 설명했다. 결과가 의도와 다르면 처음부터 다시 시작해야 하며, 회사가 사용자에게 반복해서 들은 가장 느린 지점도 생성과 반복 수정에 걸리는 시간이었다. Runway는 즉각적인 반응이 가능해지면 수동적으로 기다리던 시간을 결과를 능동적으로 지휘하는 데 쓸 수 있다고 주장했다.

회사는 토대 모델을 처음부터 훈련하는 도구를 거의 10년 동안 구축했고, 기존 영상 모델 개발에 쓰인 기반 시설과 훈련 최적화가 실시간 생성 연구를 앞당기는 데 중요했다고 밝혔다. Runway가 설명한 생성 방식은 첫 화면과 사용자가 처음 정한 설명문을 조건으로 삼는다. 이후 화면을 하나씩 만들면서 이미 생성한 잠재 표현을 문맥에 남겨 품질을 유지하고, 영상과 음향 해독기는 잠재 표현이 생기는 순서대로 결과를 이어 보낸다.

Runway에 따르면 첫 단계는 모델 구조 전체를 시간의 앞뒤 관계를 따르며 화면별로 다음 결과를 만드는 생성기로 전환하는 과정이다. 이 단계의 모델은 여전히 여러 차례 잡음을 걷어 내야 해 느리기 때문에, 다음 단계에서는 분포 일치 증류로 화면 하나를 만드는 절차를 몇 단계로 줄인다. 회사는 이 증류를 학습 중 자체 생성을 하지 않는 방식과 자체 생성을 포함하는 방식의 두 단계로 진행하며, 실제 생성 과정의 개선 대부분은 뒤 단계에서 나온다고 설명했다.

관련 기능 또는 적용 범위

자체 생성을 하지 않는 첫 증류 단계에서 학생 모델은 정답 문맥을 바탕으로 다음 상태를 예측한다. 고정된 양방향 교사 모델이 바람직한 생성 예를 보여 주고, 비평 모델은 학생 모델의 현재 결과를 추적해 두 분포의 차이를 좁힌다는 것이 Runway의 설명이다. 이 방식은 훈련 메모리와 단계별 시간을 낮추는 효율적인 출발점이지만, 영상에서는 작은 오류가 화면을 거치며 누적되므로 그것만으로는 충분하지 않다고 회사는 밝혔다.

이를 보완하는 다음 단계에서는 학생 모델이 훈련 안에서 영상 순서를 직접 생성하고, 방금 만든 잠재 표현을 다음 생성의 문맥으로 사용한다. Runway는 모델이 자신의 생성 문맥과 오류를 훈련 중에 보게 되면 흔들림을 키우는 대신 바로잡는 데 도움이 된다고 설명했다. 또 처음부터 고정된 길이로 훈련하기보다 생성 순서의 길이를 점차 늘리는 과정이 더 나았으며, 긴 순서로 곧바로 시작하면 뒤쪽 결과가 교사 모델의 안내에서 크게 벗어났다고 밝혔다.

실시간 생성은 연산의 병목을 훈련에서 추론으로 옮긴다고 Runway는 설명했다. 여러 사용 흐름이 하드웨어를 함께 쓰는 동안에도 각 화면이 재생 속도를 따라갈 만큼 빠르게 나와야 하기 때문이다. 회사는 내부 평가와 관찰 도구를 사용해 여러 학습 시점과 하드웨어 구성에서 생성 품질과 지연 시간을 나란히 비교하며 추론 체계를 구축하고 평가하고 있다고 밝혔다.

Runway는 첫 화면과 전체 생성 시간을 줄이면 영상 제작의 경제성도 달라진다고 주장했다. 모델이 빨라질수록 그래픽 처리 장치를 쓰는 시간이 줄어 비용 효율이 높아지고, 이전에는 비용 때문에 어려웠던 활용도 가능해질 수 있다는 설명이다. 회사는 즉시 생성이 상호작용형 경험의 토대가 될 것으로 보고 있으며, 교육·게임·로봇 분야와 물리 또는 디지털 행위자를 위한 모의 환경이 보는 사람이나 상황 변화에 빠르게 반응하는 영상에 의존할 것이라고 전망했다.

원문

출처명: Runway News
공식 원문 URL: https://runway.com/news/research/towards-instant-video-generation
공식 게시일: 2026-09-10