MLX Genmedia — 온디바이스 AI의 현재와 미래
📺 원본 영상: MLX Genmedia — Prince Canuma, Arcee 🎙️ 채널: AI Engineer 📅 정리 일자: 2026-05-12 ⚠️ Note: 본 리포트는 영상의 음성을 텍스트로 변환(STT)하여 정리한 것입니다. 화면에 표시된 자료(차트, 코드, 슬라이드, 데모 화면 등)는 포함되지 않을 수 있습니다.
개요
이 강연은 Apple Silicon 전용 ML 프레임워크인 MLX의 핵심 기여자 Prince Canuma가 직접 나서, 온디바이스 AI가 단순한 기술적 호기심을 넘어 실질적인 접근성 문제를 해결하는 도구임을 주장하는 자리다. 그는 시각 장애를 얻은 아버지를 위해 기술을 연구하기 시작했다는 개인적 서사를 기반으로, 클라우드 없이도 맥북·아이폰·아이패드 위에서 비전(Vision), 음성(Audio), 영상(Video) AI를 완전히 구동할 수 있다는 것을 라이브 데모와 커뮤니티 사례를 통해 입증한다.
왜 온디바이스인가 — 개인적 동기에서 보편적 비전으로
2020년은 Prince Canuma에게 극단적으로 양면적인 해였다. 아버지가 시력을 잃었고, 동시에 Apple은 당시로서는 가장 강력한 온디바이스 연산 칩인 Apple Silicon을 세상에 내놓았다. 그는 아버지에게 “다시 책을 읽을 수 있게 해주겠다”는 약속을 했는데, 이를 위해 클라우드 기반 솔루션을 선택하지 않았다. 이유는 명확했다. 아버지가 사는 아프리카에서는 인터넷 인프라가 취약하고, 구독 요금제는 현실적으로 감당하기 어렵다. 클라우드 AI가 ‘규모의 최적화’를 지향하는 동안, 그 혜택이 닿지 않는 사람들이 여전히 많다는 문제의식이 온디바이스 연구의 출발점이었다.
그러나 이 동기는 곧 더 넓은 의미로 확장된다. Meta와 Google이 클라우드 스케일에 집중하는 동안, Apple은 완전히 다른 방향을 택했고, 그 결과물이 Apple Silicon 위에서 돌아가는 통합 메모리 아키텍처다. 강연자는 이 선택이 “모두를 위해 약속되었던 미래”를 처음으로 실현할 수 있는 토대라고 평가한다.
MLX 프레임워크 — Apple Silicon을 위한 PyTorch
2023년 GitHub을 탐색하던 중 발견한 MLX는 Apple Silicon을 위한 배열 연산 프레임워크다. PyTorch나 TensorFlow를 Apple Silicon에 특화시킨 것과 유사하다고 이해하면 된다. 강연자는 초기 예제를 실행해보고 가능성을 직감했고, 이후 직접 기여를 시작했다. 약 3년이 지난 현재 MLX는 다운로드 150만 건, 포팅된 모델 4,000개 이상의 생태계를 갖췄으며, 주요 Frontier Lab들과 협력해 최신 오픈소스 모델의 **당일 지원(day-zero support)**을 제공하고 있다.
가장 최근 사례로, Google의 Gemma 4 모델이 공개된 당일 MLX에서 즉시 실행 가능한 상태가 되었다고 강연자는 설명한다. 즉, Gemma 4, Qwen 3 Omni를 포함한 최신 오픈소스 Frontier 모델들을 맥북·아이폰·아이패드에서 추가 설정 없이 바로 실행할 수 있는 수준에 이르렀다는 의미다.
MLX VLM — 시각 장애와 비전 AI
온디바이스 Vision Language Model의 등장
아버지의 시각 문제를 해결하기 위한 첫 번째 접근은 2021년 해커톤에서 팀과 함께 제작한, 전방 물체를 인식해 음성으로 알려주는 고글이었다. 그러나 이 프로토타입은 투박하고 접근성이 낮았다. **MLX VLM(Vision Language Model)**은 이 아이디어의 두 번째 반복(iteration)으로, 고글 같은 별도 하드웨어 없이 아이폰을 들고 카메라를 향하기만 해도 전방 상황을 파악할 수 있게 한다. 현재 MLX VLM은 LM Studio의 핵심 엔진 중 하나로 채택되어 있으며, Liquid AI 모델 등 다양한 서비스에서 활용되고 있다.
04:07 - MLX VLM을 통해 아이폰 카메라로 전방 상황을 파악하는 접근성 사용 사례 설명
대규모 모델도 온디바이스에서 — 한계의 재정의
“온디바이스라면 작은 모델만 돌릴 수 있겠지”라는 통념은 더 이상 사실이 아니라고 강연자는 단언한다. 커뮤니티의 개선을 통해 현재는 수천억 개의 파라미터를 가진 모델까지도, 첫 세대 M1 맥북에서 실행 가능하다. 강연자는 Gemma 4 26B 모델을 아이폰에서 기기 저장소를 활용해 실행하면서도 합리적인 속도를 확보한 사례를 소개한다.
💡 [영상 참조] 강연자는 이 시점에서 인터넷을 끊은 상태로 맥북에서 MLX VLM Gradio 인터페이스를 실행하고, 자신의 소셜 프로필 이미지를 모델에 입력해 세부 정보를 분석하는 데모를 진행합니다. 해당 기기는 96GB VRAM을 탑재해 있으며, 모든 추론이 GPU를 통해 온디바이스에서 처리됩니다. 📺 원본 영상에서 확인하세요.
11:14 - Gemma 4 모델을 MLX VLM으로 실행 중인 Gradio 채팅 UI — 프로필 이미지 분석 결과 표시
강연자는 데모에 사용한 기기가 96GB VRAM을 갖춰 지금까지 소개한 모든 모델을 동시에 실시간으로 실행할 수 있다고 밝혔다. 이는 동시에, 16GB 기기를 사용하는 일반 사용자를 위한 경량 시나리오도 별도로 존재함을 시사한다.
실시간 물체 인식과 배경 블러
강연자는 두 가지 실시간 비전 데모를 선보였다. 첫 번째는 Roboflow의 RF-DETR 모델을 활용한 실시간 물체 감지로, 카메라 앞에 놓인 물체를 인터넷 연결 없이 즉시 인식하는 장면을 보여주었다.
💡 [영상 참조] 강연자는 유리컵을 카메라 앞에 들어 올리며 실시간으로 “wine”으로 분류되는 장면을 보여줍니다(본인은 음주를 하지 않는다고 덧붙임). 모든 처리가 맥북 온디바이스로 이루어집니다. 📺 원본 영상에서 확인하세요.
08:23 - Roboflow RF-DETR 모델을 활용한 실시간 물체 감지 데모 — 인터넷 연결 없이 온디바이스에서 구동 중
두 번째 데모는 화상 통화 시 배경 블러 기능을 완전히 온디바이스에서 구현한 것이다. Google Meet 등 클라우드 서비스가 제공하는 기능을 로컬에서 네이티브하게 재현함으로써, 이를 자체 제품에 통합할 수 있는 기반이 열렸다는 점이 핵심이다.
09:15 - 온디바이스 실시간 배경 블러 데모 — 강연자의 마스크를 감지하며 배경을 블러 처리
MLX Audio — 음성으로 세상을 제어하다
텍스트-투-스피치에서 스피치-투-스피치까지
시각 보조를 해결한 다음 단계는 자연스럽게 오디오였다. 강연자는 두 가지 동기를 솔직하게 밝혔다. 하나는 순수한 접근성 목적, 즉 타이핑이 어려운 사람들이 음성으로 컴퓨터를 제어할 수 있도록 하는 것이었다. 다른 하나는 지극히 개인적인 편의를 위한 욕망, “컴퓨터 앞에 앉지 않아도 음성 명령만으로 작업을 처리하는 Jarvis적 비전”이었다.
MLX Audio는 세 가지 핵심 기능을 제공한다. 첫째, **텍스트-투-스피치(TTS)**다. 이 과정에서 팀이 자체 개발한 커스텀 모델 Marvis가 등장했는데, 100ms 이하의 지연 시간으로 오디오를 생성할 수 있다는 것이 핵심 성능 지표다. 둘째, **스피치-투-텍스트(STT)**는 실시간 음성 변환을 가능하게 한다. 강연자는 “Whisper Flow나 Super Whisper 같은 앱을 직접 만들고 싶다면, Claude Code나 Codex를 MLX Audio 레포지토리에 연결해 빌드 지시만 하면 된다”고 설명하며, 생성형 AI 도구와의 결합 가능성을 언급했다. 셋째, 가장 최근에 추가된 **스피치-투-스피치(Speech-to-Speech)**는 컴퓨터가 사용자에게 직접 말로 응답하는 양방향 대화를 가능하게 한다.
파이썬과 스위프트를 모두 지원하는 모듈형 파이프라인
MLX Audio의 중요한 설계 원칙 중 하나는 모듈성(modularity)이다. 단순히 엔드-투-엔드 음성 모델 하나를 제공하는 것이 아니라, ASR(자동 음성 인식) 모델, 언어 모델, TTS 모델을 각각 선택해 조합할 수 있는 파이프라인 구조를 제공한다. 이를 통해 가장 저사양인 1세대 M1부터 최신 하이엔드 기기까지 하드웨어 예산에 맞게 경험을 조정할 수 있다.
언어 지원 측면에서도 Python과 Swift를 모두 지원한다. Python은 빠른 프로토타이핑과 생태계 확장에 유리하고, Swift는 iOS/macOS 네이티브 앱을 위한 완전한 네이티브 경험을 구현하는 데 사용된다.
MLX Video — 온디바이스 영상 생성
MLX의 가장 최근 프로젝트 중 하나는 MLX Video로, 텍스트 프롬프트만으로 영상을 생성하는 기능이다. 강연자는 커뮤니티 사용자가 만든 애니메이션 영상 클립을 데모로 공유했다. 특히 주목할 만한 것은, 이 사용자가 단일 프롬프트로 전체 영상을 생성한 것이 아니라, 이전 프레임의 맥락을 이어받아 연속적으로 생성하는 체이닝(chaining) 방식을 채용해 일관된 서사를 만들어냈다는 점이다. 더욱 인상적인 사실은 이 작업이 16GB VRAM을 갖춘 맥북에서 실행 가능했다는 것이다. 16GB는 고사양 기기가 아니라 비교적 보편적인 맥북 M 시리즈 스펙이므로, 영상 생성 AI가 소비자 하드웨어의 현실적인 영역 안으로 들어왔다고 볼 수 있다.
13:06 - MLX Video로 온디바이스에서 생성된 애니메이션 영상 클립 — 체이닝 방식으로 일관된 서사 구현
커뮤니티 쇼케이스 — 기술이 제품이 되는 순간
Adrian의 Locally 앱 — 네이티브 UX와 AI의 결합
강연 현장에 참석한 개발자 Adrian은 Locally라는 애플리케이션을 공개했다. 이 앱은 MLX Audio와 Marvis TTS를 통합하여, 애플리케이션이 사용자에게 직접 음성으로 응답하는 기능을 구현했다.
💡 [영상 참조] 강연자는 Locally 앱의 실제 동작 영상을 재생하며, 앱이 음성으로 사용자에게 응답하는 장면을 보여줍니다. 📺 원본 영상에서 확인하세요.
15:00 - Adrian의 Locally 앱 데모 영상 — Marvis TTS로 앱이 음성으로 사용자에게 응답
강연자는 이 사례를 통해 “기술만큼이나 디자인 감각이 중요하다”는 점을 강조했다. MLX가 제공하는 AI 능력에 섬세한 UI/UX가 결합될 때, 진정으로 차별화된 제품이 탄생한다는 메시지다.
그라운디드 비주얼 리즈닝 — 보안 카메라의 새로운 기준
커뮤니티가 구현한 또 다른 사례는 그라운디드 비주얼 리즈닝(Grounded Visual Reasoning)이다. Gemma 4 또는 RF-DETR 같은 퍼셉션 모델을 활용해, 영상에서 특정 물체나 이벤트(예: 화재)를 감지하고 추론하는 시스템이다. 강연자는 이 기술을 활용해 자신의 블랙박스 영상을 사후 분석하는 용도로 직접 사용하고 있다고 밝혔다. 클라우드 서비스에 의존하지 않는 온디바이스 보안 카메라·대시캠 분석 시스템이 맥북 한 대로 구현 가능해진 것이다.
로보틱스 — MLX가 만나는 물리 세계
강연의 가장 인상적인 마지막 챕터는 로보틱스다. 강연자는 Reachy Mini라는 로봇을 구입해 MLX Audio와 MLX Vision을 결합하여 카메라와 마이크를 통한 완전한 퍼셉션 능력을 부여했다. 로봇은 실시간 음성 클로닝(Voice Cloning)을 통해 영화 아이언맨의 Jarvis 목소리로 응답하도록 구성되었다.
💡 [영상 참조] 강연자가 “Hey Jarvis”라고 호출하면 로봇이 Jarvis 음성으로 응답하는 장면이 라이브로 시연됩니다. 📺 원본 영상에서 확인하세요.
16:08 - Reachy Mini 로봇 데모 — MLX Audio + MLX Vision 결합, Iron Man Jarvis 음성 클로닝으로 실시간 응답
이 시연이 중요한 이유는 단순한 쇼맨십이 아니다. 들을 수 있고(MLX Audio), 볼 수 있고(MLX Vision), 말할 수 있는(Marvis TTS) AI 에이전트가 아이폰·맥북 수준의 연산 자원으로 구동된다는 것을 로봇이라는 물리적 인터페이스로 증명한 것이기 때문이다.
Q&A 하이라이트 — 기술적 심층 논의
Neural Engine과 CoreML의 한계
청중의 첫 번째 질문은 MLX가 Apple Silicon의 Neural Engine을 왜 활용하지 않느냐는 것이었다. 강연자의 답변은 명확했다. 현재 MLX는 GPU를 사용하며, Neural Engine을 활용하려면 CoreML이 필요한데 CoreML의 개발자 경험(DX)이 아직 좋지 않다는 것이다. 그는 WWDC에서 Apple이 private API 문제를 해결하길 기대하고 있으며, 그 이후 GPU와 Neural Engine 양쪽에 걸친 하이브리드 추론(hybrid inference) 내부 프로젝트가 이미 준비되어 있다고 밝혔다. 또한 M5 시리즈에서는 Neural Engine과 GPU 간의 경계 자체가 달라질 가능성도 언급했다.
성능 모니터링 — mactop의 활용
온디바이스 추론 시 리소스 사용량을 확인하는 방법으로 강연자는 Carson이 개발한 mactop을 추천했다. 터미널에서 실행하면 GPU, CPU 사용률을 실시간으로 오버레이 형태로 보여주며, 추론 시작 시 GPU 사용률이 상승하는 것을 직접 확인할 수 있다. 데모에서 4-bit 양자화 모델로 추론을 실행하자 GPU 수치가 즉시 올라가는 것을 라이브로 보여주었다.
멀티모달(Omni) 모델 추천
이미지, 오디오, 텍스트를 동시에 입력으로 받는 Omni 모델에 대한 질문에 강연자는 두 가지를 언급했다. 하나는 Gemma 4 E 시리즈(E4, E2 등의 접미사로 구분되는 Omni 버전)이며, 다른 하나는 약 300억 파라미터 규모의 Qwen 3 Omni다. 모두 현재 온디바이스에서 실행 가능하다.
TurboQuant — 온디바이스 컨텍스트 1M 토큰의 열쇠
가장 기술적으로 밀도 높은 주제는 TurboQuant였다. 강연자는 해당 논문이 공개된 지 30분 만에 공개 구현체를 만들어 배포했다고 밝혔으며, 그 트윗이 70만 뷰를 기록했다. TurboQuant는 KV 캐시(KV cache)를 4배 압축하는 기법으로, 풀 모델이 거의 1GB의 KV 캐시 혹은 RAM을 요구하는 것을 대폭 줄여준다. 강연자에 따르면 품질 손실은 거의 없으며, exact match 기준으로 풀 모델의 응답 품질을 유지한다.
이 기술이 온디바이스 AI에 갖는 의미는 매우 크다. TurboQuant 덕분에 현재 MLX는 모델 사이즈와 하드웨어에 따라 최대 100만 토큰(1M context) 의 컨텍스트를 온디바이스에서 처리할 수 있다. 또한 컨텍스트가 30만 토큰 이상으로 늘어날 때 처리량(throughput)이 거의 2배 향상되는 효과도 확인되었다.
마무리 — 에이전트는 이미 당신의 주머니 안에 있다
Prince Canuma는 발표를 마무리하며 이 모든 기술이 보여주는 하나의 방향을 제시했다. 들을 수 있고, 볼 수 있고, 사람처럼 말할 수 있는 AI 에이전트를 아이폰·아이패드·맥북, 심지어 로봇 위에서 오늘 당장 구동할 수 있다는 것이다. 그는 현재 오픈소스 온디바이스 모델의 성능이 Claude Opus 4.6 같은 최상급 모델에는 미치지 못한다는 사실을 솔직하게 인정했다. 하지만 6개월 뒤에는 그 격차가 많이 줄어들 것이라고 전망하며, 기대치를 현재 모델 수준에 맞게 조정하는 것이 현명한 접근이라고 조언했다.
MLX 생태계가 증명하는 것은, 온디바이스 AI가 “클라우드를 대체할 만한가”라는 질문보다 “클라우드가 닿지 않는 곳에서 무엇을 가능하게 하는가”라는 질문에 먼저 답해야 한다는 것이다. 그 출발점에 아프리카에서 책을 읽지 못하게 된 한 아버지를 위한 약속이 있었다는 사실은, 기술의 가장 중요한 사용처가 어디인지를 다시 생각하게 만든다.
📚 출처 및 참고
| 구분 | 내용 |
|---|---|
| 원본 영상 | MLX Genmedia — Prince Canuma, Arcee |
| 채널 | AI Engineer |
| 발표자 | Prince Canuma |
| 리포트 작성 | 2026-05-12 |
| 작성 방식 | YouTube 영상 STT 변환 후 에디팅 |
💬 본 리포트는 영상 내용을 바탕으로 재구성되었습니다. 정확한 내용은 원본 영상을 참조해 주세요.
Related Reports
- HBM급 미친 메모리 스펙 M5 Ultra 등장 애플은 에이전틱 AI 시대 강자입니다 | MLX·오픈 모델의 폭발
- 구글 미친 성능의 무료 AI Gemma 4 출시… M5 Pro 맥북프로 M4 Pro 맥미니로 돌려보니 | MLX 지원 애플실리콘 성능 대폭 향상
- Engineering voice agents - Latency, quality, and scale — Rishabh Bhargava, Together AI
- 최신 맥북 Pro 가장 큰 장점, M5 GPU 완전 재설계… AI반도체는 모두 이렇게 간다
- Robotics — Cormac Brick, Google