애플 Foundation Models 프레임워크 총정리: 온디바이스와 클라우드 LLM을 하나의 Swift API로

들어가며

앱에 LLM 기능을 넣으려 할 때 개발자들이 가장 먼저 부딪히는 고민이 있습니다. 기기 안에서 돌릴지, 클라우드를 쓸지의 선택이죠. 온디바이스 모델은 개인정보 보호와 오프라인 동작에 강하지만 성능에 한계가 있습니다. 클라우드 모델은 강력한 대신 비용과 데이터 처리 문제가 따라옵니다.

애플의 Foundation Models framework는 이 두 가지를 같은 Swift API로 묶었습니다. 이번 글에서는 이 프레임워크의 핵심 기능과 개발 도구, 이용 조건을 차근차근 정리해 보겠습니다.

핵심 요약 (TL;DR)

하나의 API로 온디바이스와 클라우드 모델 사용: 온디바이스 Apple Foundation Models부터 Private Cloud Compute 모델, 외부 클라우드 모델까지 같은 Swift API로 다룹니다.
이미지 이해 지원: 텍스트와 이미지를 함께 프롬프트로 보낼 수 있고, Vision 프레임워크의 OCR과 바코드 인식을 온디바이스에서 쓸 수 있습니다.
Dynamic Profiles: 하나의 세션 안에서 모델, 도구, 지침을 바꿔도 대화 기록이 그대로 유지됩니다.
소규모 개발자는 클라우드 API 비용 무료: App Store Small Business Program에 가입되어 있고 최초 다운로드가 200만 건 미만이면 됩니다.
개발 도구 확충: Evaluations 프레임워크, macOS 27의 fm CLI, Python SDK가 함께 제공됩니다.

1. 모델 통합: 작업 규모에 맞춰 모델을 고르는 구조

Foundation Models framework는 간단한 요약 생성부터 동적인 에이전트 구성까지, 앱에 LLM을 넣기 위한 네이티브 Swift API입니다.

온디바이스 모델

Apple Intelligence의 핵심 기반 모델에 직접 접근합니다.
인터넷 연결 없이 데이터를 기기 안에서만 처리하므로 개인정보에 민감한 기능에 잘 맞습니다.

서버(클라우드) 모델

더 복잡한 작업에는 서버 모델을 같은 Swift API로 호출합니다.
서버 모델에서도 **도구 호출(Tool Calling)**과 **가이드 생성(Guided Generation)**을 쓸 수 있습니다.

💡 에디터 코멘트: API가 하나로 통일되어 있으니 처음에는 온디바이스로 프로토타입을 만들고, 성능이 부족한 기능만 클라우드로 옮기는 식의 점진적 설계가 가능합니다. 모델을 바꿀 때마다 코드를 크게 고칠 필요가 없다는 점이 가장 실용적인 장점입니다.

Private Cloud Compute, 조건을 충족하면 무료

Private Cloud Compute에서 실행되는 Apple Foundation Models는 다음 두 조건을 모두 충족하는 개발자에게 클라우드 API 비용 없이 제공됩니다.

App Store Small Business Program에 가입되어 있을 것
App Store 최초 다운로드 수가 200만 건 미만일 것

사용자 데이터는 저장되지 않으며 Apple을 포함한 누구도 접근할 수 없도록 보호된다고 합니다. 인디 개발자나 스타트업이라면 LLM 기능을 붙일 때 비용 부담을 크게 덜 수 있습니다.

2. 이미지 이해: 텍스트와 이미지를 함께 다루는 멀티모달

프롬프트에 이미지를 첨부해 시각적 콘텐츠를 바탕으로 추론하게 할 수 있습니다.
Vision 프레임워크가 직접 통합되어 다음 기능을 온디바이스에서 제공합니다.
- OCR: 이미지 속 텍스트를 정밀하게 추출
- 바코드 읽기: 코드를 빠르게 스캔

영수증 정리, 명함 인식, 상품 바코드 기반 정보 조회처럼 "사진을 찍고 의미를 이해하는" 기능을 서버 없이 만들 수 있습니다.

3. Dynamic Profiles: 대화 흐름을 끊지 않고 모델 바꾸기

이번 발표에서 가장 눈에 띄는 기능입니다. Dynamic Profiles는 세션의 모델, 도구, 지침을 실행 중에 계속 갱신할 수 있게 해 주는 선언형 API입니다.

프로필마다 정의할 수 있는 항목

사용할 모델
온도(temperature)
추론 수준
도구 집합

왜 유용할까?

하나의 연속된 세션 안에서 프로필을 바꿔도 대화 기록이 공유됩니다.
그래서 문맥을 다시 설명하는 프롬프트를 줄일 수 있습니다.
AI 에이전트, 스킬, 앱에 필요한 상위 수준 추상화를 만드는 기본 요소로 쓸 수 있습니다.

예를 들어 사용자와 가볍게 대화할 때는 온디바이스 모델과 낮은 추론 수준을 쓰다가, 복잡한 분석 요청이 들어오면 클라우드 모델과 높은 추론 수준, 분석 도구 세트로 바꾸는 흐름을 같은 세션 안에서 구성할 수 있습니다.

4. 평가와 개발 도구

LLM 기능은 만드는 것보다 안정적으로 동작하는지 검증하는 일이 더 어렵습니다. 애플은 이 부분을 위한 도구도 함께 내놓았습니다.

Evaluations 프레임워크

단위 테스트로 잡아내기 어려운 동적 조건에서 프롬프트와 AI 기능의 동작을 검증합니다.
지침 수정, 모델 교체, Dynamic Profile 조정 뒤 출시 전에 앱 동작을 확인할 수 있습니다.

macOS 27의 `fm` CLI

앱 코드를 쓰지 않고도 스크립팅, 모델 작업 흐름 자동화, 빠른 프로토타이핑이 가능합니다.
터미널에서 프롬프트를 바로 실험해 볼 수 있어 아이디어 검증 속도가 빨라집니다.

Foundation Models framework utilities package

프레임워크 위에 실험적 추상화를 더한 패키지로, 다음을 포함합니다.

사용자 정의 스킬
컨텍스트 관리 도우미
원하는 호스팅 모델에 연결하는 Chat Completions 클라이언트

Foundation Models SDK for Python

프레임워크를 Python 생태계로 넓힙니다.
Python 도구와 평가 패키지를 함께 쓸 수 있어 ML 엔지니어나 데이터 과학자도 쉽게 다룰 수 있습니다.

5. 사용 요건과 규제 대응

**허용 가능한 사용 요건(Acceptable Use Requirements)**에서 Apple Foundation Models의 금지된 사용을 규정합니다. 도입 전에 꼭 확인하세요.
EU **AI Act 제53조 제1항 (b)**에 따라, AFM 3 Cloud를 통합하려는 AI 시스템 제공자를 위한 모델 문서도 제공됩니다. 유럽 시장을 대상으로 하는 서비스라면 컴플라이언스 대응에 도움이 됩니다.

마치며

Foundation Models framework는 "애플 기기에서 LLM 쓰기"를 넘어, 모델 선택부터 세션 관리, 평가, 자동화까지 아우르는 개발 환경으로 커지고 있습니다. 특히 다음 세 가지가 눈에 띕니다.

온디바이스와 클라우드를 오가는 단일 Swift API
대화 문맥을 유지한 채 모델과 도구를 바꾸는 Dynamic Profiles
소규모 개발자를 위한 Private Cloud Compute 무료 제공

iOS나 macOS 앱에 AI 기능을 넣을 계획이 있다면, 외부 LLM API를 붙이기 전에 이 프레임워크로 어디까지 해결되는지 먼저 확인해 보세요.

📎 원문 출처: GeekNews - Foundation Models framework

원문: https://news.hada.io/topic?id=37098&utm_source=geeknews&utm_medium=rss&utm_campaign=news