구글 EmbeddingGemma 2로 할 수 있는 일과 쓰는 법

구글의 새 임베딩 모델 EmbeddingGemma 2를 쓰면 사진·영상·녹음·코드를 글로 바꾸지 않고 바로 검색할 수 있다. 휴대폰이나 사내 PC 안에서 인터넷 연결 없이 작동한다는 점도 쓰임을 넓힌다.

구글 딥마인드는 10월 6일 이 모델을 오픈 모델로 공개했다. 라이선스는 상업적 사용이 가능한 Apache 2.0이다.

모델 하나가 사진 설명·받아쓰기·텍스트 임베딩을 대신한다

지금까지 사진이나 녹음을 검색하려면 모델 세 개를 이어 써야 했다. 사진에 설명 글을 붙이는 모델, 음성을 받아쓰는 모델, 그 글을 벡터로 바꾸는 텍스트 임베딩 모델이다.

EmbeddingGemma 2는 이 과정을 모델 하나로 줄였다. 구글 AI Edge 팀은 이 모델이 "이미지 캡션, 음성 인식, 텍스트 임베딩 모델을 따로 이어 붙일 때 생기는 지연 시간과 메모리 부담을 줄인다"고 설명했다.

구조는 텍스트 본체에 인코더를 붙이는 방식이다. 글과 코드는 2억7천만 파라미터 본체가 처리한다. 사진과 영상은 1억7천만 파라미터 이미지 인코더를, 소리는 3억 파라미터 오디오 인코더를 거친다. 결과는 모두 같은 768차원 공간에 놓여, 형식이 달라도 뜻이 같으면 가까이 모인다.

휴대폰에서도 작동한다. 구글에 따르면 Pixel 11 Pro에서 텍스트만 쓰면 약 191MB, 사진·소리까지 모두 쓰면 약 567MB의 메모리를 쓴다.

구글 데모 앱은 사진첩과 영상을 글로 검색한다

구글은 Google AI Edge Gallery 앱(Android·iOS)에 시연 기능 두 가지를 넣었다. Instant Media Search는 휴대폰 속 사진과 영상을 자연어나 예시 사진으로 찾는다.

검색 결과는 글자를 칠 때마다 바뀐다. 독일어로 Katze(고양이)를 입력하면 고양이 사진이 바로 뜨고, 키보드 위에서 자는 고양이라고 이어서 입력하면 찾던 사진이 맨 위로 올라온다.

Video Moments Finder는 영상 속 장면을 찾는다. 가족 영상이나 경기 영상을 고르면 기기가 영상을 구간별로 색인하고, 아이들이 웃는 장면처럼 설명을 입력하면 해당 시점을 표시한다. 구글 시연에서는 2분 21초짜리 영상에서 배트를 휘두르는 장면 세 곳을 찾아냈다.

Mac용 회의 도우미 Google AI Edge Foresight도 같은 모델을 쓴다. 회의 대화와 메모, 개인 파일을 기기 안에서 색인해 회의 중 나온 질문에 답하고, 짧게 적은 메모를 대화 내용으로 보강한다. 이 앱에서는 EmbeddingGemma 2와 Gemma 4가 함께 작동한다.

개발자는 필요한 인코더만 불러 쓴다

사용법은 구글 개발자 가이드에 단계별로 나와 있다. 먼저 pip install -U sentence-transformers[image,audio,video] transformers로 sentence-transformers 6.1.0 이상을 설치한다. 그다음 SentenceTransformer("google/embeddinggemma-2")로 모델을 불러온다.

텍스트만 다룬다면 이미지·오디오 인코더를 끄면 된다. 모델을 불러올 때 config_kwargs={"vision_config": None, "audio_config": None}을 넣으면 2억7천만 파라미터만 올라간다. 이미지를 더하면 4억4천만, 오디오를 더하면 5억7천만, 전부 쓰면 7억4천만 파라미터가 된다.

검색할 때는 질의와 문서에 서로 다른 프롬프트를 붙인다. 질의는 prompt_name="SearchQuery", 문서는 prompt_name="Document"로 넣는다. 구글은 질문 답변, 사실 확인, 코드 검색, 분류, 묶기, 유사도 측정용 프롬프트도 따로 마련했다.

글과 사진·영상을 섞어 벡터 하나로 만들 수도 있다. 글 사이에 <|image|>, <|video|> 표시를 넣으면 된다. 구글은 방수 트레일화 설명 "Waterproof trail shoe. <|image|> Grip test on wet rock: <|video|>"에 신발 사진과 접지력 시험 영상을 묶어 벡터 하나로 만들었다. 이 벡터는 waterproof trail shoes 같은 글 검색어와 바로 비교할 수 있다.

저장 공간은 벡터 차원으로 조절한다. 768차원 벡터 100만 개를 bfloat16으로 저장하면 약 1.5GB가 든다. 이를 128차원으로 줄이면 250MB다.

구글은 용도별로 차원을 권했다. 이미지·영상 검색처럼 정확도가 중요하면 768이나 512차원, 저장 공간이 빠듯하면 256차원, 큰 텍스트 색인이나 1차 후보 추리기에는 128차원이다. 특히 256차원은 저장 공간을 3분의 1로 줄이면서 이미지·영상·음성 검색 품질을 약 95% 유지한다.

실행 설정도 미리 정해 두는 편이 좋다. 구글은 float16 대신 bfloat16이나 float32로 실행하고, 질의와 문서의 차원을 같게 맞추라고 권했다. 또 텍스트로 시작한 색인에 나중에 사진이나 소리를 더해도 이미 만든 벡터를 다시 계산할 필요가 없다.

앱에 넣는 경로도 마련돼 있다. MediaPipe의 Universal Embedder는 이미지 크기 조정 같은 전처리를 대신하고, Semantic Retriever는 기기 안에서 벡터 검색을 한 자릿수 밀리초에 끝낸다고 구글은 설명했다. 같은 코드를 iOS·macOS·Windows·Linux·웹에 배포할 수 있다.

다른 실행 경로도 열려 있다. Android용 ML Kit 지원은 몇 주 안에 추가된다. 서버에서는 vLLM·SGLang·Ollama·llama.cpp로, 브라우저에서는 transformers.js와 WebGPU로 실행할 수 있다.

기기별 처리 속도도 공개됐다. 이미지 한 장을 토큰 70개로 처리하는 설정에서 Pixel 11 Pro XL의 NPU는 48.9ms, iPhone 18 Pro의 GPU는 69.8ms, MacBook M5 Pro의 GPU는 37.3ms가 걸렸다.

기업은 사내 자료 검색과 실시간 분류에 쓸 수 있다

구글은 모델 카드에서 검색, 분류, 묶기, 유사도 측정, 사실 확인을 주요 용도로 꼽았다. 검색 쪽 예는 기업 지식베이스를 대상으로 한 RAG, 자연어로 찾는 코드 검색, 음성 질의로 녹음 보관소를 찾는 검색이다.

분류와 묶기에도 쓸 수 있다. 감성 분석·콘텐츠 검수·소리 이벤트 감지·이미지 분류가 분류의 예이고, 고객 의견을 주제별로 모으거나 형식이 다른 중복 콘텐츠를 찾는 일이 묶기의 예다.

사내 코드 검색은 구글이 직접 시연했다. 구글은 Hugging Face transformers 코드베이스의 함수·클래스 4만9,160개를 2억7천만 파라미터 텍스트 설정으로 임베딩했다. 이어 Gemma 4 26B A4B로 만든 에이전트가 세 번의 검색으로 질문에 필요한 코드를 찾아냈고, 이때 쓴 토큰은 5,694개였다.

코드 검색 성능도 이 용도를 뒷받침한다. 코드 검색 점수(MTEB Code)는 1세대보다 14% 올랐고, 구글은 이를 근거로 로컬 코드베이스 색인과 코딩 에이전트의 검색 작업에 알맞다고 설명했다.

실시간 분류와 라우팅도 가능하다. MediaPipe Decision Task는 학습 데이터나 fine-tuning(미세조정) 없이 사용자 입력을 분류 라벨 설명과 바로 비교해 의도를 나눈다. 구글 시연에서는 체스 게임에서 매번 500개 선택지를 100ms 안에 평가했다.

자료를 밖으로 보내지 않는 검색도 할 수 있다. 구글은 Foresight를 소개하며 민감한 정보가 기기를 떠나지 않고, 네트워크 상태와 상관없이 쓸 수 있으며, 클라우드 구독 비용이 들지 않는다는 점을 장점으로 꼽았다.

자사 데이터에 맞추는 방법도 있다. Unsloth로 fine-tuning할 수 있고, 벡터는 Qdrant 같은 벡터 DB에 저장할 수 있다. 구글 클라우드의 Gemini Enterprise Agent Platform Model Garden에도 곧 올라온다.

설치부터 배포까지의 순서를 Karpathy가 권한 ASD-STE100 방식으로, 한 문장에 지시 하나만 담아 정리하면 아래와 같다.

EmbeddingGemma 2로 달라지는 것은 검색할 수 있는 대상이다. 사진·영상·녹음·코드를 글로 바꾸지 않고 그대로 색인할 수 있고, 그 과정이 휴대폰이나 사내 PC 안에서 끝난다.