EmbeddingGemma 2, 글·사진·음성·영상을 한 모델로 검색
구글 딥마인드가 10월 6일 오픈 임베딩 모델 EmbeddingGemma 2를 공개했다. 글·코드·사진·오디오·영상을 하나의 벡터 공간에 넣어, 음성 메모로 영상 장면을 찾는 검색을 휴대폰 안에서 할 수 있다. 7억4천만 파라미터에 Apache 2.0이고, Pixel 11 Pro에서 약 567MB 메모리로 작동한다.
구글이 휴대폰과 노트북 안에서 글·사진·소리·영상을 함께 검색할 수 있는 오픈 모델을 내놨다. 사진에 설명을 붙이거나 녹음을 받아쓰지 않고 원본끼리 바로 비교하는 방식이다.
구글 딥마인드는 10월 6일 EmbeddingGemma 2를 공개했다. 텍스트만 다룬 1세대는 다운로드 2,000만 회를 넘겼고, 2세대는 텍스트와 코드에 이미지·동영상·오디오까지 하나의 벡터 공간에서 다룬다.
임베딩(embedding) 모델은 글이나 그림을 숫자 벡터로 바꿔 뜻이 비슷한 것끼리 가까이 놓는 모델이다. 예를 들어 음성 메모로 특정 영상 장면을 찾거나, 몇 시간 분량의 녹음을 글로 검색하는 방식이다.
새 모델은 Gemma 4 구조를 바탕으로 했고 크기는 7억4천만 파라미터다. 텍스트 본체와 이미지·오디오 인코더가 나뉘어 있어, 텍스트만 쓴다면 2억7천만 파라미터만 불러오면 된다. 라이선스는 상업적 사용이 가능한 이다.
한 번에 넣을 수 있는 길이도 늘었다. 최대 8,192으로, 이는 1세대의 4배다. 이미지는 약 29장, 동영상은 58프레임, 오디오는 약 5.5분까지 들어간다.
코드 검색 성능이 가장 많이 올랐다. MTEB Code에서 78.68점을 기록해 1세대보다 9.92점 높아졌다. 구글은 10억 파라미터 미만 멀티모달 임베딩 모델 가운데 가장 높은 점수라고 밝혔다.
휴대폰에서 쓰는 메모리도 공개했다. (양자화)을 적용한 모델은 Pixel 11 Pro에서 텍스트만 쓸 때 약 191MB, 전부 쓸 때 약 567MB의 메모리를 쓴다고 구글은 밝혔다.
구글은 "로컬에서 임베딩을 생성하면 데이터 프라이버시를 지키고 파이프라인 지연 시간을 줄이며, 개발자가 완전히 오프라인으로 작동하는, 형식을 넘나드는 검색을 만들 수 있다"고 설명했다.
가중치는 Hugging Face와 Kaggle에서 받을 수 있고, sentence-transformers··llama.cpp·Ollama 등에서 바로 쓸 수 있다. Google AI Edge Gallery 앱(Android·iOS)에서는 휴대폰 속 사진 검색과 영상 장면 찾기 데모를 써 볼 수 있다.
1세대로는 사진이나 녹음을 먼저 글로 바꿔야 검색할 수 있었다. 2세대를 쓰면 그 단계 없이 휴대폰 안에서 원본을 바로 검색할 수 있게 된다.
