Gemini AI와 Android XR로 만드는 실시간 인터랙션: 데모 예제 따라하기

 

 

지난 Google I/O 2025에서는 Android XR 플랫폼과 Gemini AI의 통합이 가장 인상적인 포인트 중 하나였습니다.
특히 카메라 + 음성 + 시각 피드백이라는 3박자가 맞물리면서, 디지털 트윈이나 실시간 인터페이스 시스템을 개발하는 입장에서는
**"이제는 가능해졌다"**는 감각을 확실히 줄 수 있었습니다.

이번 포스트에서는 Android 기반 XR 환경에서 Gemini API를 연동해 실시간 카메라 뷰와 대화형 인터페이스를 연결하는 기본 예제를 소개합니다.

---

📦 요구사항

• Android 16 (Preview SDK)
• ARCore 설치됨
• Gemini API Key (Gemini Advanced 이상 권장)
• Kotlin 기반 Android Studio 환경 (Java도 가능하지만 샘플은 Kotlin 기준)

---

🧱 기능 구성

모듈설명

📷 ARView	실시간 카메라 뷰 제공 (Sceneform 또는 ARCore)
🎙️ 음성 인식	Android SpeechRecognizer 사용
🧠 Gemini API	사용자 발화 → Gemini로 요청 후 응답
💬 UI 피드백	음성/텍스트 응답을 UI에 실시간 출력

 

---

💻 주요 코드 흐름

1. 실시간 카메라 뷰 설정 (AR Fragment)

class ARActivity : AppCompatActivity() {
    private lateinit var arFragment: ArFragment

    override fun onCreate(savedInstanceState: Bundle?) {
        super.onCreate(savedInstanceState)
        setContentView(R.layout.activity_ar)

        arFragment = supportFragmentManager.findFragmentById(R.id.ux_fragment) as ArFragment
    }
}

 

---

2. 음성 입력 → Gemini API 전송

private fun startVoiceRecognition() {
    val intent = Intent(RecognizerIntent.ACTION_RECOGNIZE_SPEECH)
    intent.putExtra(RecognizerIntent.EXTRA_LANGUAGE_MODEL, RecognizerIntent.LANGUAGE_MODEL_FREE_FORM)
    speechRecognizer.startListening(intent)
}

private fun onSpeechResult(result: String) {
    callGeminiApi(result) { responseText ->
        runOnUiThread {
            resultTextView.text = responseText
        }
    }
}

---

3. Gemini API 요청 예시 (REST 기반)

fun callGeminiApi(prompt: String, callback: (String) -> Unit) {
    val requestJson = JSONObject().apply {
        put("prompt", prompt)
        put("model", "gemini-pro")  // 또는 gemini-1.5-flash
    }

    val body = requestJson.toString().toRequestBody("application/json".toMediaType())
    val request = Request.Builder()
        .url("https://generativelanguage.googleapis.com/v1beta/models/gemini-pro:generateContent?key=YOUR_API_KEY")
        .post(body)
        .build()

    OkHttpClient().newCall(request).enqueue(object : Callback {
        override fun onResponse(call: Call, response: Response) {
            val responseText = parseGeminiResponse(response.body?.string())
            callback(responseText)
        }

        override fun onFailure(call: Call, e: IOException) {
            callback("AI 응답 실패")
        }
    })
}

---

🔁 데모 흐름 요약

1. 카메라 화면을 보며 말한다 → "이 기계가 어떤 역할을 하지?"
2. 음성 인식 후 텍스트로 변환 → Gemini API 전송
3. Gemini가 답변 생성 → "이 장치는 시약을 자동 혼합하는 설비입니다."
4. 텍스트 UI에 실시간 출력

---

💡 활용 팁

• 디지털 트윈 설비 설명에 탁월: 실제 설비를 카메라로 비추고, 음성으로 질문 → AI가 실시간 설명
• 현장 교육 / 유지보수 인터페이스로 확장 가능
• 멀티모달 지원 확대: 향후 이미지 캡처 → 분석 피드백 연결 예정

---

🔚 마무리

이번 데모는 Android 16 + Gemini의 가장 단순한 통합 케이스를 다뤘습니다.
실제 제품화 시에는 음성 명령어 맥락 유지, UI 피드백 최적화, 3D 오버레이 등 여러 요소를 추가해야 하겠지만,
기술적 토대를 직접 체험해보는 데는 충분합니다.

👉 다음 포스트에서는 이 흐름을 확장해, 실시간 설비 점검용 디지털 트윈 인터페이스로 확장하는 구조를 살펴보겠습니다.