記憶機能付きAIアシスタント
会話履歴などのユーザー別情報を記憶し、LLMによる応答生成とTTSによる音声出力を組み合わせたパーソナルAIアシスタントの開発プロジェクトです。低コストで運用できる構成を前提に、応答品質とレイテンシーの両立を目指しています。現在はLLMとしてGeminiを利用し、応答速度を検証しています。
課題
主な課題は、LLMによる応答生成とTTSによる音声合成を組み合わせた際の、処理全体のレイテンシーです。各処理を順番に実行すると待ち時間が積み重なります。また、検証したTTSモデルでは音声品質を優先すると推論負荷が増え、手元のGPU環境では応答開始が遅くなりました。そのため、品質・応答速度・運用コストのバランスを取る必要があります。
対応・解決策
現段階では、音声品質と推論速度を比較した上で、応答速度を優先した軽量なTTSを採用しています。今後は、LLMの出力を文単位で順次音声合成する方式やストリーミング処理を検討し、応答開始までの待ち時間を短縮する予定です。ユーザーの発話による応答の割り込み制御も、今後の実装課題としています。
得られた知見
LLMのプロンプト設計とAPI連携、TTSライブラリの比較、Flutterアプリを含む複数コンポーネントの統合を経験しました。また、音声対話では個別モデルの性能だけでなく、処理全体のレイテンシー設計が重要であることを学びました。