Mac版Geminiアプリ、「高度な音声入力」と「画面認識」の新機能を追加

Googleは米国時間7月29日、「macOS」向け「Gemini」アプリに新たな音声機能を追加すると発表した。同アプリは4月のリリース以来、継続的に新機能が追加されている。今回は、音声だけでGeminiを操作する新たな方法と、新しい「Screen Awareness」（画面認識）モードが提供される。

　macOS向けGeminiアプリは、登場から数カ月ながら機能がかなり充実している。「Google AI Pro」と「Google AI Ultra」プランでは「Gemini Spark」を利用でき、フォルダーの整理や再編成を自律的に実行できる。数クリックで画像や動画を作成することも可能だ。

　今回追加される2つの新機能のうち1つは、高度な音声文字起こし機能だ。マウスカーソルがある場所に発話内容を整ったテキストとして文字起こしし、「えー」「あー」といった言いよどみを自動的に取り除く。これは、「Android 17」の「Rambler」機能に似ている。Ramblerは、話している内容をその場で自動的に整えながらテキスト化する機能だ。音声入力自体は新しいものではないが、GeminiのAIを活用した選択肢が加わることで、これまで以上に実用的になる可能性がある。

　もう1つの新機能は、新しいScreen Awarenessモードだ。これはオプトイン方式の機能で、Geminiが画面やPC上のアクティブなウィンドウを「見る」ことで、作業内容をより深く理解し、ユーザーに代わってタスクを実行できるようにする。Googleは例として、文書内のテキストを選択し、Geminiに「このメモをエグゼクティブサマリーにして」と指示する使い方を挙げている。この場合、Geminiは選択されたテキストを、指示に沿った出力へ置き換える。

　新しい音声機能は、macOS向けGeminiアプリのすべての英語版ユーザーを対象に、世界中で順次提供されている。対応言語は近く追加される予定だ。