「Poinky」が公開:音声対話と画面認識に対応したmacOS向けオープンソース・デスクトップアシスタント
macOS向けデスクトップアシスタント「Poinky」がオープンソースとして公開された。Claude CodeおよびAnthropic APIを基盤とし、画面の視覚的認識、音声による質疑応答、画面上への描画による操作ガイドを実現している。ユーザーはショートカットキーを押しながら画面の内容について音声で質問でき、アシスタントは音声と同期して画面上に手順を描画したり、クリック位置を丸で囲んだり、テキスト入力を支援したりする。同プロジェクトはデフォルトでローカルの音声モデル「Kokoro」を実行し、ローカルでのビルド、インストール、権限設定をワンライナーのスクリプトで完了できる仕様となっている。
推薦理由:本プロジェクトは、Claude Codeと画面理解機能をシステムノッチに常駐する音声アシスタントへと昇華させ、デスクトップにおけるマルチモーダルな伴走型インタラクションの実用形態を提示している。