この文書では、ChatGPTの文章理解機能を使い、曖昧な指示でもスマートプラグを制御する方法について説明します。

ChatGPTは自然言語処理に優れた機能を持ち、含意を理解して外部デバイスを操作することができます。例えば、比較的曖昧な指示である「電気つけて」という指示でも、ChatGPTはそれで電気機器の操作なのかを判定でき、それに応じてスマートプラグを制御することができます。

思惑としては亭主関白風「おい、あれ!」で何でも操作できることが狙いですが、実際には「おい、あれ」で行動を判定するにはさらに多い前提条件の提示が必要なので、今回は「主電源を入れて」「電気をつけて」「電気をオンして」など、意味はぶれないがしばしば言い回しがぶれるようなケースでも指示が働くレベルです。

https://miro.com/app/board/uXjVMZQBrag=/?share_link_id=969793638739

実際に動かしてみるとChatGPTはかなり論理的に判定するので、残念ながら「指示対象」がWhisperの音声認識で誤認識されたりして、文章が意味レベルで崩れると「判断できません」と返すことが多いです。

ただ言い回しが異なる/語尾が異なるくらいならきちんと認識できます。

含意がずれなければ認識できるということは「指示が失敗したら、他人に説明するように丁寧に説明すると成功する」という性質があり、単に「語」や「文章形状」のマッチを見る単純な音声認識指示より納得できる認識をします。

なお、さすがに誤動作は怖いのでリスクがある操作にはつなげないつもりです(PCの電源を入れるは個人的にアリだがPCの電源を消す は絶対に付けない)