スキップしてメイン コンテンツに移動

GeminiがアップデートされるたびにHomeとの連携が不安定になるんですけど

Galaxy S24 Ultraを使っています。

Galaxyには、モードとルーチンと言う便利な自動化ツールが標準で実装されています。

モードとルーチンだけでも色んなことを自動化できるし、時々アップデートで出来ることも増えてきています。

で、このモードとルーチンはSamsung純正なのでGalaxy特有の機能を操作することが可能なのですが、MacroDroidほど多機能ではありません。 

そんな訳で、私は

・MacroDroid

・モードとルーチン

・Googleアシスタント(Googleホーム)

・Gemini

・Folder Sync Pro

等々を連携させることで色々と自動化を図っています。


面倒なのはMacroDroidからのGeminiやGoogleホームとの連携なんですね。

GeminiもGoogleホームもMacroDroidから直接連携できません。両方ともアプリを起動することはできますが、それぞれに実行してほしい機能を連携できません。

例えば、MacroDroidからGeminiを起動しても、音声入力待ちにはならずに、テキスト入力待ちになります。ここでテキストを引き渡しても、Geminiは音声読み上げをしてくれません。自動化したいのに画面に表示されるだけでは厳しいですよね?

なので、これまでは自声の「OK Google ~して」のような音声ファイルを用意して、MacroDroidから再生させることでGemini連携していました。騒がしい場所では全く使い物にならないのが欠点ですが。

でもですね。Geminiが賢くなっていくんですよ。そのせいで連携が難しくなってきていました。


具体的には、

目覚ましのアラームを停止すると

モードとルーチンでスマホやスマッチの設定を自分標準にする

モードとルーチンで通知を出力してMacroDroidに連携

MacroDroidで「OK Google おはよう」の音声ファイルを再生

Gemini(これは標準アシスタントアプリをGeminiにしているからです)がGoogleホームのおはよう自動化ルーチンを実行(天気や予定などを読み上げて貰ったり部屋の照明を点けたりしてもらってます)

Googleホームの一連の動作が終わると、画面に「完了しました。」が表示される

画面に「完了しました。」が出力されたらMacroDroidで後続のマクロを実行する。

後略


なのですが、Geminiが賢くなりすぎて、Googleホームのルーチンを要約するようになったんです。簡潔になるし嬉しい改善なんですが、最後に「完了しました。」が出力されなくなりました!!

これだけなら、マクロのトリガまで待機にタイムアウトを設定すれば何とか凌げるんですが、

Geminiが賢くなりすぎて Googleホームの自動化を使わないときまであるんです。

その場合、天気や予定は教えてもらえますが、ホームオーオートメーションの操作(照明点灯など)が全く動きません。

これは許せません。とは言え、Geminiに対して「Googleアシスタントの(おはよう)自動化ルーチンを実行して」って指示を出していないので文句は言えません。

 「Googleアシスタントの(おはよう)自動化ルーチンを実行して」って音声ファイルを作れば想定通りの動きになるのかも知れませんが、Geminiって気まぐれなんですよねぇ。

それに「完了しました。」が表示されないことの対策にはなりません。

何か手段はないものかと探していたら、


 こんなの見つけました。

Google製のアクションブロックアプリですか?Googleアシスタントに直接指示を出すアクションブロックを作成できるようですね。

作成できるアクションブロックはこんな感じです。



いろいろあるんですが、全てGoogleアシスタントへの音声指示っぽいですね。

それぞれのブロックは動作に違いは無さそうで、開くと目的の操作をするためのサンプル文字がテキストボックスに表示されているだけみたい。


でも、音声指示を読み上げないようにできるので、結果だけ音声再生させることもできます。


作成したアクションブロックはホーム画面にショートカットとして配置できます。

 


このショートカットが、MacroDroidやモードとルーチンから実行できれば文句なしだったんですがダメでした。痒いところまでは手が届きません。


でも、ホーム画面にショートカットを配置できるなら、MacroDroidからショートカットをタップしちゃえば良いんじゃね?って乱暴な発想にたどり着きました。


MacroDroidのUI画面操作を使えば、タップやジェスチャーの画面操作を自動化できます。

メニューやショートカットに設定のバックアップが無いアプリのバックアップをするためのマクロで使っていますが、欠点は当然ながらマクロ実行中は自分で画面操作しちゃダメなことです。

それと、ウチのホーム画面には余計なものを配置せずに、右手の片手操作が容易になるようになってます。アイコンも統一感が出るように変更しているんですが、ショートカットってアイコン変えられないんですよねぇ。  



じゃあ、ホームにショートカットを置かずに、どうやってMacroDroidから操作するかですね。

ウチのホームはNova Launcherを使ってます。買収や開発終了などの嫌な話がありましたが、今も使えているし、Androidのバージョンアップにも対応してくれているようです。


このNova Launcherにはドックの機能があるんですが、Galaxyにはサイドパネルの機能があって、頻繁ではないけど使うときにすぐに起動したいアプリなどを詰め込んでおけます。


なのでNova Launcherのドックは使っていません。Nova Launcherのドックの優秀な点は、ドックの表示と非表示をジェスチャーに割り当てられる点です。これで、普段はドックを隠しておけば、ホーム画面の邪魔にはなりませんね。

ジェスチャーは普段やらない「二本指で反時計回りにスワイプ」にしました。

このジェスチャーが、MacroDroidで使えるんです。

マクロの  「UI画面操作 - 二本指で回転」がそれですね。 


UI画面操作のアクションから二本指で回転を選択すると

 


画面のどのあたりでジェスチャーするのかを設定できます。

ポイントの1と2がそれぞれの指の開始点ですね。

回転角度は、正数なら時計回り、負数なら反時計回りになります。

持続時間は、ジェスチャーの開始から終了までの所要時間だと思います。


このジェスチャーをホーム画面で実行すると、画面の下部にドックが表示されます。

ドックには、Googleアクションブロックで作ったアクションのショートカットを入れておきます。


ショートカットアイコンのラベルを「有り」に設定しているのには理由があります。

ウチのホーム画面のアイコン(全部フォルダーですが)にはアイコンラベルはありません。用途はアイコンで分かるようにしてスッキリした印象にしています。

このおかげで、ドックの中のアイコンを押すのが簡単になるんです。

マクロの中に「UI画面操作 - クリック(おはよう)」と言うのがありますが、これは画面に「おはよう」の文字が表示されたらクリックするアクションなんです。これならアイコンが増えて場所が動いても問題なしです。



 MacroDroidからGoogleアシスタントやGoogleホームに直接指示ができれば嬉しいんですが、残念ながら現状ではできないし、今後は全てがGeminiに吸収される可能性もあるんですが、今のところは何とか凌げるようになりました。 

他にも、「OK Google」から動かす自動化ルーチンが、Googleホームにたくさんあるんですが、ホームオートメーションが絡むものをGeminiから呼び出すとデバイスのロック解除してねって言われるようになって少々不便を感じてます。でも、実行トリガーが「OK Google」だし、自動化ルーチンもGoogleホームだけで完結するものなので、MacroDroidを介入させてまで改善させるべきか思案中です。

「おやすみ」とか「行ってきます」で家中の照明やスマートプラグを操作していますが、これらは手にスマホを持って「OK Google」と言えば、顔認証で自動的にロック解除されるので何とかなります。


でも、「ただいま」は「OK Google」が トリガーではなく、

・自宅付近にいる(Googleホーム)

・Googleホームからの特定通知出力時(モードとルーチン)

・自宅のWi-Fiに接続されている(モードとルーチン)

をトリガーにしていて、

Googleホームでは、家の照明をオン、スマートプラグをオン

モードとルーチンでは、スマホやスマッチを自宅用設定に変更、家のPCを起動

をさせています。で、Googleホームのルーチンの最後に通知を出力して、  モードとルーチンのルーチンを実行するようにしています。連携させる意味はそれほど無いんですが、スマートプラグにPCのモニターを接続しているので、モニターの電源がOFFのままPCを起動してスタートアップで起動しているソフトの画面配置が狂ったりしないように順序制御してるんです。

 でも、Geminiが賢くなりすぎたために、Googleホームのルーチンでホームデバイスを操作せずに、GeminiからGoogleホームのデバイスを操作することがあって、モードとルーチン連携用の通知が出ない事があるんです。

この一連の動作をMacroDroidの位置情報などをトリガーに連携させることは出来るんですが、Googleホームとの直接連携の手段が画面UI操作しかないので、ポケットに入れたままのスマホでは誤動作しかねないですね。

ま、Googleホームとモードとルーチンを連携させずに単独実行すればいいんですが・・・。


コメント