懲りずにキーボードとマウスの操作を記録と再生するプログラムを変える
過去にいろいろ試した。
懲りずに作るw
今度はOpenCVを使って画像で位置を特定する。
うまくいくと想定したが、完全でない。
問題は
- マウスがホバーすると色が変わる要素は非アクティブのウィンドウで認識できないときがある。
- マウスボタンのアップとダウンを検知して画像を取得するが、取得できる画像はイベント後の画像となる。
1.について、ウィンドウの
閉じる
ボタンは輝度が大きく変わるスタイルがある。
エッジを抽出して判定するような方法が必要だ。
2.について、閉じるボタンを押し終わるとウィンドウは消える。取得できる画像はブランクとなり、別の場所と誤って認識する。
根本的な解決方法はイベントが画面に反映される直前の画像を取得できればよいが、今は一定時間ごとに画像を取得することで解決を試みる。
作ったものの、一定時間ごとに画像を取得することは無駄だ…と感じる。
しかも処理が重く、ダブルクリックができないw
エッジを抽出する方法で解決を試みる。
📁./Documents/desktop_recorder.4.zip
2020/07/11 17:29