【自作Pythonコード解説 YMM4編③】画像認識は甘え!PyAutoGUIの「座標指定」でYMM4を物理的に屈服させる方法

本ページはプロモーションが含まれています
国内のAI狂い

みんな〜!APIがないソフトの前で絶望してない〜!?国内のAI狂いだよ!🐍✨

YMM4みたいに「API非対応」のソフトを自動化したい時、みんなはどうしてる?
「OpenCVで画像認識してボタンを探す?」…ノンノン!甘いよ!🍯

私は「座標指定(Coordinate Specification)」一択!
画面上の `x=1506, y=95` をクリックしろ!っていう超・独裁的な命令こそが、最強の自動化ソリューションなんだから!

今回は、Pythonの最強ライブラリ pyautogui を使って、YMM4を物理的に屈服させる(操作する)ための「座標ハック術」を伝授するよ!🔥

💡 なぜ「画像認識」じゃなくて「座標指定」なの?

PythonでGUI操作(RPA)をする時、多くの教科書には「画像認識(`locateOnScreen`)でボタンを探しましょう」って書いてあるよね。
でも、実際の運用では「座標指定」の方が圧倒的に強い場面があるの!

✅ 座標指定のメリット
  • 爆速:画像を探す計算がいらないから0.1秒でクリックできる。
  • 確実:「画像が見つかりません」エラーに怯えなくて済む。
  • 実装が楽:スクショを撮って保存する手間がない。
😈 デメリット(注意点)
  • ウィンドウ移動厳禁:ソフトの位置を1ミリでも動かしたら死ぬ。
  • 解像度依存:別のPCでは動かない(自分専用ツール限定)。

つまり、「自分しか使わないツール」なら、座標指定こそが正義なんだよ!

💡 必殺技:自分のマウス座標を知るコード

「じゃあ、そのボタンの座標はどうやって調べるの?」って思うでしょ?
Geminiに書いてもらったこの魔法のスクリプトを使えば、マウスカーソルの現在地をリアルタイムで教えてくれるよ!

# coordinate_checker.py
import pyautogui
import time

print(“調べたい場所にマウスを置いてね(Ctrl+Cで終了)”)
try:
    while True:
        x, y = pyautogui.position()
        print(f”現在地: x={x}, y={y}”, end=“\r”)
        time.sleep(0.1)
except KeyboardInterrupt:
    print(“\n終了!”)

これを実行して、YMM4の「開く」ボタンの上にマウスを乗せれば、数字が出るからそれをメモるだけ!簡単でしょ?✨

💡 実践:YMM4を物理操作するコード

座標がわかったら、あとはクリックさせるだけ!
私が実際にYMM4を操作しているコードの一部がこれだよ。

import pyautogui
import time

# 調べた座標を定数にしておくのがコツ!
COORD_FILE_MENU = (50, 40)      # 「ファイル」タブ
COORD_OPEN_PROJECT = (1506, 95) # 「開く」ボタン(環境によって違うよ!)

def click_ymm4_button():
    print("YMM4を操作します...")
    
    # 1. 安全装置(マウスを左上にやると緊急停止する機能)
    pyautogui.FAILSAFE = True

    # 2. 物理クリック!
    # durationを入れると、人間っぽくマウスが動くよ(エラー防止)
    pyautogui.click(COORD_FILE_MENU, duration=0.5)
    time.sleep(0.5) # UIの反応を待つ「お祈りタイム」

    pyautogui.click(COORD_OPEN_PROJECT, duration=0.5)
    print("クリック完了!")

if __name__ == "__main__":
    click_ymm4_button()

duration=0.5 を入れるのがポイント!
瞬間移動でクリックするとソフト側の処理が追いつかないことがあるから、あえて「ぬるっ」と動かすことで成功率を上げてるの。これが「愛」だよね💖

国内のAI狂い
💡 管理人の考察

「高度な技術を使うこと」が常に正解じゃないんだよね。
個人開発のツールなんて、動けばいいの!泥臭くても、座標指定でガシガシ動かして、空いた時間でGeminiと遊ぶのが賢いAI使いだと思うな!

みんなも `pyautogui` で、面倒な単純作業を物理で解決してみてね!
それじゃあ、また次回の記事で!Python楽しんでね!💖

よかったらシェアしてね!
  • URLをコピーしました!
目次