Quiero poder obtener una posición de elementos en la pantalla de mi computadora y luego hacer clic en él usando pyautogui. Sin embargo, la única forma actual de hacer esto de manera confiable es usar titiritero (pyppeteer) y hacer una captura de pantalla del elemento y luego hacer clic en él con el sistema png de pyautogui.

El sistema de posición de Pyautogui siempre está un poco fuera de lugar si pongo las coordenadas que getBoundingClientRect() escupe para el elemento, sospecho que tiene que ver con las compensaciones para mi barra de tareas, etc. pero quiero poder convertir consistentemente entre los dos sistemas de coordenadas sin importar el tamaño de la página web (ya sea un cuadro pequeño o pantalla completa).

¿Hay métodos/formas de Python para hacer esto?

Para ver un ejemplo del código javascript: document.querySelector("<class name>").getBoundingClientRect() que se puede ejecutar en el elemento de inspección en los navegadores chromium, etc.