Necesito dibujar la línea con varios elementos adicionales encima (como texto y puntos de inicio y fin). La forma más fácil de hacerlo es usar la agrupación Fabric.JS que permite mover y otras manipulaciones. Hay un buen enfoque de línea giratoria: https://stackoverflow.com/a/53424718/8467261 que permite construir una línea con dos puntos establecidos y limita la selección al área alrededor de esa línea si se gira (no un gran rectángulo habitual alrededor la línea diagonal). Pero agregar una línea de este tipo a un grupo con varios elementos adicionales expande el área de selección para que quepan todos los elementos en ella.

¿Hay alguna forma de crear un grupo de varios elementos y limitar el área de selección a la selección de uno solo de ellos? ¿O hay algún otro enfoque, como hacer que el elemento 'principal' y otros se muevan con él?