Estoy pensando en construir un componente React de un diagrama como este

Hay un botón 'eliminar' debajo de cada nodo, al hacer clic en él se activará la eliminación de un nodo.

Y hay botones externos debajo del botón 'eliminar' para activar funciones personalizadas.

Estaba pensando en usar una biblioteca llamada KonvaJs: https://konvajs.org/ pero parece que no funciona en mi caso.

¿Alguna idea sobre bibliotecas que pueda usar para esto?