Basándonos en este artículo de Anthony Fu (campeón de Vue.js) podemos resumirlo en estos puntos:

• las referencias se consideran valores primitivos
• reactivos como objetos
• referencias solo mutadas por la propiedad .value , pero reactivas con cualquier propiedad anidada
• los reactivos parecen objetos planos
• Los objetos reactivos tienen algunas advertencias, como perder reactividad cuando se destruyen.
• los objetos reactivos deben envolverse con la función cuando se observan como watch(()=>reactiveObj,(newVal,oldVal).... , a diferencia de las referencias que no están watch(refProp,(newVal,oldVal)....

Conclusión :

Diría que vayas con ref siempre que puedas