Certo che puoi farlo con FCPX.
Se la PiP è quadrata o rettangolare basta usare l'effetto "Mask" sulla clip superiore e lavorare con i parametri feather e roundness.
Se invece vuoi una PiP rotonda puoi usare "Circle Mask". E' facile.
Applica il filtro e poi se non riesci torna qui che ne riparliamo.
Se invece vuoi fare una maschera più complessa puoi usare un plugin gratuito che si chiama "mask 8 point Alex4D". Lo trovi
QUI.
Ciao.