Innanzitutto devi capire se punti all'oggetto giusto, poi puoi provare ENTER di Container Maschera, ed EXIT per ripristinare, non ne sono sicuro però... dovrei provare.
L'alternativa è mettere un timer nella Form e leggere il valore di ActiveControl... se uguale al SubFormContainer colori di rosso ed inspessisci.
Se ActiveControl<>SubFormContainer ed ha come Parent la Form, togli il bordo in quanto hai attivato un controllo nella MainForm.
Ora come vedi ho usato il concetto di SubFormContainer, perché è questo che devi gestire... e non l'oggetto Form, usata come oggetto inserito nel container, gioco di parole ma per inserire una SubForm in sostanza istanza 2 oggetti, un Container dentro il quale si istanzia una Form, che assume il ruolo di subform.
Questo per te è trasparente ma devi saperlo.
Il bordo del container si gestisce cosi:
Me!NomeContainer.BorderColor=vbRed
La subform invece che contiene una textbox cambia sintassi gerarchica cosi:
Me!NomeContainer.Form.NomeTextBox.BorderCokor=vbRed
Quindi fai sempre attenzione a dove sei e come operi.