Il codice che hai scritto non può funzionare perché il form minimizzato non riceve gli eventi della tastiera.
Il valore di un tasto finisce in e.KeyData, GetAsyncKeyState si usa in modo diverso e serve per intercettare la pressione simultanea di più tasti.
Se scrivi il codice corretto:
Private Sub TextBox3_KeyUp(sender As Object, e As KeyEventArgs) Handles TextBox3.KeyUp
If e.KeyData = Keys.Up Then
' codice....
End If
End Sub
intercetteresti il tasto freccia solo quando la textbox ha il focus.
Il controllo lo dovresti mettere nell'evento KeyUp o KeyDown del form, ma dopo aver attivato KeyPreview
Private Sub Form1_Load(sender As Object, e As EventArgs) Handles MyBase.Load
Me.KeyPreview = True
End Sub
Private Sub Form1_KeyUp(sender As Object, e As KeyEventArgs) Handles Me.KeyUp
If e.KeyData = Keys.Up Then
Me.Text = "Up"
' codice....
End If
End Sub
Ma anche così non puoi riaprire il form minimizzato, perché in tale stato il form non riceve gli eventi della tastiera.