Grazie mille a tutti ragazzi, ho risolto, obbligando a chi sposta il file, a spostare assieme ad esso anche l'eseguibile dell'applicazione.
Cosi facendo il risalgo sempre all'indirizzo del file, controllando dov'è la mia aplicazione usando:
Dim Working = My.Application.Info.DirectoryPath
e fu cosi che con una mezza riga di codice ho risolto il problema