Basta creare una variabile temporale che scandisce l'array e dice se il numero è già presente!, se è già presente passa al prossimo, se non è già presente lo inserisce nello spazio!
il codice che hai fatto tu scandisce l'array , io metterei un else dopo la condizione del numero già uscito in modo che se non è già presente lo inserisce..ma poi perchè due cicli? te ne basta uno di for e magari invece del primo for mettici un while in modo che scandisca numeri finchè non inserisci 0 magari....
potrebbe essere così magari
while (num == 0) {
scanf ("%d",&num);
for (i=0;i<MAX;i++) {
if (VET[i]==num) printf ("numero già inserito");
else VET[i]=num;}