Fai così:
import java.util.*;
public class Consonanti{
public static void main(String[] args){
Scanner sc=new Scanner (System.in);
String s=sc.nextLine();
s=s.toUpperCase(); //non c'è bisogno di dichiarare una nuova stringa,
char[] vocali[]={'A','E','I','O','U'}; //dai alle variabili dei nomi che indicano il loro "contenuto"
for(int i=0; pos<s.length(); i++){
boolean flagVocale=false;
char c=s.charAt(i);
for(int j=0; !flagVocale && j<vocali.length; j++) {
if(c==vocali[j]){
flagVocale=true;
}
}
if(!flagVocale) {
//se sono entrato in questo if significa che il carattere c è una consonante
System.out.println(c);
}
}
}
}
In questo modo stampi il carattere in posizione "i" una sola volta e solo se non è una vocale
Poi, volendo, potresti evitare di crearti l'array con le vocali e il doppio for scrivendo:
for(int i=0; i<s.lenght(); i++) {
char c=s.charAt(i);
if(c!='A' && c!='E' && c!='I' && c!='O' && c!='U') {
System.out.println(c);
}
}