Ciao,
se utilizzi i makefile per gestire la compilazione dei tuoi progetti allora puoi fare una cosa piuttosto tipica. Utilizzare un target di nome "clean" fatto in questo modo:
clean:
rm -f nome_eseguibile *.o *~
Questo rimuove tutto tranne i sorgenti e ti permette di "ripulire".
P.S. Ovviamente va utilizzato dando "make clean" da terminale.