Ciao, non sono un'esperta, però credo sia così:
select matricola from a where quantita <5 and matricola not in(select matricola from b);
Ho provato con un mio database e funziona, ovviamente non so se anche nella tabella b la colonna a cui ti riferisci si chiami sempre matricola, non l'hai specificato, in caso contrario cambialo tu, ma il codice dovrebbe andar bene.