Ciao,
Dovrai giocare con il metodo getSelection per ottenere la parte selezionata e poi modificare la selezione attorniandola dai tags in questione...
PS: puoi vedere un'implementazione in genere nel sorgente di qualsiasi forum (compreso questo), ovviamente in una pagina che contiene il bottone per attorniare il testo con [ B ] e [ /B ]
Ciaociao