La funzione prompt restituisce una stringa, quindi le tue variabili a e b non sono memorizzati come numeri e questo genera dei comportamenti indesiderati se ci fai delle operazioni matematiche.
Per convertire una stringa in numero usa la funzione parseFloat, quindi leggili in questo modo
var a=parseFloat(prompt("Inserisci il primo numero"));
var b=parseFloat(prompt("Inserisci il secondo numero"));