Se ho ben interpretato la tua idea, credo che non sia sufficiente...
Considera la seguente figura:
preso come riferimento il punto A, troviamo che la probabile diagonale è data da AC. A questo punto constatiamo che i triangoli ABC e ADC sono rettangoli rispettivamente in B e D, ma la figura evidentemente non è un rettangolo.
Altri approcci, per esempio, possono essere quelli di verificare la perpendicolarità di 3 angoli (il quarto lo sarà di conseguenza) o ancora meglio (per sganciarci dall'ordine in cui sono dati i punti) potresti trovare il baricentro (che coincide col centro della circonferenza circoscritta all'eventuale rettangolo) del sistema costituito dai 4 punti, e verificare che la loro distanza dal centro di massa è uguale.
In ogni caso, vista l'intrinseca difficoltà nel confrontare valori in virgola mobile, ti consiglio di utilizzare il tipo intero per le coordinate dei punti e per tutti i successivi calcoli.