Non col C standard, penso dovresti cercare librerie scientifiche o aiutarti con software tipo Matlab, Scilab o Octave (il secondo e il terzo sono gratuiti).
Quanto al problema di geometria, basta fare una piccola ricerca:
http://www.ripmat.it/mate/d/dd/ddcga.htm
Ma per generalizzare, devi risolvere il sistema usando dei generici (x1, y1) (x2, y2) (x3, y3) in modo da poterti ricavare una formula generale da usare nel tuo programma.