А если просто представить прямой угол как систему координат с началом отсчета в точке О(0,0).
Тогда точка А к примеру лежит на горизонтальной оси и А(Xa,0) , т.В на вертикальной оси с координатами В(0,Yb). Точка С где-то и с координатами С(Xc,Yc).
Тогда длина ОС = sqrt (Xc^2 + Yc^2) , где sqrt - корень
Длина АВ = sqrt (Xa^2 + Yb^2)
Длина ВС = sqrt (Xc^2 + (Yc - Yb)^2)
Длина AС = sqrt ((Xc - Xa)^2 + Yc^2)
А потом долго упрощать или усложнять (как получится) неравенство и авось в конце появится свет ..
Такую фигню я тоже делал.