肥後(熊本)藩士・安場源右衛門の子として生を受け、青年時代は横井小楠の門下に入り、終生その影響下にありました。

明治になって維新政府から召出しがあり2年(1869)胆沢県大参事として水沢に赴任しました。

新平は安場のもとで学僕となり、後に部下の阿川光裕に預けられました。

福島県令時代には須賀川病院ほかを設立し、愛知県令になってからは教育事業に力を入れました。新平は須賀川で医学を学び、後に25歳で愛知医学校長兼病院長となるなど安場に才能を認められ、その期待に応えました。

国家および地方行政に通じていた安場は、政治のあり方について機会あるごとに師・横井小楠の話をして聞かせました。安場は、新平の良き指南役・相談役でもあったのです。

明治16年(1883)安場の次女和子を内務省衛生局勤務の新平に嫁がせ、岳父となりました。新平は何か判断に迷うことがあると、安場に相談したり議論したりして、課題に対処しました。