김유순 목사는 1882년 황해도 신천에서 역시 감리교 목사인 아버지 김영식의 아들로 태어났다. 1904년 숭실중학교를 졸업하고 하와이에서 목회하는 아버지(김영식)를 찾아 미국으로 건너갔으며, 1912년 미국 남가주성경전문학교를 졸업했다. 그 해 9월 목사 안수를 받고 1913년 귀국해 정동제일교회, 강화 달오지교회, 흥천교회 등에서 부흥회를 인도하여 신성한 은혜를 받게 하였으며 이후 경성지방 순회목사로 활동하며 “여러 교회와 교인에게 복이” 되었다. 1917년 10월 다시 미국으로 건너가 뉴저지 드루신학교에서 공부한 후 1920년 귀국 후 다시 순회부흥목사로 활약하였다. 유학 당시 미국에 있는 신학교에서 강의를 할 수 있었지만 식민지 생활을 하는 고국의 교인들을 두고 개인의 안일만 추구할 수 없다며 귀국했다. 그는 1921년부터는 평양 남산현교회를 담임하였고, 홍성, 해주, 천안 등 전국 각지를 돌며 감리사로서, 부흥사로 활동했다.

해방 후 김유순 목사는 감리교 갈등을 조정하고 화해시키기 위해 노력했다. 1947년부터 북아현교회를 담임했으며, 1949년에는 감리교 9대 감독에 선임되었다. 당시는 감리교 해방 이후 일제시대 목회자들의 행적에 따라 복흥파와 재건파로 나뉘어 갈등하던 시기였는데 그는 중립적 입장에서 화해를 이끌었으며, 새롭게 출발하는 감리교회를 이끌었다. 

그러나 김유순 감독의 시대는 오래 가지 못했다. 1950년 6월 25일 발발한 전쟁 중 그는 북한 공산군에 체포되어 납북되었기 때문이다. 한국전쟁이 일어나고 사흘만에 서울이 공산군에 점령당했고, 그때 그가 근무하던 감리교신학대학 안에 있던 총리원 사무실도 공산당에게 빼앗겼다. 교인들은 그에게 피난할 것을 간곡히 권했으나 그는 ‘선한 목자는 양들을 위하여 목숨을 버린다’는 각오로 피난을 가지 않았다. 그는 피난을 권하는 이들에게 이렇게 말했다. 

“내가 감독이 된 것은 이런 일이 있을 것을 하나님께서 아시고 내게 맡기신 것인 줄 안다. 교회들을 버리고 어디로 가겠는가? 주께서 말씀하시기를 선한 목자는 양을 위하여 목숨을 버린다고 하셨다. 나는 선한 목자는 못되나 주께서 나에게 감독의 중책을 맡기셨으니 어찌 이 양들을 이리 같은 공산당에게 맡기고 피하겠는가? 나는 양과 같이 생명을 버려 순교할 결심을 하였으니 다시는 권하지 말라.”(김춘배, 《한국기독교수난사화》, 성문학사, 1969, 211쪽) 

결국 김유연 목사는 북한 공산정권이 전국적으로 비밀리에 내린 교역자 납치 및 사살령에 의해 8월 23일 체포되어 서대문형무소에 수감되었다가 이튿날 북으로 끌려갔으며, 이후의 생사는 확인할 수 없다. 김유순 목사는 “이름과 같이 유순하고 덕이 있는 목사요, 노할 줄 모르는” 인격자며, 겸손하게 양을 돌보는 목회자였다.