김유연 목사는 1901년 황해도 옹진에서 태어났다. 가난했지만 자녀교육에 열성을 지닌 부모님 덕에 동리에 있는 양정학원에서 한문을 배워 10대 때 한문선생으로 일했으며, 20대 초에는 스스로 동명학원이라는 학교를 세우고, 사울에 올리와 동아일보 지국을 경영하는 등 매우 적극적으로 활동했다.

김유연은 1928년 3월부터 서대문에 있는 아현셩결교회를 다니면서 신앙생활을 시작했다. 아내가 먼저 교회에 다니기 시작했으며, 아내를 따라 그도 나가기 시작한 것이다. 그러나 그가 진정 회개하고 기독교인이 된 것은 우연히 날아온 종이에 적힌 성경구절에 감동한 뒤라고 한다. 신앙생활을 시작한 지 2년 만에 김유연은 목회자가 되기로 결심하고 동양선교회 성서학원에 입학하여 1933년 졸업했다.

김유연은 성서학원 재학 시절인 1931년  만리현교회를 처음 개척해 성장시켰고, 성서학원을 졸업한 후에 처음 목회를 한 곳은 경기도의 안성교회였다. 약 5년 동안 안성교회를 부흥시킨 후 1938년 신의주 동부교회에 부임했다. 이 교회에서 그의 목회는 꽃을 피웠다. 성결교의 대표적 부흥사인 이성봉 목사를 이어 담임한 동부교회를 성결교 최대 교회로 성장시킨 것이다. 당시 신의주에는 장로교 한경직 목사, 감리교 홍현설 목사 등 걸출한 목회자가 많았는데 김유연 목사는 그들과 함께 신앙부흥회 등을 열어 신의주에 복음의 씨앗을 뿌렸다.

이어 1941년에는 한국 성결교회의 모교회인 서울 무교동교회 담임목사로 부임했다. 당시는 일제의 강압통치와 신사참배 강요가 극에 달하던 시기였다. 무교동교회도 일제의 탄압 아래 쇠퇴하고 있었다. 김유연 목사는 무교동교회를 담임하기 시작한 지 한 달만에 일본경찰 고등계에 구속되었다. 극심한 고문을 받아 거의 죽기 직전에 풀려났으나 강제로 시골로 추방되었다. 경기도 평택으로 쫓겨나 초근목피의 생활을 하게 되었고, 그 과정에서 12살 먹은 딸이 영양실조로 죽는 아픔을 겪었다.

시골에서 해방을 맞은 김유연 목사는 다시 서울로 올라와 자신이 담임하던 무교동교회를 재건했다. 그 후에는 경성신학교에서 교수로 재직하며 후진을 양성하는 일에 최선을 다했다. 신학생들을 가르치면서 서울 마포에 신공덕교회를 개척했으며, 이곳에서 5년 동안 목회했다.

6.25전쟁의 발발과 함께 5년간 이어졌던 그의 목회에 마지막 날이 다가왔다. 서울이 공산군에 점령당하여 가족과 교회의 전도사들은 모두 피신시켰지만 정작 자신은 남아 있는 교인들을 지키기 위해 서울을 떠나지 않은 것이다. 마침내 1950년 8월 12일, 경성신학교 구내에서 총회장 박현명 목사, 신학교장 이건 목사 등과 함께 공산당 내무서원에게 체포되었다.  훗날 한 납북인사의 수기를 통해 피랍 이후의 일부 정황이 알려졌다. 김유연 목사는 평안도 강계까지 끌려갔다가 1951년 5월경 평양 인근 대성리의 민가에 수용되었다. 이곳에서 송창근 목사 등 여러 명이 순교하였으며, 김유연 목사와 이건 목사는 그로부터 2개월 후 다시 내무서원들에게 어디론가 끌려갔으며 이후의 행적은 확인되지 않고 있다.