1924年2月18日出生於日本神戶元町的台灣人家庭。1941年進入大阪外國語學校印度語科就讀（隔年司馬遼太郎入讀蒙古語科，此後兩人結為終生摯友），1943年因戰事提早畢業，留在母校西南亞細亞語研究所擔任助教，參與編纂印度語辭典的工作。1946年回到宛如異鄉的故鄉——台灣，受聘擔任新莊中學英語教師，並親眼見證戰後台灣的社會巨變。二二八事件的爆發，造成他極大的衝擊與創傷，在第一屆學生畢業後便於1949年返回日本。

在家族事業從事貿易工作的十年間，陳舜臣見識了各式各樣的人物，也興起寫作的念頭。1961年，他以《枯草之根》獲江戶川亂步賞，初入文壇。之後陸續發表推理小說、中國歷史小說、隨筆、評論等作品，並得到直木賞、推理作家協會賞、每日出版文化賞等文壇大獎的推崇。1993年，NHK將歷史小說《琉球之風》改編為同名大河劇。

陳舜臣於1962年發表了以戰後台灣為場景的長篇推理小說《憤怒的菩薩》。1974年，發表自傳體小說《青雲之軸》，揭述其生為在日台灣人所遭逢的身分認同問題與成長故事。2003年發表自傳《半路上》，讓人一窺這位小說家動人的半生歲月與他走過的大時代。

日中建交後，陳舜臣為了方便到中國取材考證而申請中國護照。1989年天安門事件後，他放棄中國籍，正式歸化日本籍。2015年1月21日，陳舜臣於最鍾愛的城市神戶辭世，留下一百六十多部作品以及波瀾壯闊的一生。