一九三一年生於浙江鄞縣。一九四九年前往美國，就讀哈佛大學一年級，隔年轉入麻省理工學院機械系，一九五二、五三年分別取得麻省理工學院機械工程學士及碩士。

一九五五年進入希凡尼亞公司，自學半導體，開啟了對半導體的熱忱，與半導體結下一生之緣。一九五八年任職美國德州儀器公司，展開在德儀二十五年的工作生涯。進入德儀後，深受公司賞識，一九六一年獲德儀以「全薪、全費」送進史丹佛大學電機系攻讀電機博士，一九六四年取得博士學位。回任德儀後，屢建戰功，一路晉升至積體電路部總經理、全球半導體事業集團總經理及集團副總裁。但是德儀在一九七○年代迷途，把公司重心放在消費者電子產品上。一九八三年辭職德儀。

一九八四年任職美國通用器材公司總經理。一九八五年受邀來台擔任工業技術研究院院長，隨後創立台積電，一九八七年台積電正式營運，並擔任董事長，以「誠信正直、承諾、創新、客戶信任」作為台積電的企業核心價值、「技術領先、製造優越、客戶信任」作為三大競爭優勢，帶領公司堅定且穩步地前進，二○一八年，七奈米技術獨家領先世界，全球有一半以上的專業晶片製造皆出自台積電，同年卸下台積電董事長，正式退休。

在他三十多年擘畫細耕下，台積電從一開始沒人看好的公司，成為全球沒人能夠忽視的公司，他開創的專業晶圓代工商業模式，不僅加速了世界科技的進程，也改變了世上幾十億人的生活方式。

現與妻子張淑芬居住在台北，過著充實而寫意的退休生活。