1930年東京生まれ。幼少時代を父親の勤務地である満洲の大連で過ごす。
1937年、小学校入学のために単身帰国する。長じて戦時中に聞いたシャンソン『聴かせてよ、愛のことばを』で音楽に開眼。戦後、作曲を志して清瀬保二に師事するが、実際にはほとんど独学で音楽を学んだ。
1950年、処女作であるピアノ曲『2つのレント』を発表。当時の音楽評論界の御意見番的存在だった山根銀二によって、「音楽以前である」と酷評されたことは有名な逸話となった。
1951年には詩人の瀧口修造の下で、『実験工房』結成メンバーに加わり、いわゆる前衛的手法に沈潜する。転機となったのは1957年、結核の病床で書いた『弦楽のためのレクイエム』。この厳しくも美しい作品は、来日したストラヴィンスキーよって絶賛され、武満徹の名を世界に知らしめることとなった。
1967年、ニューヨーク・フィルハーモニー交響楽団の創立125周年記念作品をバーンスタインから委嘱され、琵琶と尺八、オーケストラとによる協奏的作品『ノヴェンバー・ステップス』を発表。この成功が作曲家の名声を決定的のものにした。晩年にはオペラの創作にも取り組んだが、1996年2月20日、膀胱ガンのため逝去。残念なことに唯一のオペラは完成をみなかった。享年65歳。