長距離戦闘機の試作機であったXF-88の改良型として1951年に開発が開始され、1954年に試作機であるYF-101Aが初飛行した。
本来は爆撃機の護衛用として開発されたが、T尾翼を採用したため、高翼面荷重の設計と相まって運動性に問題があり、制空戦闘機としては不適切であった。
このため実際には核攻撃を兼任した戦闘爆撃機、偵察機、迎撃戦闘機として実用化された。
ベトナム戦争では偵察型が使用されたが、損耗も激しく、F-105と並んでベトナム戦争で使い尽くされた機体となった。
アメリカ以外では、カナダ国防軍が使用していたほか(1961年〜1985年)、台湾(中華民国)空軍では偵察型を少数使用していた(1959年〜1973年)。
A型とほぼ同等だが、荷重制限の緩和やエンジンの改良が行われている。