引用一九三六年、地方検事選挙で民主党候補として出馬したが落選。 一九三九年、巡回裁判所判事の選挙に出馬、支持を求めて地域を精力的に回ったが、 対立候補の年齢や資産を実際よりも多く歪曲して攻撃するなどして当選を果たした。 野心的、活動的で人心をつかむ才に長けていながら、誠実さには欠如しているマッカーシーの姿がすでにあった。

第二次世界大戦が始まると、マッカーシーは海兵隊に入隊、一九四四年、海兵隊在籍のまま、 共和党から上院議員に立候補したが落選。 一九四六年、再び上院に立候補し、自らの「戦功」を強調するなど激しい選挙戦の末に当選した。 上院議員としてのマッカーシーは凡庸で、一九五〇年に至るまで、二年後の再選につながる程の業績はなかった。

一九五〇年二月九日ウェストヴァジニア州ホイーリングにおいて、マッカーシーは、国務省で働いている共産党員二〇五名の名簿を入手したと発言し、 一躍世間の注目を浴びることになった。 二月二十日、マッカーシーは、上院においても、この発言を繰り返した。

彼の挙げた証拠は不確かで人数も曖昧であり、国務省内の共産党員の存在を証明するに足るものではなかった。 しかし、アルジャー・ヒスのスパイ容疑、中国の共産主義化、ソ連の原爆保有、さらには、朝鮮戦争の勃発へと続いていく内外の一連の出来事で、 人々はアメリカの未来についての不安や疑念をかきたてられていた時であった。

これ以降、マッカーシーは、無任所大使フィリップ・Ｃ・ジェサップ、中国研究家でジョンズ・ホプキンズ大学教授オーウェン・ラティモアなどを、 共産主義者、ソ連側スパイとして次々に名指ししてセンセーションを巻き起こした。 一九五一年にはマッカーシーの批判の鉾先はジョージ・Ｃ・マーシャル前国務長官にまで及んだ。

一九五二年の共和党全国大会やアイゼンハワーの大統領戦でも、マッカーシーは、共産主義に対して弱腰であると民主党批判を展開した。 自分の再選後も、政府機能審査小委員会の議長として、国務省の海外情報活動などを調査するなど、 共産主義者による非米活動の摘発、批判を続けた。 アイゼンハワー大統領によるチャールズ・ボーレンソ連大使任命にも異議を唱えた。

ついにマッカーシーの批判が、軍隊内に向けられるに及んで、 一九五四年、マッカーシーと陸軍との間で三十六日にわたって公聴会が行なわれることになった。 この模様はテレビで放映され、数百万の人たちが見守った。 マッカーシーと弁護士ロイ・コーンの虚偽と中傷に基づく軍隊批判は人々の反感を招き、マッカーシーの影響力は失われた。 十二月、上院議会はマッカーシーに対し譴責決議を下した。 三年後、一九五七年五月二日、失意のうちに世を去った。