引用まことに地味でこの世の富とは何の縁故も持たなかった（また持とうとしなかった） しかし語学の才能と学識に関しては図抜けていた英学者斎藤祥三郎を父とする彼は 「外務省はじまって以来の語学の名手」と言われ「外交工作の稀才」「日本の外交には斎藤以後に斎藤なし」 （新潟日報一九七四、二、二四、共同通信社社長福島慎太郎）と言われて、 四十歳半ばの若さでロンドンの世界経済会議の日本代表次いで最重要職の駐米大使にと進んだものの、 東京の自宅はてらいのみじんもない粗末手ぜまのままにのこして何ら頓着しなかった。 外交官は――とくに上級外交官は――名門家柄を背に あるていどの富を持たずにはつとまらぬと一般に信じられていた「原則」とは別のところで、 彼は才能と思考力と驚くべき不断の勉強と「大胆不敵な開けっぱなしの魅力」（のちに筆者に語った ローズヴェルト夫人の言葉）とを富とし、まっしぐらに要職への最短距離を突走ったのである。

彼はおそろしく官吏らしくない官吏であった。 灰をそこらじゅうに振り落すのもかまわず、いつも葉巻か紙巻煙草を口の片一方にぶらさげて、 新潟長岡の出身と言うのにいなせな江戸弁をあやつって相手がたれであろうと誠実且つ単刀直入に語った。 官僚的保身術のとみこうみは微塵もなく、有名なエピソードとしてのこるひとつは、 パネー号事件（昭和十二年十二月十二日、米国旗を明らかにかかげて中国の南京上流六マイル地点《視界良好》に 碇泊ちゅうのアメリカ砲艦パネー号を日本海軍航空隊が爆撃し沈没させた大事件で日米関係は極度に緊張した。 パネー号は日本軍の南京攻略前後、南京在のアメリカ人保護のためそこにいたのである）のさい、 独断ですぐさまアメリカのラジオの、スポンサーつき番組の時間を買い取ったことである。 自分で出演して広くアメリカ国民に直接に呼びかけ真情溢れるまっ正直な謝罪をした。 これにはさすが開けっぴろげのアメリカ人すら驚いたくらいであったから、 日本の政府としきたり・面子にしばられ切った外務省がどれほど仰天したかは容易に察することが出来る。 「大胆不敵な開けっぱなしの魅力」とエレノア・ローズヴェルトにいついつまでも言わせた面目が 躍如としてこの挿話にあらわれている。 いや、エレノアだけではなかった。 日本が世界じゅうの爪はじきとなっていた、しかも対日感情の日ごとに険しくなっていたあの時代のアメリカで、 彼ほどすべてのアメリカ人に――上は大統領・国務長官から下はホテルのボーイに至るまで、 あるいは意地の悪いアメリカ人記者連中をも含めて――愛された日本人は他にいなかったのである。 保身・出世に一顧を与えずラジオ番組を買って謝罪するような果敢な即行性、ためらいを知らぬ積極性、 不敵な胆力、「否」をはっきり言う明確さ。緻密極まりない工作の腕。 まさにアメリカ魂にぴたりと来るものを彼は持っていたのである。