1902年4月11日、小林豊造の長男として神田猿楽町に生まれる。豊造は東京高等工業の助教授だったが、御木本本店をへて、日本ダイヤモンド株式会社を設立した。妹富士子は田河水泡夫人になり、高見沢潤子の筆名で戯曲や回顧録を書いている。
1921年、第一高等学校に入学するも、父の死、母の急病と家庭問題があいつぎ、休学する。1924年、「青銅時代」に「一ツの脳髄」を発表する。富永太郎との交友が深まる。
1925年、東大仏文科に入学。辰野隆の薫陶を受ける。同級に三好達治、今日出海、中島健三、淀野隆三がいた。この頃、上京してきた17歳の中原中也と知りあい、中原の恋人の長谷川泰子とと同棲するようになる。生活のためにポオなどの翻訳を手がける。高校生だった大岡昇平にフランス語の家庭教師をしたのもこの頃である。
1928年、長谷川との同棲生活が行きづまり、家を出奔して、奈良の志賀直哉に会いにいく。翌年、奈良から帰ると、「改造」の懸賞論文に「様々なる意匠」で応募し、宮本顕治の「「敗北」の文学」と争い、二席になる。
プロレタリア文学全盛の風潮に抗し、「文藝春秋」の時評でマルクス主義批判を展開し、左翼文学の「概念による欺瞞」を衝いた。この実績がプロレタリア文学退潮後、小林を指導的批評家にした。
1933年、林房雄、川端康成、武田麟太郎とともに「文學界」を創刊する。1935年、林が治安維持法で下獄すると、編集責任者になり、『ドストエフスキイの生活』の連載をはじめる。
「文藝春秋」特派員として何度か大陸にわたったが、大東亞戦争がはじまると古典と古美術へ傾斜し、「無常といふ事」など、日本再発見のエッセイに向かった。
敗戦の翌年、「モオツアルト」を発表するが、「近代文学」の座談会での「僕は無智だから反省なぞしない。利巧な奴はたんと反省してみせるがいいぢやないか」という発言が文壇で物議をかもし、「新日本文学」は戦争責任者に指名する。その直後、明治大学教授を辞任する。
1950年、創元社版『小林秀雄全集』を刊行し、芸術院賞を受ける。1952年、『ゴッホの手紙』で読売文学賞。1967年には文化勲章を受ける。『考へるヒント』、『常識について』など、文学の枠を離れたエッセイ、講演で広い読者にむかえられる。批評家が人生の教師としてふるまい、信奉者を集めるというパターンを確立したといえる。
1965年から「新潮」に『本居宣長』の連載をはじめ、11年かけて完結させる。1978年に上梓し、日本文学大賞を受賞した。
1983年3月1日、死去。81歳だった。