高等小学校から
成器舎を経て後に上京し、1888年(明治21年)2月
福澤諭吉が学長の
慶應義塾に入る。在学中には
山梨日日新聞において小説「練絲痕」を連載している。そして卒業後の1892年(明治25年)には
三井銀行(
三井住友銀行の前身)に勤務。34歳まで勤め、東京本店調査課主任にまで昇進した。
日露戦争終結後、
三井物産の大物である
飯田義一や、かつての上司で北浜銀行(
三菱東京UFJ銀行の前身のひとつ)を設立した
岩下清周に誘われ、大阪で岩下が設立を計画する
証券会社の支配人になるために1907年(明治40年)、大阪へ赴任。しかし
恐慌に見舞われ証券会社設立の話は立ち消えてしまい、妻子を抱えて早速失業することになった。その頃に小林は箕面有馬電気鉄道の話を聞き、電鉄事業の同社には有望性があるとして岩下を説得し北浜銀行に株式を引き受けさせることに成功。1907年(明治40年)6月に
箕面有馬電気軌道と社名を改めて同年10月に設立されると、小林は同社の専務となる。もともと阪急電鉄の前身となる箕面有馬電気鉄道は、
鉄道国有法によって国有化された
阪鶴鉄道(現在のJR
福知山線)の関係者が福知山線に並行する電気鉄道路線を敷設し、大阪の梅田から箕面・宝塚・有馬方面へ頻発運転を行うことを目的として設立されようとしていたが、おりしも恐慌に見舞われて、全株式の半分も引き受け手が無いといった苦境に追い込まれていた。
しかし社長は不在であったため、小林が経営の実権を握ることになった。そして1910年(明治43年)に開業しているが、有馬までの開業ではなく、現在の
宝塚線・
箕面線に相当する区間にとどまっている
[この理由として難工事と説明されているが、地形については難工事に該当する区間が特に存在しないため、有馬温泉の住民から反対があり断念したとの説が有力である。]。これに先立って線路通過予定地の沿線土地を買収し、郊外に宅地造成開発を行うことで付加価値を高めようとし、1910年(明治43年)に分譲を開始した。小林には、この時すでに「大衆向け」住宅の発想があったのか、サラリーマンでも購入できるよう、当時はまだ珍しかった月賦方式による分譲販売を行い成功を収めた。
同年11月には箕面に動物園、翌年には宝塚に大浴場「宝塚新温泉」(
宝塚温泉の武庫川対岸であったことからの命名)、そして1914年(
大正3年)4月には、当時人気を得ていた
三越の少年音楽隊を模して宝塚唱歌隊、後の
宝塚歌劇団を創り上げ、沿線を阪急グループの聖地といわせるほどに発展させていく。沿線開発はそのまま乗客の増加につながり、続いて神戸方面への路線開業に動き出すのを機に会社名を
阪神急行電鉄と改め(「阪急」の略称はこの時より始まる)、
神戸本線などを建設し、大阪・神戸間の輸送客の増加とスピードアップを図った。これらの経営が現在の阪急を創り上げる支えとなる。1927年(昭和2年)に小林は社長に就任した。