誕生と、不幸な幼少期
モーゼス・マイヤーは現在のドイツにあるジーゲン＝ヴィトゲンシュタイン州出身のユダヤ人だった。彼は自分自身がユダヤ人であることを否認するために、故郷の名であるヴィトゲンシュタインを名乗り始める。彼は毛織物商人として成功する。
彼の息子ヘルマンはウィーンで名声あるユダヤの家系の娘ファニー・フィグドールと結婚（結婚前にプロテスタントに改宗）し、八人の娘と三人の息子をもうける。子どもたちはウィーンにいるプロテスタントで知的専門職業の人々と結婚し、多くのネットワークを築いた。ウィトゲンシュタイン家には文化的で、くつろいだ雰囲気が満ちていたが、《反ユダヤ主義の劣悪な匂いに汚染》されていた。
ヘルマンの息子・カールは、ヘルマン夫妻の思うようにならなかったただひとりの子供だった。カールは父親の形式尊重主義と権威主義に反抗し、家出をはかった。ヴァイオリンを片手に無一文でアメリカに渡り二年もの間過ごした後、ウィーンに戻った時、さすがに父親や兄弟たちも彼の《実際的で技術的な適性》を認めざるをえなかった。その後、工科大学で一年を過ごし、技術関係の会社で見習いを経て、義理の兄弟からボヘミアにある製粉工場建設の計画立案を頼まれる。これをきっかけにみるみる頭角をあらわし、義兄弟の会社を継いで19世紀の最後の10年頃にはオーストリア＝ハンガリー帝国で最大の富豪のひとりとさえなっていた。（「オーストリア近代産業の父」）
1898年、彼はビジネスから身を引く。このときまでに、彼は八人の子供たちの父親となっていた。母親の名はレオポルディーネ・カルムスで、彼女は義兄弟の会社で頭角をあらわした頃に結婚した女性である。カールの膨大な富によって一家のものは貴族の生活様式で暮らし、その住まいは〈ウィトゲンシュタイン宮殿〉として知られていた。
ルートウィヒはカールの息子である。彼には幼い頃、手先が器用であること以外、他の兄弟たちのような音楽的、芸術的、文学的才能を感じさせなかった。兄弟のパウルは第一次世界大戦で右腕を失った著名なピアニストである。ウィトゲンシュタイン家は音楽に繊細で、二流の音楽には耐えられなかった。そのせいもあってか、ルートウィヒは楽器にちっとも触らなかった。
彼、つまりウィトゲンシュタインが家族から認められるためには、その才能ではなく、たとえば道を外れない礼儀のよさ、他人への気配りのよさ、進んで責務をはたすことであり、技術に関心を示すことで父親の奨励を受けることだった。彼にとって子供の頃はあまり幸福とはいえなかったが、周りからはそう映らない。家族のものでさえ彼が不満のない快活な少年だと思っていた。彼は周りの人から悪くいわれるのが嫌だった。
