1922年我在安徽合肥出生的时候，父亲是安庆一所中学的教员。安庆当时也叫怀宁。 父亲给我取名“振宁”，其中的“振”字是杨家的辈名，“宁”字就是怀宁的意思。我满周岁的时候父亲考取了安徽留美公费生，出国前我们一家三口在合肥老宅院子的一角照了一张像片。父亲穿着长袍马褂，站得毕挺。我想好以前他恐怕还从来没有穿过西服。两年以后他自美国寄给母亲的一张照片是在芝加哥大学英俊，年轻时意气风发的神态，在这张像征中清楚地显示出来。

    父亲1923年秋入斯坦福大学，1924年得学士学位后转入芝加哥大学读研究院。 1928年夏父亲得了芝加哥大学的博士学位后乘船回国，母亲和我到上海去接他。我这次看见他，事实上等于看见了一个完全陌生的人。几天以后我们三人和一位自合肥来的佣人王姐乘船去厦门，因为父亲将就任为厦门大学数学系教授。

    厦门那一年的生活我记得是很幸福的。也是我自父亲那里学到很多东西的一年。那一年以前，在合肥，母亲曾教我认识了大约三千个汉字，我又曾在私塾里学过曳《龙文鞭影》，可是没有机会接触新式教育。在厦门，父亲用大球、小球进解太阳、地球与月球的运行情形；教了我英文字母；当然也教了我一些算术和文化和鸡兔同笼一类的问题。不过他并没有忽略中国文化知识，也教我读了不少首唐诗，恐怕有三四十首；教我中国历史朝代的顺育、干支顺序、八卦等等。

    父亲的围棋下得很好。那一年他教我下围棋。记得开始时他让我16子，多年以后渐渐退为9子，可是我始终没有从父亲那时故里一“真传”。一直到1962年在日内瓦我们重聚时下围棋，他还是要让我7子。在厦大任教了一年以后，父亲改任北平清华大学教授。我们一家三口于1929年秋搬入清华园西院19号，那是西院东北角上的一所四合院。西院于30年代向南方扩建后，我们家的门牌改为11号。 我们在清华园里一共住了八年，从1929年到搞战开始那一年。清华园的八年在我回忆中是非常美丽、非常幸福的。那对中斩社会十分动荡，内忧外惠，困难很多。但我们生活在清华园的围墙里头，不大与外界接触。我在这样一个被保护起来的环境里度过了童年。在我的记忆里头，清华园是很漂亮的。几乎每一棵树我们都曾经爬过，每一棵草我们都曾经研究过。 这是我在1985年出版的一本小书《读书教学四十年》中写的我童年的情况。里面所提到的“在园里到处游玩”，主要是指今天的近春园附近。

    父亲常常和我自家门口东行，沿着小路去古月堂或去科学馆。这条小路特别幽静，穿过树丛以后，有一大段路，左边是农田与荷塘，右边是小土山。路上很少遇见行人，春夏秋冬的景色虽不同，幽静的气氛却一样。童年的我当时未能体会到，在小径上父亲和我一起走路的时刻是我们单独相处最亲近的时刻。

    我九、十岁的时候，父亲已经知道我学数学的能力很强。到了1岁入初中的时候，我在这方面的能力更充分显示出来。回想起来，他当时如果教我解析几何和微积积分，我一定学得很快，可是他没有这样做。在我初中一、二年级之间的暑假，父亲请雷海宗教授介绍一位历史系的学生教我《孟子》。雷先生介绍他的得意学生丁则良来。丁先生学识丰富，不只教我《孟子》，还给我讲了许多上古历史知识，是我在学校的教科书上从来没有学到的。下一年暑假，他又教我另一半的《孟子》，所以在中学的年代我可以背育《孟子》全文。父亲书架上有许多英文和德文的数学书籍，我常常翻看。

    1937年抗战开始，我们一家先搬回合肥老家，后来在日军进入南京以后，我们汉口、香港、海防、河内，于1938年3月到达昆明。我在昆明昆华中学读了半年高中二年级，没有念高三，于1938年秋以“同等学历”的资格考入了西南联俣大学。 1938年到1939年这一年父亲介绍我接触了近代数学的精神。他借了GHH的《PM》与ETB的《MM》给我看。他和我讨论、不同的无限大等观念。这些都给了我不可磨灭的印象。四十年以后在一本书中我这样写道： 我的物理学界同事们大多对数学采取功利主义的态度。也许因为受我父亲的影响，我较为欣赏数学。我欣赏数学家的价值观，我赞美数学的优美和力量：它有战术上的机巧与灵活，又有战略上的雄才远虑。而且，奇迹的奇迹，它的一些美妙概念竟是支配物理世界的基本结构。

    父亲虽然给我介绍了数学的精神，却不赞成我念数学。他认为数学不够实用。