在日本生活的4年多时间，母亲的工作亦不轻松。除了照顾父亲，她还要照顾4个男孩的起居（包括前房母亲——我们称为莫氏母亲所生的3个哥哥，加上母亲潘氏自己所生的四哥），别的不说，光是做衣服、鞋袜，就有忙不完的工作。当时虽有一男仆、一女仆帮忙，仍然要在洋油灯下做到晚上十二时。
1913年冬，母亲生下我，来年冬天她又怀孕在身。1915年3月，父亲携带全家由日本返回老家扫墓，安排好母亲待产后，又带大哥潜明去日本。1915年7月五弟慈明出生。
父亲在日本帮罗振玉整理藏书及古物，学术研究的成就是多方面的，有诗词、戏曲等，最主要的是对甲骨文、金文、汉简的研究，在当时就有世界性的影响。他既为罗氏工作，生活上自然需要依赖其资助，其时正值京都百物飞涨，日常费用，渐觉不充裕。而罗振玉历年印书，所费甚多，父亲不愿再有累于罗氏，欲先返国。
通过同乡邹安先生联系，父亲得上海英籍犹太人哈同之邀，回上海在哈同创办的学术杂志担任编辑之职。1916年，父亲携带大哥潜明由日本返国，居住上海爱文义路大通路吴兴里392号。1917年，妹松明出生。
当时在上海，家里人口众多。母亲快生六弟，我已七岁，由三舅带回海宁，住在外婆家。1919年10月，六弟登明出生。
父亲在上海住了10年，主要是帮忙编书、做研究、写书。
据蒋君章先生的回忆，上海哈同花园的正式名称是“爱俪园”，园内设有“仓圣明智大学”。蒋先生说，开学仪式时，王国维先生排列第三——校长在最前面，其次是教务长和王国维先生等重要教习。他在小学读书时，即已久仰王国维先生的大名。
他说，王先生是短短的身体，嘴唇上蓄着八字胡须，瓜皮小帽，缀有红帽结，后面拖着一根长辫子。这是他的特别标记。
在上海的这几年，生活虽然艰难，父亲著作却颇多，渐受国内外学者的注意。外国学者与父亲也常相往来。
1918年，父亲拒绝了北京大学校长蔡元培的邀请，不愿前往北大任教，反而前往仓圣明智大学担任经学教授。日本京都大学有意延揽父亲，也遭到婉辞。
1919年4月，罗振玉自日本返国，父亲与伯希和（欧美公认的中国学领袖、探险家，也是敦煌盗宝的始作俑者）、罗振玉等在上海会见，论学为乐。日本人狩野直喜将他从伦敦大英博物馆录得的敦煌残卷数篇，提供给父亲，父亲因此得以发表许多有关敦煌残卷的文章。当年10月，父亲开始为乌程蒋汝藻编撰《藏书志》，其后又为《浙江通志》撰写文章，生活相当忙碌。
1921年，北京大学再度托请马衡代邀父亲前往担任文科教授，不知何故，父亲再度拒绝。或许当时父亲仍为蒋汝藻编写《藏书志》吧。一直到1922年年初，父亲才答应担任北大研究所国学通讯导师，不必前往北京任职，可以在上海继续编书写作。
