在康熙帝的众多后妃中，胤祥的生母章佳氏并不据有显赫的位置。她出身一般，是满洲镶黄旗参领海宽的女儿。初入宫，册封妃。她于康熙二十五年生皇十三子胤祥，二十六年生皇十三女，三十年生皇十五女。在四年零两个月内，连续生了三个孩子。这在玄烨中年以后的嫔妃中再无二例，说明她一度很受皇帝的宠幸。但是，她享寿不长，康熙三十八年(1699)去世。这时，她的儿女尚幼，胤祥14岁，皇十三女13岁，十五女9岁。估计章佳氏本人死时也还年轻。章佳氏死后，玄烨降谕礼部：“妃张雅氏(章佳氏)性行温良，克娴内则，久侍宫闱，敬慎素着。今以疾逝，深为轸(zhěn)悼，其谥为敏妃。”
幼年丧母，胤祥和两个妹妹只好由其他嫔妃代为抚养。据说，抚养胤祥的是德妃乌雅氏，即后来继承皇位的雍正帝胤G的母亲。这种阴错阳差的安排，早早就把他与胤G的命运联系在一起。两兄弟自幼晨夕聚处，感情深笃，胤G奉命教胤祥算学，日事讨论。每逢塞外扈从，也形影相依。兄弟相聚，宴集唱和，弟有所作，每就正于兄;兄扈从塞外，弟也间或有句相赠。胤G长胤祥8岁。这种密切的手足之情，伴随他们终生，经受了严峻的考验，而胤祥人生的得与失，喜与悲，荣与损，起与落，又无不以此种关系来贯穿。
在清朝皇室中，皇子皇女幼殇的比例很高，康熙帝玄烨的子女也不例外。他的55个子女内，长大成人的只有28人。55位子女的平均寿命，只有2695岁。胤祥的两个胞妹虽长大成人，也都寿命不永。他的大妹妹(皇十三女)20岁受封为和硕温宪公主，远嫁蒙古翁牛特部博尔济吉特氏杜凌郡王仓津，三年后因难产死去，时年23岁。他的小妹妹(皇十五女)18岁时受封和硕敦恪公主，下嫁蒙古科尔沁部博尔济吉特氏台吉多尔济，一年后去世，年仅19岁。这样，两个与胤祥血缘最近的亲人就过早离世了。
胤祥6岁开始在皇宫内就学读书。学习内容包括满汉文化，儒家经典，以及书法绘画。他的师傅法海，是康熙帝玄烨的舅舅佟国纲的第二子，换句话说，法海是玄烨的表弟，也即胤祥的表叔。法海是当时满洲人中不可多得的博学硕儒。他23岁考中进士，授为翰林院庶吉士，又奉命在南书房行走，成为玄烨身边的文学词臣。康熙三十七年(1698)，玄烨选派他在懋勤殿辅导皇十三子胤祥、皇十四子胤祯(雍正继位后改为允)。胤祯是胤G胞弟，胤祥与胤祯一同就学，同样反映了他与胤G的特殊关系。这时，胤祥13岁，胤祯11岁。他们在法海门下一学就是10年，两兄弟后来才学俱佳，与法海执教有很大关系。
胤祥幼时很得父皇宠爱。13岁时，胤祥第一次离开京城，随父皇玄烨前往谒陵。此后，玄烨经常带他四出巡幸。玄烨一生先后六次南巡，在诸皇子中，随行次数最多的，就是胤祥。玄烨第三、四、五、六次南巡，他都参与其间。他还随同玄烨巡幸过京畿、陕西西安、山西五台山，或往塞外避暑围猎。这说明，他在青少年时代，曾深得父皇的宠爱。玄烨有那么多皇子，众皇子对他犹如群星拱月，为什么却对胤祥偏爱？
第一，他自幼温文尔雅，在父亲面前显得很乖巧。《钦定八旗通志》记载：胤祥“幼偕诸王侍圣祖于宫廷。尝随行，以稚弱未能前视，圣祖过，寻履迹伏地嗅之，其孺慕诚切如此”。大意是说，胤祥幼时与诸兄一起侍从皇父于宫廷，因年龄小、个子矮，他几乎看不见在众人簇拥下一晃而过的父亲。为了表示对父亲的孝敬和仰慕，他不禁爬在父亲刚刚留下的脚印上一个劲地闻起来。这个记载或者有所夸大，但印证胤祥一生的行止，和他死后被追谥为“贤”来看，他在为人之道上，无论是对父母、对兄长、对臣民，都很符合儒家传统推崇的典范。
第二，他经过系统教育，加上本人的勤奋努力，才华横溢。能文能诗，书画俱佳。康熙四十一年(1702)，玄烨南巡，皇太子胤i、皇四子胤G、皇十三子胤祥随驾。某日，玄烨在行宫召集大臣和皇子们研习书法。玄烨一时兴起，谈起自己习练书法的体会：“学书须临古人法帖，其用笔时轻重疏密，或疾或徐，各有体势。宫中古法帖甚多，朕皆临阅。”说罢，他意犹未尽，又亲书大字对联当场展示。随即，他邀请众人观赏皇四子胤G和皇十三子胤祥书写的对联，据说，诸臣环视，“无不欢跃钦服”。如此惊叹的举动，自然有阿谀逢迎的成分，但两位皇子擅长书法确是事实。这一年，胤祥17岁，已学习书法多年，如果不是心里有底，玄烨又怎么会让他同皇兄一起当场献技呢？
第三，他继承了满洲人的传统技艺，骑马射箭样样精通。有记载提到，他“精于骑射，发必命中”。有一次出巡狩猎，一只猛虎突出林间，他神色不动，手持利刃向前刺之。见者无不佩服他的神勇。
胤祥出生时，父亲给他取了一个寓意深刻的名字，依据的是《礼记·中庸》中的“国家将兴，必有祯祥”，给他取名胤祥，给他的弟弟(皇十四子)取名胤祯。然而，祝福归祝福，亦如出生在普通百姓家的子弟一样，胤祥的人生道路也充满了扑朔迷离的变数。
