正妻时氏　　张孝祥正娶妻子为表妹时氏，时氏当在1159年前卒于临安，除却简短的悼文三则外，《于湖集》中并无一词、一诗、一文提到时氏，双方感情应该是平淡的。

情人李氏　　23岁中状元时，秦桧党羽曹泳在朝堂上当众为女儿向张孝祥提亲，孝祥“不答”，当时他的身份是未婚的。但其实，早在十六岁时，他便同一位姓李的女子同居生子，儿子张同之，后来终生至仕。但在当时，李氏一直没有在张家取得合法地位，族谱中亦没有将她的名字收录其中，从1971年偶然发现的张同之的墓志铭上，更附为证。宛敏灏先生认为，孝祥在与时氏结婚前，被迫将李氏与同之送走，李氏入道观出家，从此二人再未谋面。《于湖词》中本来有几首意义晦涩的情词因此得解，其实是张孝祥怀念李氏之作，如《念奴娇·风帆更起》，《木兰花慢·送归云去雁》，《木兰花慢·紫箫吹散后》，阐述了词人对失去情人，痛别爱子的哀痛，悔恨与凄凉的心情。李氏究竟身份如何，这段感情因何要到被迫送别妻子，还是不解之谜，唯一可知的是，较之时氏，张孝祥对李氏的感情深厚得多。