确实奇怪，按原文意思，是把父亲比喻为桂树，那后头就好像在贬低父亲了。
我倾向于这样理解，吾家君后面加个逗号，意思是“说起我父亲”，作状语，然后父亲比喻为泰山，自己是处于山阿的桂树，仰之弥高，测之弥深，桂树深受露泉滋润，不见全山，是没法评价泰山的。
古代泰山也常用来指代尊长，而颜回对孔子有“仰之弥高”之叹，庶与原文相合。

甘露与渊泉，皆为不可自得之物，只能顺受之。但也仍未迷失自我，认为这些是自己应得的，故不妄自尊大，以德自居。

因为陈季方是把自己比作桂树，把父亲比作泰山
《世说新语译注》
有客人问陈季方：“令尊大人太丘有什么功德，却承当天下盛名？”季方回答说：“我和家父相比，就如同一棵桂树生在泰山的一个角落，上有万仞高峰，下有深不可测的深渊，上承甘露膏泽，下被渊泉滋润。在此之时，桂树怎么能够知道泰山到底有多高，渊泉到底有多深？我不知道家父有功德还是没有功德。”

感觉上面的大家讲的都很有道理……《礼记》所谓“父不言子之德，子不言父之过”，秦始皇废谥号的理由也有一点是反对“臣议君，子议父”，所以这个发问本身就是个坑，回答则子议父失礼，不答则被“对子骂父”失尊严。所以解释说陈纪以“桂树”自喻，用“不知”父德既回避了正面作答又夸颂了父德弘大莫测、润物无声。不过解释“桂树”指陈太丘本人似也可以:桂花可赏可闻可食是有名有实，“甘露渊泉”喻指上受君恩、下承民望，焉知“万仞不测”是“知不足”，正确认识自己的地位与个人力量的有限，更是“已识乾坤大，犹怜草木青。”不以德自居，故“不知有功德与无”，也许与庄子“至人无己，神人无功，圣人无名。”暗合。总之都是避开“子议父”陷阱的委婉还击