芥子园的名头很响,但是它的规模却不大。芥子园占地不过三亩,室居其一,石居其一。园内房屋有两进,居室有楼阁、平房。园内还有浮白轩、栖云谷、月榭、歌台等建筑。栖云谷是与房屋相连的假山石洞,洞上有空穴,水置其中,流淌出来,形成滴水的景观,怪石花草点缀园内。
最妙的是在山脚碧水环流,水边石矶俯伏的假山石矶上有雕塑高手为李渔塑造的一尊执竿垂钓的坐像。李渔十分欣赏自己的这一巧思:“有石不可无水,有水不可无山,有山有水,不可无笠翁息钓归休之地,遂营此窟以居之,是此山原为像设。”在园林中出现人物雕塑,尤其是园主人的塑像,是我国园林史上的一次标新立异的重大突破。
芥子园占地小,房屋布局之后,虽有花园的设置,毕竟空间有限,开辟较大面积的水塘不现实,只能够开挖一水池,种植数枝荷花,弥补视觉的缺憾。
不仅如此,其他植物的种植也是因陋就简,芥子园种植相对多一点的植物是石榴,因为石榴喜高而直上,不占芥子园的空间。根据李渔的记录,芥子园之景卓然可观。