远远没有，孤山的矮人主要是都林族和另外两个矮人氏族，矮人可还有七大氏族呢，散布在世界的各处山脉

矮人有七大氏族，其中最强大的一支是长须氏族，也就是最有名的“不死者”都林的子孙，他最先苏醒，在银齿峰红角峰云顶峰下挖掘了名为卡扎督姆的地下城市，也就是墨瑞亚，“不死者”都林是第一代长须之王（所有的矮人都听从长须之王的号令，长须之王相当于是矮人族的至高王，都林的后代，偶尔可能会出现转世的情况，也就是某一个后代，长相与都林一致，并且继承了都林的记忆，便称作都林…世）而另外两个氏族的矮人祖先也跟着苏醒，在蓝色山脉挖掘了诺格罗德（杀死多瑞亚斯之王灰衣辛葛的矮人工匠来自这座城市）和贝烈戈斯特（泪雨之战的矮人王阿扎格哈尔和他的军队来自这里）第一纪元主要发生在蓝色山脉以西，因此，关于卡扎督姆的事迹几乎没有，而另外四个矮人氏族的王国和城市则是散落在中途的其他山脉（仍旧听从长须之王的号召），直到第一纪元结束，第二纪元开始，贝烈瑞安德沉入大海，蓝色山脉受到波及，两座城邦的矮人全部迁移到卡扎督姆，卡扎督姆迎来了空前的繁盛，而后又与迁移至此的诺多族精灵交好，一名矮人工匠与费艾诺之凯勒博恩结下深厚的友谊，两族因此也特地开了一扇西门，就是魔戒三部曲中护戒远征队进入地下城所走的，直到后来艾瑞吉安被索伦毁灭，卡扎督姆从此大门紧闭，在最后的联盟之战中出兵相助精灵和人类，人数和将领未知，但应当也有很大的贡献，直到第三纪元，矮人唤醒了地下沉睡的炎魔，矮人被迫逃离家园，矮人们发现了孤山，建立了山下王国，一部分的矮人又去往了灰色山脉，但是灰色山脉附近的荒野中有龙存在，矮人和龙爆发了战争，最终迁移了山脉，回到了孤山，继承山下王国王位的便是索林的爷爷瑟罗尔，而瑟罗尔的弟弟则前往了铁丘陵，其孙子便是铁足丹恩，也是后后来的山下之王，直到恶龙史矛革毁灭孤山，都林族矮人再度流离失所，但是这时他们仍旧拥有相较庞大的人口，有些可能前往了其他的矮人城市，有些则跟随着索林的父亲在蓝色山脉开走了新的厅堂，直到矮人们收复了孤山，到了魔戒大战的期间，矮人已经恢复了很多的人口了，灰色山脉孤山铁丘陵都有很多的矮人在世界的很多地方也能看到矮人的商人或是旅人，矮人从来没有灭族，因为别忘了，除了上述提到的三个氏族之外，还有另外四个氏族呢，他们在中途之外的其他地界，不过有些可能为黑暗服务

矮人离灭族还远着呢。
矮人可以分为七大部族：长须、火须、宽梁、铁拳、硬须、黑发、石族，他们是七个男祖先与六个女祖先（除了长须）的后代。
墨瑞亚和孤山的矮人都是长须一族，也就是都林一族，是最富有的一族，也有号召其他六族的能力。虽然他们被炎魔逐出墨瑞亚，在灰色山脉和孤山都被龙重创，但是梭林在蓝色山脉的流亡者和铁丘陵戴因的人民还是振兴了山下王国。虽然3021年孤山又被围攻，戴因战死，但毕竟“石盔”梭林三世领导矮人守住了孤山，其后山下王国还是保有它的财富，直到都林七世再次归来，收复墨瑞亚，缔造最后一个矮人盛世。
火须和宽梁是诺格罗德和贝烈戈斯特的居民。贝烈戈斯特的矮人忠诚勇猛，佩戴着巨大的金面具，甚至可以防御龙炎，势力非常强大，其国王阿扎格哈尔在泪雨之战重创格劳龙。诺格罗德矮人是最伟大的工匠，包括龙盔和阿拉贡的纳西尔圣剑都是工匠铁尔哈的作品，但是他们贪婪缺乏远见，最后和多瑞亚斯同归于尽。愤怒之战之后这两座城都受到波及而毁灭了，这两个氏族也就加入了长须族。
还有四个家族的居所没有出现在地图上，也许是在遥远的鲁恩或是哈拉德。不过他们和都林一族有着紧密的联系，并且在需要的时候会从远方赶来支援盟友，也正是因为他们，阿扎努比扎一战矮人才得以击败奥克。战后他们还是回到了自己的家园，这四个家族当然也没有灭绝。
矮人虽少，但是离灭绝还是很远的。七族合力可以绞杀整个迷雾山脉的奥克，而孤山的守军也不惧20万东夷的围攻，在某种程度上矮人是比精灵还要强大的存在。