总之《乐记》继承与发展了孔子以来儒家关于音乐的特征、乐教的功用以及内容与形式、美与善、礼和乐等关系的思想，在阐述"心物感应"的乐的本质方面，在论及音乐对人的情感、性格、意志等心理活动的影响方面，在突出音乐的政治教育与教化功能方面，在强调音乐对于"修身及家、平均天下"的社会作用方面，在注重礼乐并重"先王之道，礼乐可谓盛矣"方面，都有了新的突破，其基本思想比在它之前的儒家著作中都更明确、更丰富、更具体、更深入、更系统，它是中国古代最重要、最系统的音乐教育思想的论著，至今仍未失去其灿烂的光辉。

在西方，古希腊的德谟克利特有乐论专著《论音乐》，惜已失传，其思想面貌不得而知，无法与《乐记》比较。柏拉图、亚里斯多德都有论乐思想，但很不系统，远没有《乐记》这样丰富与完善。古罗马裴罗德谟的《论音乐》虽是一部乐论专著，但其主旨在于批判与否定古希腊音乐美育论，而未正面树立自己的音乐思想体系。因此，我们可以说，《乐记》不仅在中国，而且在世界古代音乐思想史及音乐教育思想史上也占有极其重要的地位。

但《乐记》把音乐当作封建地主阶级手中的工具。《乐记》希望通过音乐教育使"官序贵贱各得其宜"，要"示后世也有尊卑长幼之序"。《乐记》主张"德成而上，艺成而下"，就是主张以封建地主阶级的"德"作为"善"的标准，作为评价音乐的政治标准。《乐记》认为音乐是体现"天理"的，亦即天赋善性，"唯君子为能知乐"，音乐可以用来表彰君子的德行，宣扬统治者的功业，为巩固统治服务。对于广大人民来说，音乐则是统治者给予的恩赐，接受乐教的目的是使人民"制欲"、"改过"，从而"无怨"、"不争"，顺从统治。所以《乐记》对于三皇五帝以来一切统治阶级的音乐，一切对统治阶级歌功颂德的音乐都推崇备至，尊之为"德音"、相反，对一切民间的音乐，则大加攻击，斥之为"奸声"、"邪音"、"溺音"、"淫乐"。《乐记》过分强调"乐"必配合于"礼"，"乐"被紧紧绑在"礼"的车子上，使"乐"逐渐失去了它的独立性与创造性。《乐记》过分强调"德"和"位"的音乐标准，这也就容易把中国的古代音乐引向庸俗化和势利化。中国古代社会的音乐，到了后来，愈来愈衰退，这不能不说和《乐记》所宣扬的"乐"配合"礼"的思想有些关系。所有这些，都是《乐记》的阶级与时代的局限性。

《乐记》以后，嵇康提出"声无哀乐"论，认为"声音自当以善恶为主，则无关于哀乐；哀乐自当以情感而后发，则无系于声音"，他突出了音乐本身的艺术特点，力图使音乐"越名教而任自然"，并肯定"郑声是音声之至妙"，这是向《乐记》等儒家传统音乐思想发起了挑战。冯梦龙也认为民间音乐"借男女之真情，发名教之伪药"，充分肯定了被儒家传统音乐思想所否定的"郑卫之音"、他们对《乐记》思想有所否定与突破。这样的观点，在中国过去是很少的。

《乐记》体大精深，以儒家思想为主，包容其它各派思想，谈到音乐的本源、音乐的特点、音乐与政治的关系、音乐与社会价值、音乐形式与内容的关系等问题，余篇仅留篇目，由篇名看，涉及乐器演奏、音乐创造、音律理论等问题。