在我国，山楂的利用历史已经超过两千年，在《尔雅》《山海经》中都有对山楂的记载。不过，在我国漫长的历史长河中，山楂树最早并不是为大众提供冰糖葫芦的果树，而是用来烧火做饭的薪炭树。在《齐民要术》中，对山楂的描写是这样的：“朹……多种之为薪”。这里的“朹”，就是我国古人对山楂的称呼。
大概是因为山楂的果子明艳醒目，古人才开始培育这种特别的植物。在李时珍的《本草纲目》中，山楂第一次被编入了果部。山楂的广泛使用和食用始于明清时期，从山东开始，逐步扩展到河南、河北、辽宁等省区。至此，山楂在我国才真正有了水果的身份。
有意思的是，我们通常吃的山楂并不是同一个物种，而是包括山楂、云南山楂和伏山楂3个物种。其中，山楂几乎统治了我国北方地区，云南山楂则是在南方地区称霸，而伏山楂的地位跟前两者完全没有可比性，它只出现在东北各地。
如何分辨这3种山楂呢？首先，区别最大的是云南山楂，它的叶片通常是浅裂和不裂的，果实并不是像平常见到的浑身通红，而是在黄白色的底色上略加红晕，除此之外，还有土黄和绿色果皮的云南山楂。山楂和伏山楂看起来则非常相近，叶子呈羽毛状，果实通常都是红色的，但是后者的成熟期较早，因在伏天末期成熟，所以才有了“伏山楂”的称呼。
栽培山楂的果皮颜色是多变的，除了常见的鲜红色，还有橙色果皮以及黄色果皮的品种。橙色果皮山楂的代表是山东的甜红和早红、河北的雾灵红和山西的橙黄果等。黄色果皮山楂的代表是山东的大黄绵楂、小黄绵楂和山西的黄甜。
人们往往比较关注山楂的果实，而山楂的花朵经常会被忽视，因为这些花朵实在太小了。但是如果凑近观察，就会发现山楂的花朵十分精致—在五片白色的花瓣之上有众多精致的栗色雄蕊。这些精致的花朵充满了一种特殊的气味，类似于板栗花和石楠花的味道。这种气味虽然不讨人喜欢，却能招引昆虫为山楂传播花粉，这正是山楂花气味的主要用途。