迄今为止，中国墨发端于何时何地尚无定论。河南殷墟出土的甲骨文中，有用朱砂和墨书写文字的痕迹。在甲骨文上书写的文字，红色是朱砂，墨色是碳素单质，这证明朱砂和墨在商代就被用来书写文字了。我国迄今所见最早的墨是1975年湖北云梦秦墓出土的墨块。墨的发明是人类书写文字史上的重要进步。在最初书写文字时，人们用尖锐物体在竹简上刻划写字。墨的发明使人们从刀刻的繁杂劳动中解放出来，提高了写字的效率。
春秋战国时期，墨是用杂木和草烧结而成的，制法粗糙。后来，为了提高墨的质量，人们改用松柴烧结，再后来又加入了麻子油和猪油烧结。如今，我们知道，麻子油和猪油这几种油脂在氧气不足的情况下受热分解，可以得到黑色粉末状物质，即古人所谓的“烟灰”。古人虽然知道如何制得“烟灰”，但并不明白其中的原理。秦汉时期是墨的一个重要发展时期，这时出现了松烟墨。
松烟墨是用松木烧出的烟灰，再拌之以漆、胶制成，其质量远远胜过石墨。东汉以前，墨没有制成锭，只是做成小圆块，不能用手直接拿着研，必须用研石压着来磨，这种小圆块的墨又叫“墨丸”。到东汉时发明了墨模，墨的形式趋于规整，从小圆块改进成为墨锭，它经压模、出模等工序制成，可以直接用手拿着研磨。汉代已形成了全国制墨中心，即渝麋（今陕西千阳）。三国时期，我国的制墨业进一步发展。
当时西安人韦诞工书法，善制墨，所制“韦诞墨”已被史书记载。隋唐时期，制墨业更加受到重视，政府设官办厂，其中，最著名的墨官是祖敏，他采用古松烟与鹿角胶煎膏合成制墨的方法名闻天下。唐代的墨已有多种颜色。黄墨是用雌黄研细加胶合制的墨，多用于修改文稿或者点校图书。朱墨是用朱砂研细加胶而成，但容易退色。由于科举制度的发展和书画艺术的繁荣，唐代文人学士对墨的需求更为扩大，这也刺激了制墨业的发展。
唐末五代由于战乱频繁，大量北方墨工纷纷南迁，制墨中心亦随之转移。此后，徽墨雄踞天下，在制墨业中占据主导地位。从现有史料来看，徽墨生产可追溯到唐代末期，大量北方墨工纷纷南迁，导致制墨中心南移。易州墨工奚超携子廷珪至歙县潜口，取当地的松木炼烟，制成的墨“丰肌腻理，光泽如漆”，受到南唐后主李煜赏识，赐其国姓，擢廷珪为墨务官。从此，歙州李墨名扬天下，故歙县一直享有“墨乡”“墨都”之称。
宋宣和三年（1121年），歙州易名徽州，“徽墨”由此而来。明代是徽墨的黄金时代，徽州制墨名坊多达一百余家，其中罗小华、程君房、方于鲁、邵格之四人被誉为徽墨四大家，徽墨形成歙、休、婺三大流派，相互竞争，推动了徽墨技艺的迅猛发展。宋代是中国古代书法和绘画高度发展的时期，也是中国古墨由单一品种转变为多品种的时期。其中最突出的成果就是“石油”烟墨的出现。
制墨史上，千百年来，墨的主要原料都是松树，许多地区因为取古松烧制烟，大规模地砍伐松树，这样做不仅破坏了生存环境，还加剧了墨源的匮乏。在墨源严重匮乏而用墨需求日益增长的情况下，寻求新的制墨原料已迫在眉睫。沈括在延州（今陕西延安一带）任职时，在当地人的引导下，发现了一种物质——脂水，后来他把脂水命名为“石油”。由于燃烧时烟味太大，“石油”在当时仅仅是作灯油使用，或者给家畜治疗疥癣，并未用于烧饭。
沈括则想到用燃烧“石油”浓烟做墨。沈括将“石油”放在一个大瓦缸中燃烧，然后将燃烧产生的烟尘收集起来，按照制墨的流程制作了一小块墨。做好之后，沈括拿来毛笔蘸上“石油”烟做的墨在宣纸上写了几个字，看起来效果非常好。试制成功后，沈括喜出望外，马上大力推广他的新墨，并取名为“延川石液”。据说沈括的“延川石液”受到当时的制墨行家苏轼的极大赞赏，可谓上乘。遗憾的是“延川石液”似乎并未大行于世，后来工艺消失。
或许是因为在当时的条件下，“石油”烟制墨的成本远不及松木的成本低，毕竟“石油”在当时远没有松木那样遍布全国。
到了明代，歙县罗小华发明的桐油燃烧取烟制墨方法，使油烟墨真正得到了普及和发展。由于油烟墨主要是桐油等植物油燃烧取烟，并加入牛皮胶、珍珠、麝香、冰片等名贵药材制成，因此其墨色黑润有光、馨香馥郁，是墨中上品、“书香”之源。
清代制墨业更加繁荣，油烟墨的制作达到鼎盛，选材较明代更为广泛。徽州作为制墨业的中心也达到了极盛，曹素功、胡开文、汪近圣、汪节庵四大家为其中翘楚。清代末年，现代科技传入中国后，谢崧岱融合传统工艺创造了墨汁，墨汁省去研磨之力，更加方便易用，客观上有利于大幅作品的创作。虽然墨汁无法表现出传统墨块那样丰富的层次，但是凭借其使用便利的优势成为了大众的主要选择。