太湖石因原产于江苏太湖而得名。唐代诗人吴融有诗曰：“洞庭山下湖波碧，波中万古生幽石。”这里说的洞庭不是湖南的洞庭湖，而是指江苏的太湖。太湖中有东、西两座洞庭山，所以，太湖石又被称为“洞庭石”。
古人认为，太湖石之所以奇形怪状，是水中的波浪长时间冲刷所造成的。古人的认识是正确的，但还不够深入。
现代地质学家认为，太湖石的石质为常见的碳酸盐岩，主要是石灰岩和白云质灰岩，它之所以在水中变得千疮百孔，既有波浪冲刷的物理因素，又有石头中的碳酸钙与弱酸性的水发生反应的化学因素，二者缺一不可。简而言之，太湖石其实就是由地下水的岩溶作用形成的碳酸盐岩，是山石与流水共同创造的杰作，与我国西南地区的桂林山水、云南石林等著名的岩溶地貌（喀斯特地貌）具有相似的成因。
在没有潜水装备和大型机械的古代，人们开采太湖石极其艰难。杜绾记载，采石工人通常带着锤子和凿子等工具潜入湖中寻找石头。当找到优质的石头之后，工人会在上面凿出孔洞，然后绑上绳索，并将绳索的另一端绑在大船的木架上，再将石头绞出水面。如果发现有些石头的形态不够完美，工匠就要对它进行一番打磨，然后再将其沉入湖底，待水浪冲刷一段时间之后才取上来。正因为太湖石开采不易，且质优者稀少，所以价值不菲。
其实，太湖石并不仅仅产于太湖，在我国很多地方都有，如北京西南的房山、山东沂蒙山区北部的临朐县等地也都发现了相似的石头，它们都是受岩溶作用侵蚀的石灰岩，外观也十分相似，被人们称为“北太湖石”。
我国源远流长的赏石文化始终追求意境之美，与宝石、矿物收藏鉴赏不同的是，人们更注重奇石的外形特征，并常常通过丰富的联想赋予其更多的文化内涵。太湖石就是这样的典型代表，它与安徽的灵璧石、广东的英德石和南京的雨花石合称我国“四大名石”。在我国园林艺术中，太湖石以独特的身姿和神韵成为其中一绝，或堆砌成山，或孤石独立，或雕琢盆景，鬼斧神工，妙趣横生。
宋代著名书画家米芾爱石成痴，对于鉴赏太湖石的优势，米芾提出了著名的四字诀，即“瘦”“皱”“漏”“透”。所谓的“瘦”，指的是石头要体态挺拔秀丽，“皱”指其凹凸相间有序，“漏”指孔洞层层相套，“透”指孔洞贯通。上海豫园的玉玲珑、苏州留园的冠云峰和原苏州织造署的瑞云峰等，相传都是宋代花石纲的遗物，皆具备了瘦、皱、漏、透的所有特征，因而成为江南园林石中的极品。
随着赏石文化的发展，人们对于其他纹理石、图案石、文字石等各种观赏石，又逐渐形成了以“形”“质”“色”“纹”“声”等为依据的多方面的综合评价标准；但对于太湖石，始终坚持米芾的四字诀，并且一直延续至今。