阴阳图的历史可以追溯到上古时期的先天八卦图。它以一黑一白两条鱼相互环抱的形象，象征天地间的阴阳两极，体现了阴阳互根、对立统一的哲学思想。随着时间的推移，阴阳图逐渐融入了更多的文化内涵。

南宋时期，学者们开始将阴阳图与太极图相结合，用以解释宇宙万物的生成与变化规律。至明代，这一结合最终定型为“太极图”，并一直沿用至今。在此过程中，太极图不仅继承了阴阳图的哲学思想，还融入了《易经》中的八卦、六十四卦等元素，形成了更为完整、系统的宇宙观。