Le site est pour la première fois mentionné sous le nom de Hommes-Saint-Martin ou Ormes-Saint-Martin en 1392. Il est alors occupé par une demeure seigneuriale, peut-être même un château. En 1434, cette demeure devient la propriété de Guillaume de Marans jusqu’en 1604. En 1642, elle est acquise par Antoine Martin Pussort, Conseiller du roi et oncle du puissant Colbert. La terre des Ormes est élevée en baronnie, une église est construite et une paroisse créée en 1656. Henri Pussort succède à son frère lorsque celui-ci meurt en 1662. Lui aussi proche du roi, il meurt en 1697. En une cinquantaine d’années, les frères Pussort développent Les Ormes : un château est construit et le nombre d’habitants augmente.
En 1729, le domaine est acquis par Marc-Pierre de Voyer d’Argenson, descendant d’une famille qui sert la monarchie depuis de longues années, lui-même occupant de nombreuses fonctions auprès du roi.
Son fils Marc-René lui succède en 1764.
Dans un document daté de 1748, le père et le fils se fixent l’objectif de rassembler dans le “parc des Ormes” les terres situées entre la Vienne, la Creuse et le grand chemin de Bordeaux.
En 1782, à la mort de Marc-René, cet objectif est atteint. Dans le même temps, le château est agrandi, et la personnalité des d’Argenson attire aux Ormes d’illustres visiteurs.
En face du château, de l’autre côté de la route, un grand bâtiment de 80 mètres de façade appelé “La Bergerie”. En 1760, “il fermait la cour d’honneur du Château”.
En 1744, la commission de surintendant des Postes est donnée au comte d’Argenson ; lorsque le tracé de la route Paris-Bordeaux est fixé, un relais de poste est établi aux Ormes, au centre du bourg.
En 1818, la commune voisine de Poizay-le-Joli, plus importante que celle des Ormes, est réunie à cette dernière, consacrant l’importance prise au cours des ans.
Les deux siècles suivants sont marqués par les transformations que connaît l’ensemble du pays et que touchent le cadre politique et administratif, l’infrastructure (construction de ponts, du chemin de fer et de routes nouvelles) et l’économie.
Une nouvelle église remplace en 1896 celle du XVIIème siècle qui menace de s’écrouler.
Au cours de la Seconde Guerre mondiale, les derniers combats de juin 1940 touchent la Creuse et ses abords.