От Троицкой башни протянулось вдоль Кремлевской стены невысокое нарядное здание Потешного дворца. В середине XVII века здесь построили хоромы для боярина Ильи Милославского. Царь Алексей Михайлович, женившись на его дочери - Марии Ильиничне, подарил тому участок для строительства. Царский тесть оказался гостеприимным и веселым хозяином.
В Святки, в Масленицу и в конце Пасхи государь с семьей и приближенными царедворцами приходил сюда на пиры, сопровождаемые музыкой и даже театрализованными действиями. Новое развлечение царю понравилось. Но благочестивый государь всегда отдавал себе отчет в подобных действиях. Перед каждым таким развлечением он подолгу советовался с духовником, а после представления непременно шел в мыльню — смывать театральную скверну, затем долго молился о прощении греха. После смерти Ильи Милославского в 1668 году палаты отошли в царскую казну, поскольку боярин не оставил наследников.
При царе Федоре Алексеевиче Потешный дворец был возобновлен и украшен. В тереме верхнего яруса устроили домовую церковь Похвалы Богоматери с приделами св. Алексия человека Божьего и св. Марии Египетской. Во дворце также оборудовали театральное помещение, и женщины из царской семьи появлялись в театре открыто, наравне с мужчинами, а на сцене блистала в главной роли красавица Татьяна Арсеньева, боярская дочь. Царевна Софья вместе с сестрами переселилась в Потешные палаты, сделав их настоящим дворцом. А к новоселью поставила здесь собственную пьесу о святой великомученице Екатерине, и пьеса имела большой успех.
В начале XIX века в Потешном дворце разместился кремлевский комендант со своей канцелярией, и царские палаты превратились в контору. Правда, старое название за дворцом сохранилось, но ничего веселого здесь уже не происходило. Наоборот. После революции 1917 года в Потешном квартировали весьма серьезные члены большевистского правительства. А в 1932 году в этом здании разыгралась уже не театральная, а жизненная трагедия. 9 ноября в одной из комнат с окнами на Александровский сад застрелилась жена Иосифа Сталина Надежда Аллилуева.
Сейчас дворец принадлежит комендатуре Кремля, и даже подходить к нему запрещено. Что ж, пусть этот желто-белый теремок одиноко вспоминает о своем веселом прошлом и любуется собственным отражением в зеркальных окнах соседней громады.