Особняк в неомавританском стиле находится в центре Москвы — улица Воздвиженка, дом 16. Он является самым необычным зданием этой улицы.
Особняк построен в 1895-1899 годах для миллионера Арсения Морозова, двоюродного племянника Саввы Морозова.
Арсений вместе со своим другом архитектором Виктором Мазыриным путешествовал по Испании и Португалии. В поездке они увидели дворец Пена в Синтрах (Португалия). Он так вдохновил обоих, что родилась идея построить для Морозова дом, повторяющий дворец в общих чертах.
На стадии строительства дом подвергся насмешкам москвичей и критическим публикациям в газетах. Лев Толстой в романе «Воскресение» назвал его «глупым ненужным дворцом».
Есть легенда, что, когда особняк был готов, мать Арсения Морозова сказала ему: «Раньше я одна знала, что ты дурак, а теперь вся Москва будет знать!».
Арсений Морозов прожил в доме недолго. В 1908 году он на спор прострелил себе ногу в доказательство того, что человек способен вытерпеть любую боль. Началось заражение крови, из-за которого Морозов скончался. Особняк он завещал своей любовнице.
После Октябрьской революции в «доме с ракушками» недолго располагался штаб анархистов. Затем сюда переехала Первая рабочая передвижная группа театра Пролеткульта.
В разные годы в здании располагались посольства Японии, Индии, редакция английской газеты «Британский союзник».
С 1952 года хозяином дома стал Союз советских обществ дружбы и культурных связей с народами зарубежных стран.
С 2003 года здание принадлежит администрации президента России.