Когда великий князь Дмитрий Иоаннович Донской возвращался после победы над Мамаем с берегов Дона в Москву и достиг города Гребни на реке Чир, впадающей в Дон, горожане поднесли ему икону Богоматери, прославившуюся у них чудотворениями и получившую название Гребневской. Великий князь с верой принял икону и по прибытии в Москву велел поставить ее в Московском Успенской соборе.
Правнук Донского, великий князь Иоанн Васильевич, собираясь в 1471 году в поход против Новгорода, дал обет построить церковь в честь Успения Богоматери, ее чудотворной иконы Гребневской, которую брал с собой в поход. Обет его увенчался Шелонской битвой 1472 года; он исполнил его сооружением в Московском посаде деревянной церкви в честь Успения Богоматери, так как большой Успенский собор был еще не достроен. В эту церковь Иоанн III поставил образ Гребневской Богоматери, украсив его серебром и драгоценными камнями. На киоте образа он велел написать акафист Пресвятой Богородицы в благодарность за дарование ему сына Василия.
С этим святым образом русские дружины отразили в 1612 году поляков на Сретенской улице. Летопись говорит, что «от церкви Гребневской Богоматери князь Дмитрий Трубецкой двинулся на освобождение Китая и Кремля от польской сволочи и русских изменников».
При пожаре церкви Гребневской Богоматери в 1687 году икону не успели вынести, но она осталась невредимой и, по словам летописи, «внезапу обретеся на воздухе». В XVIII веке Гребневская церковь была обновлена. Царевна Наталья Алексеевна, сестра императора Петра Великого, украсив чудотворный образ, пешком сопровождала его из села Преображенского в церковь Успения Божьей Матери на бору и там, совершив молебное пение, поставила святыню на свое место. Возобновлению этой церкви особенно содействовал Стефан Яворский.