Как гласит московская легенда, знаменитый ресторан «Эрмитаж» возник вследствие пристрастия французского кулинара Люсьена Оливье и московского купца Якова Пегова к нюхательному табаку. А лучший табак в Москве делал будочник на Трубе. Вот у этого будочника и произошло их историческое знакомство, переросшее впоследствии в общее дело – новый московский трактир.

В начале 1860-х годов здание, возведенное в 1816 г. на углу Петровского бульвара и Неглинного проезда (сейчас – Неглинная улица), было перестроено под трактир-ресторан с гостиницей и банями.

Очень быстро ресторан стал излюбленным местом отдыха московской интеллигенции. В апреле 1879 г. москвичи чествовали в «Эрмитаже» И.С. Тургенева. В «Эрмитаже» проходили в 1870–1880-е годы и знаменитые «танеевские обеды». Члены кружка передового юриста и социолога В.А. Танеева обсуждали на этих обедах злободневные вопросы современности. И свадьба Чайковского с девицей Милюковой состоялась тоже здесь. Здесь же в 1902 г. прошел банкет, организованный М. Горьким по поводу премьеры «На дне».