В Богородске Федоров проработал шесть лет, здесь научились ценить необычного учителя, любили его, всячески ограждали от высшего начальства, наезжающих инспекторов, недоуменно, а то и грозно реагировавших на его систему преподавания. Затем Николай Федорович преподавал в Московской (нынешний Ногинск), Угличе, Одоево, Богородицке, Боровске, Подольске.
В 1869 года Федоров занимает место библиотекаря в Чертковской библиотеке. Первым библиотекарем Чертковки был Петр Иванович Бартенев, знаменитый впоследствии историк, архивист, переводчик. Пять лет Николай Федорович проработал под прямым руководством Петра Бартенева Он прошел прекрасную чисто профессиональную школу и впитал огромный объем знаний, систематизированных, организованных вокруг единого, святого для него предмета — отечества. Без этой школы, возможно, не мог бы в полной мере состояться тот «необыкновенный библиотекарь» Румянцевского музея, о котором рассказывали чудеса. Чертковская библиотека просуществовала десять лет — к 1874 году ее книги перекочевали в Московский Публичный и Румянцевский музеи.
Уже с 27 ноября 1874 года Николай Федорович был определен в ней на скромную должность дежурного чиновника при читальном зале. Почти четверть века суждено ему отныне быть связанным с этим местом. Сам Николай Федорович рассматривал свою работу в Румянцевском музее «как священное дело». Книга, служению которой он себя посвятил, — как соединяющее и нетленное звено между бывшим и настоящим — приобретала особенное, воскрешающее значение. В неопубликованной статье «Уважал или презирал книгу 19 век?» он писал: «Книга как выражение слова, мысли и знания занимает высшее место среди памятников прошедшего, должна она занимать его и в будущем, которое призвано стать делом возвращения прошедших поколений к жизни, и лишь тогда книга с этого первого места снизойдет на последнее, когда то, что было лишь в книге, то есть только в мысли и голове, станет живым делом человечества».
Сохранение мировой памяти, письменных памятников прошедшего и проходящего буквально на глазах, организация возможно более целесообразная, системная этого сохранения осмыслялись у него единой целью. Ходили легенды о колоссальных познаниях Федорова, рассказывали фантастические и тем не менее реально случившиеся истории. Многие русские ученые (причем диапазон тех наук, которыми они занимались, необыкновенно широк — от востоковедения, религиоведения до военно-морского дела) с благодарностью вспоминали о той помощи, которую оказал им Николай Федорович. «Это была прямо живая энциклопедия в самом лучшем смысле этого слова, и, кажется, не было предела его памяти», — заключает Покровский (Георгиевский).
Из воспоминаний Георгиевского мы узнаем еще одну характерную деталь оказывается, Румянцевский музей посылал требования на новые иностранные издания по спискам, составленным Николаем Федоровичем.