Родился 23 (11) февраля 1821 года в Почепе Мглинского уезда Черниговской губерниии.
Происходил из старинного дворянского рода Жемчужниковых — сын сенатора Михаила Николаевича Жемчужникова (1788—1865) от его брака с Ольгой Алексеевной Перовской (1799—1833).
Вырос в родовом имении Павловка под Ельцом. Учился в Первой Санкт-Петербургской гимназии и в Училище правоведения. После окончания училища в 1841 году служил в Сенате.
В 1847 году после отпуска, проведённого за границей, перешёл на службу в министерство юстиции, а в 1849 году в Государственную канцелярию. Был помощником статс-секретаря Государственного совета.
В 1858 году вышел в отставку и жил в Калуге и Москве, а во 2-й половине 1860-х годов — за границей, преимущественно в Германии, Швейцарии, Италии и на юге Франции. Вернувшись в Россию - в Тамбове и селе Ильинка (Ильиновка) Тамбовской губернии.
Литературный дебют состоялся в 1850 году в журнале «Современник», где была опубликована комедия «Странная ночь». Кроме «Современника» Жемчужников также печатался в журналах «Отечественные записки», «Искра» и др. Совместно с братьями Владимиром и Александром, и двоюродным братом Алексеем Толстым создал литературный псевдоним Козьмы Пруткова.
Первая книга стихотворений Жемчужникова была издана лишь в 1892 году и была отмечена поощрительной пушкинской премией в 1893 году. В 1900 году, к 50-летию его литературной деятельности, вышел в свет новый сборник Жемчужникова «Песни старости». В том же году он был одним из первых (вместе с Толстым, Чеховым, Кони и другими) избран почётным академиком Петербургской академии наук по разряду изящной словесности.
В 1871 году, живя за границей, им было написано стихотворение «Осенние журавли» («Здесь под небом чужим»). Положено на музыку в начале 1930-х годов. Автор музыки неизвестен. Одна из самых известных ностальгических песен.
25 марта [7 апреля] 1908[2], Тамбов, похоронен в Москве.
Путник (М.Балакирев)
Георгий Абрамов
Мария Максакова
Александр Пирогов
Борис Христов
Осенние журавли (ранний ввариант) (?)
Геннадий Каменный
Осенние журавли (поздний вариант) (?)
Алла Баянова
Геннадий Каменный
Николай Никитский