Родился 17 мая 1953 года в городе Алма-Ата (ныне Алматы). Отец – Кемель Токаевич Токаев (1923-1986), участник Великой Отечественной войны, известный писатель, основоположник детективно-приключенческого жанра в казахской литературе. Мать – Турар Шабарбаева (1931-2000), работала в Алма-Атинском педагогическом институте иностранных языков.

К.К. Токаев в 1975 году окончил Московский государственный институт международных отношений (МГИМО), преддипломную стажировку прошел в Посольстве СССР в КНР, в 1983-1984 годах стажировался в Пекинском лингвистическом институте. В 1992 году окончил Дипломатическую академию Министерства иностранных дел РФ.

Трудовую деятельность начал в 1975 году в Министерстве иностранных дел СССР и был направлен на работу в советское посольство в Республике Сингапур. В 1979 году вернулся в аппарат МИД СССР. В 1984-1985 годах работал в МИД СССР, затем был направлен в советское посольство в Китайской Народной Республике, где работал до 1991 года на должностях второго секретаря, первого секретаря и советника.

В 1992 году был назначен заместителем министра иностранных дел РК. В 1993 году стал первым заместителем министра иностранных дел РК. В 1994 году назначен министром иностранных дел РК. В марте 1999 года стал заместителем Премьер-Министра РК. В октябре 1999 года с согласия Парламента Указом Президента Республики Казахстан был назначен Премьер-Министром РК. В январе 2002 года стал Государственным секретарем – министром иностранных дел РК. С 2003 по 2007 год – министр иностранных дел РК. На этом посту принял активное участие в глобальном процессе нераспространения ядерного оружия.

В январе 2007 года избран Председателем Сената Парламента Республики Казахстан. В 2008 году в качестве спикера верхней палаты казахстанского парламента был избран вице-президентом Парламентской ассамблеи ОБСЕ.

В марте 2011 года назначен заместителем Генерального секретаря ООН, Генеральным директором отделения ООН в Женеве, а также личным представителем Генерального секретаря ООН на Конференции по разоружению. Занимал также должность Генерального секретаря Конференции по разоружению. Избирался председателем Советов министров иностранных дел СНГ и Шанхайской организации сотрудничества.

16 октября 2013 года вновь избран Председателем Сената Парламента Республики Казахстан.

20 марта 2019 года принес присягу в качестве Президента Республики Казахстан.

С 2007 года член партии «Нұр Отан» и Бюро политсовета партии «Нұр Отан». Член Совета Безопасности Республики Казахстан. Чрезвычайный и Полномочный Посол. Доктор политических наук. Действительный член Всемирной академии гуманитарных и естественных наук. Член «Совета мудрецов» Мюнхенской конференции по безопасности. Почетный профессор Шэньчжэньского университета (КНР) и Дипломатической академии МИД Российской Федерации. Почетный президент Казахстанского Совета по международным отношениям. Почетный декан Женевской школы дипломатии и международных отношений. По версии Русского биографического общества вошел в список лауреатов «Человек Года – 2018». В течение 13 лет возглавлял Федерацию настольного тенниса Казахстана.

Автор 10 книг по проблемам международных отношений.

Награжден многочисленными государственными наградами Республики Казахстан и зарубежных стран, а также памятными медалями.

Сторонник здорового образа жизни. Увлекается чтением художественной, политической и мемуарной литературы.

Разведён.

Сын - Тимур.