Konstantin Konstantinovich Rokossovsky nació en Velikie Luki, en el norte de Rusia, hijo de un conductor de locomotoras polaco. Tras crecer en Varsovia, Polonia, quedó huérfano y se convirtió en cantero durante su adolescencia.
Alto y rubio, fue reclutado en el ejército ruso en 1914, alistándose en el 5º de Dragones de Kargopol. En 1917 se unió a las fuerzas bolcheviques durante la Revolución Rusa y fue condecorado dos veces con la Orden de la Bandera Roja durante la guerra civil. Estudió en la Academia Militar de Frunze después de la Primera Guerra Mundial y llegó a ser comandante superior de caballería.
En 1919 se unió al Partido Comunista. En la década de 1920, sirvió en Mongolia y China, adquiriendo experiencia como comandante de tanques. En 1939, fue apartado de su puesto durante la Gran Purga de Iósif Stalin, acusado de ser un espía polaco y condenado a muerte. Sin embargo, regresó al ejército en 1940, tras ser considerado rehabilitado, aunque probablemente fue porque su liderazgo era necesario para la guerra.
En julio de 1941, las tropas alemanas penetraron en territorio ruso durante la Operación Barbarroja. Konstantin Rokossovsky se convirtió en comandante del 4º Ejército en Smolensk. Se distinguió al frente del 16º Ejército durante la defensa de Moscú y Stalingrado.
En Stalingrado, al mando del Frente del Don, sus tropas contraatacaron con éxito al Sexto Ejército de Friedrich Paulus, lo que supuso una victoria estratégica al detener el avance alemán hacia el sur.
También contribuyó en gran medida al contraataque de las fuerzas alemanas en Kursk, deteniendo de nuevo una importante ofensiva alemana. Por tales hazañas se convirtió en el comandante del frente central, supervisando directamente la ofensiva rusa Operación Bagration. A mediados de 1944 recibió el título de Mariscal de la Unión Soviética.
Sin embargo, para consternación de Konstantin Rokossovsky, todas las victorias que había conseguido hasta entonces en la guerra se consiguieron bajo la bandera de Georgi Zhukov.
A pesar de tener la misma edad, casi la misma permanencia en el cargo y una trayectoria similar de ascensos, siempre se le había mantenido a las órdenes de Zhukov.
Fue en gran parte por designio de Stalin, manteniendo a los generales rusos compitiendo entre sí para ganarse el favor de Stalin. Sin embargo, Rokossovsky se negó en muchas ocasiones a seguir el juego de Stalin, discutiendo con el líder ruso sobre estrategia militar, lo que molestó a Stalin a pesar de las amenazas de éste de enviarlo de nuevo al corredor de la muerte.
A pesar de ser polaco, Konstantin Rokossovsky mantuvo sus órdenes de rechazar la ayuda al levantamiento de Varsovia contra las tropas de ocupación alemanas en agosto-octubre de 1944.
Aunque reconocía que el levantamiento perjudicaba seriamente la capacidad alemana de mantener la ciudad de Varsovia, los líderes del levantamiento buscaban una Polonia independiente, por lo que no despertó mucha simpatía en Moscú. El ejército de Rokossovsky se mantuvo en las orillas del Vístula y no entró en Varsovia hasta enero de 1945.
Después de Varsovia, Konstantin Rokossovsky comandó elementos del 2º Frente Bielorruso y derrotó a las tropas alemanas en Prusia Oriental y el norte de Polonia. En abril de 1945, sus tropas se unieron a las del mariscal de campo británico Bernard Montgomery en el norte de Alemania.
Después de la guerra, se estableció en Polonia un régimen comunista de influencia rusa, y en octubre de 1949 Rokossovsky fue nombrado Ministro de Defensa polaco. En 1952 se convirtió en vicepresidente del Consejo de Ministros de Polonia.
Aunque era polaco, se le consideraba un agente de Moscú, y fue presionado por la política para que dimitiera y regresara a Rusia. En julio de 1957, Nikita Jruschov le nombró viceministro de Defensa y comandante del Distrito Militar de Transcaucasia, y luego inspector jefe del Ministerio de Defensa en 1958.
Konstantin Rokossovsky falleció en 1968. Sus restos descansan en la Plaza Roja de Moscú.