Karl Hermann Frank nació en Karlsbad, Austria-Hungría (actualmente Karlovy Vary, República Checa) en 1898. Mientras estudiaba en la Universidad Carolina de Praga (Checoslovaquia), intentó alistarse en el ejército austrohúngaro durante la Primera Guerra Mundial, pero fue rechazado debido a una lesión ocular.
Durante los años de entreguerras, fue propietario de una librería y se unió a varias organizaciones de derecha. En 1919 se unió al Partido Nazi de los Sudetes. Se casó con su primera esposa Anna Müller en 1925; tendrían dos hijos juntos, Harald en 1926 y Gerhard en 1931. Contribuyó a la formación del Frente de la Patria Alemana de los Sudetes en 1933.
En 1935, el Frente de la Patria Alemana de los Sudetes pasó a llamarse Partido Alemán de los Sudetes, y Frank fue nombrado su líder adjunto; ese mismo año, fue elegido diputado del Parlamento checoslovaco.
En octubre de 1938, Alemania se anexionó la región de los Sudetes de Checoslovaquia, y Frank fue nombrado vicegobernador de la región. En noviembre de 1938, Heinrich Himmler le otorgó el rango de SS-Brigadeführer.
En 1939, fue ascendido al rango de SS-Gruppenführer y se le otorgaron los cargos simultáneos de Secretario de Estado del Protectorado del Reich de Bohemia y Moravia y de Jefe Superior de las SS y de la Policía del protectorado.
Como jefe de la policía en las tierras checas ocupadas por los alemanes, fue responsable de las detenciones y ejecuciones de opositores políticos al régimen nazi y de la deportación de judíos. En 1940 se divorció de Anna Müller; ese mismo año se casó con la médica Karola Blaschek, con la que tendría tres hijos, la hija Edda en 1941, el hijo Wolf-Dietrich en 1942 y la hija Holle-Sigrid en 1944.
Frank fue uno de los máximos responsables de las masacres de Lidice y Lezáky, cometidas como represalia por el asesinato de Reinhard Heydrich en mayo de 1942. En agosto de 1942 fue nombrado ministro del Reich para Bohemia y Moravia. En junio de 1943, fue ascendido al rango de SS-Obergruppenführer y fue nombrado General de Policía en Praga.
Durante el Levantamiento de Praga de abril-mayo de 1945, ordenó a la policía que disparara contra todo aquel que desobedeciera las órdenes. Frank se rindió al ejército estadounidense en Plzen (inglés y alemán: Pilsen) el 9 de mayo de 1945.
Fue juzgado en Praga entre marzo y abril de 1946 y fue declarado culpable de crímenes de guerra. Fue ejecutado en la horca mediante el método del poste (en alemán: Würgegalgen) en público ante una multitud de 5.000 personas en la prisión de Pankrác, en Praga, el 22 de mayo de 1946. Fue enterrado en una fosa anónima en el cementerio de Dáblice, en Praga.
