La mezquita fue acabada en el s. XII, bajo el mandato de Yakub el-Mansur, el tercer soberano almohade. Debe su nombre a los libreros, los koutoubiyines,  que tenían sus tiendas junto a ella y vendían los textos sagrados a los estudiantes del Corán. 

Según la leyenda, las tres bolas rojas doradas que brillan en lo más alto, a más de setenta metros del suelo, están hechas con el metal procedente de las joyas de la sultana Zineb, que quería que le fuera perdonado así su quebrantamiento del  ayuno durante el Ramadán. Las leyendas son a veces más hermosas que la realidad, púes las bolas son de cobre. Pero no importa, la Koutoubia, que comparte con Djemaa el-Fna el título de emblema de Marrakech, está considerada, con razón, una auténtica joya de la arquitectura arábigo-andaluza. 

Su minarete cuadrado sobriamente adornado con ojivas de piedra y dos hileras de azulejos verdes, se yergue por encima de las rosaledas y los huertos de naranjos entre los que dormitan los gatos tumbados al sol. En la cúspide, al lado de las bolas doradas, una gran escuadra de madera que evoca a los ojos occidentales la siniestra silueta de una horca, no tiene otra razón de ser que indicar la dirección de La Meca (este sureste), hacia la que se vuelven los fieles cinco veces al día para orar.  El visitante no musulmán solo verá esta, ya que como todos los recintos religiosos del país (ha excepción de la mezquita de Hassan II en Casablanca), tienen el acceso prohibido.