Su nombre perteneció en su día a un solo edificio, una posada de mercaderes levantada por Jaharkas al-Khalili, caballerizo mayor del sultán Barquq, durante el primer reinado de ese sultán (1382–1389); con los siglos se extendió a todo el barrio. El mercado atrae tanto a visitantes extranjeros como a egipcios, y sus bordes se confunden con las animadas calles comerciales que lo rodean.

El terreno tiene un pasado real. En época fatimí, aquí estaba el extremo sur del gran palacio oriental de los califas, y al-Khalili construyó su posada sobre el lugar de su enterramiento, la Tumba del Azafrán, que derribó. Cuando Saladino abrió la antigua ciudad palaciega a la gente común después de 1171, la calle principal, la Qasaba, se llenó de mercados, mezquitas y tumbas reales, y cuando se quedó sin espacio los comerciantes se desplazaron hacia el este, hacia la mezquita de al-Azhar. Allí los mamelucos construyeron khans y wikalas: altos caravasares en torno a un patio, con almacenes para las mercancías de los comerciantes, alojamiento en el piso de arriba y tiendas que daban a la calle. A finales del siglo XV el barrio era el centro del comercio exterior de El Cairo.

Los monumentos más antiguos que siguen en pie datan del sultán al-Ghuri, que reconstruyó el barrio en 1511. A lo largo de la calle llamada Sikkat al-Badistan se conservan las dos puertas de piedra tallada de su mercado cubierto: Bab al-Badistan al oeste y Bab al-Ghuri, con su techo abovedado, al este. Frente a Bab al-Ghuri se alza lo que queda de la Wikala al-Qutn, su fachada y su portada, la posada que sustituyó al khan original de al-Khalili, y la Wikala de Sulayman Agha al-Silahdar, construida en 1837 y conservada en parte.

Hoy las tiendas venden sobre todo recuerdos, antigüedades y joyas, mientras que el mercado de los orfebres, al lado, sigue atendiendo a compradores locales. Muchos talleres artesanos siguen trabajando en patios y pisos altos, donde fabrican parte de los productos que se venden abajo. Pequeños cafés tradicionales sirven café árabe y shisha entre los puestos y los vendedores de comida callejera; el más conocido es el El-Fishawy Café, fundado en 1773. La parte oriental, edificada a finales de la década de 1930 con bloques de tiendas y viviendas, es donde pasan más tiempo la mayoría de los turistas.

Khan el-Khalili es fácil de combinar con otros lugares de El Cairo islámico. El santuario y la mezquita de al-Hussein lo bordean, la mezquita de Al-Azhar y su universidad están cerca, y la monumental calle de Bayn al-Qasrayn queda justo al noroeste. El bazar es también el escenario de la novela de Naguib Mahfouz El callejón de los milagros.