Sein Name gehörte einst einem einzigen Gebäude, einer Herberge für Kaufleute, die Jaharkas al-Khalili, Stallmeister von Sultan Barquq, während der ersten Regierungszeit dieses Sultans (1382–1389) errichten ließ; im Lauf der Jahrhunderte ging er auf das ganze Viertel über. Der Markt zieht ausländische Besucher ebenso an wie Ägypter, und seine Ränder gehen fließend in die belebten Einkaufsstraßen der Umgebung über.

Der Boden hat eine königliche Vergangenheit. In fatimidischer Zeit lag hier das südliche Ende des großen Ostpalasts der Kalifen, und al-Khalili baute seine Herberge an der Stelle ihrer Grabstätte, des Safrangrabs, das er abreißen ließ. Nachdem Saladin die alte Palaststadt nach 1171 für einfache Leute geöffnet hatte, füllte sich die Hauptstraße, die Qasaba, mit Märkten, Moscheen und Königsgräbern, und als dort kein Platz mehr war, zogen die Händler nach Osten in Richtung der al-Azhar-Moschee. Dort bauten die Mamluken Khane und Wikalas: hohe Karawansereien um einen Innenhof, mit Lagerräumen für die Waren der Kaufleute, Unterkünften im Obergeschoss und Läden zur Straße. Im späten 15. Jahrhundert war das Viertel das Zentrum des Kairoer Außenhandels.

Die ältesten noch erhaltenen Bauten stammen von Sultan al-Ghuri, der das Viertel 1511 neu bauen ließ. An der Sikkat al-Badistan genannten Gasse sind die beiden gemeißelten Steintore seines überdachten Marktes erhalten: Bab al-Badistan im Westen und Bab al-Ghuri mit seiner gewölbten Decke im Osten. Gegenüber dem Bab al-Ghuri stehen die Reste der Wikala al-Qutn, ihre Fassade und ihr Portal, die Herberge, die den ursprünglichen Khan des al-Khalili ersetzte, sowie die teilweise erhaltene, 1837 erbaute Wikala des Sulayman Agha al-Silahdar.

Heute verkaufen die Läden vor allem Souvenirs, Antiquitäten und Schmuck, während der benachbarte Goldschmiedemarkt weiterhin einheimische Käufer bedient. Viele Handwerksbetriebe arbeiten noch in Innenhöfen und Obergeschossen und stellen einen Teil der unten verkauften Waren her. Kleine, traditionelle Kaffeehäuser servieren zwischen Ständen und Garküchen arabischen Kaffee und Shisha; das bekannteste ist das 1773 gegründete El-Fishawy Café. Der östliche Teil, Ende der 1930er-Jahre mit Laden- und Wohnblöcken bebaut, ist der Bereich, in dem sich die meisten Touristen aufhalten.

Khan el-Khalili lässt sich leicht mit anderen Sehenswürdigkeiten des islamischen Kairo verbinden. Schrein und Moschee al-Hussein grenzen daran, die al-Azhar-Moschee und ihre Universität liegen ganz nah, und die monumentale Straße Bayn al-Qasrayn beginnt gleich nordwestlich. Der Basar ist auch Schauplatz von Nagib Machfus' Roman „Die Midaq-Gasse“.