Die nächsten Quellen stammen aus dem Jahr 1012. In diesem soll eine Synagoge in Köln erbaut wurden sein. Allerdings versichern archäologische Ausgrabungen, dass bereits im 9. Jahrhundert eine Synagoge in Köln errichtet wurde. Spätestens ab dem Mittelalter ist belegt, dass Kölner Juden sich in direkter Nähe zum Rathaus ansiedelten. Denn 1183 wies der Erzbischof den Juden einen eigenen Teil der Stadt zu, in dem sie leben konnten. 

1270 tauchte die sogenannte Kölner Mikwe, ein Ritualbad der Judengemeinde von Köln, das erste Mal in den Urkunden auf.  Die Kölner Mikwe, dessen Bauphase vermutlich bereits im 8. Jahrhundert begann, befand sich auf dem heutigen Rathausplatz und stellte einen zentralen Ort des Gemeindelebens dar. Sie gehörte zu den bedeutendsten Gebäuden des mittelalterlichen Judenviertels und war südwestlich neben der Synagoge gelegen. Als weitere wichtige Bauten zählten der Waschbrunnen, die Bäckerei, das Tanz- und Spielhaus sowie das Hospital. Das Viertel bildete das Herz der Stadt und konnte seit 1300 mit eigenen Toren nach außen geschlossen werden. Es war ausschließlich den jüdischen  Stadtbewohnern vorbehalten.

Im 13. und 14. Jahrhundert galt Köln als der geistliche Mittelpunkt des deutschen Judentums. Schon zu dieser Zeit litt das jüdische Viertel mehrfach unter ersten Aufständen und Vergeltungsmaßnahmen. Als 1348/ 49 in ganz Europa die Pest ausbrach, eskalierte die Situation und gab Anlass für neue Verfolgungen. Denn die jüdischen Bürger wurden für die Epidemie verantwortlich gemacht. So kam es im August 1348 zum so genannten „Judenbrand”, das Viertel  wurde gestürmt und die Anwohner niedergemetzelt oder vertrieben. Nur wenige haben überlebt. 1372 wurde es vermögenden Juden wieder gestattet, sich in Köln anzusiedeln. Nach Auseinandersetzungen im Jahre 1423 setzte der Rat schließlich eine Jahresfrist und hob die Aufenthaltsgenehmigung auf. 1424 wurde die jüdische Bevölkerung somit der Stadt „up ewige tzyden” (auf alle Zeiten) verwiesen. Die jüdischen Kultbauten wurden umfunktioniert oder zerstört. Die Synagoge beispielsweise wurde nach einem Umbau im September 1426 als Ratskapelle mit dem Namen St. Maria in Jerusalem eingeweiht. 

Erst Ende des 18. Jahrhunderts erhält das erste jüdische Ehepaar von der französischen Stadtverwaltung die Genehmigung, in Köln wohnhaft zu werden. 1801 entstand die erste jüdische Gemeinde der Neuzeit.  Das alte Viertel jedoch geriet in Vergessenheit und wurde erst im 20. Jahrhundert bei archäologischen Ausgrabungen aufgespürt.