In ähnlicher Weise wie Warteschlangen arbeiten interne oder externe Caches. Sie beruhen auf der Überlegung, daß die nachfolgende Befehls- oder Datenadresse meist in der Nähe der momentanen aktuellen Speicheradresse liegt. Da die Zugriffszeit des Arbeitsspeichers mit einer Größenordnung von 100 ns die Verarbeitungsgeschwindigkeit der zum Teil wesentlich schnelleren CPU negativ beeinflußt, ordnet man zwischen Prozessor und Arbeitsspeicher einen schnellen Zwischenspeicher aus statischem RAM (im Bereich wenige kByte-1 MByte) mit Zugriffszeiten bei 20-40 ns an. Mit speziellen Busoperationen (burst mode) ohne Wartezyklen wird bei einem Zugriff auf den Arbeitsspeicher gleichzeitig ein ganzer Datenblock von z.B. 16 aufeinanderfolgenden Bytes in den Cache geladen. Damit besteht eine gewisse Chance, daß der oder die nachfolgenden Befehle und/oder Daten direkt aus dem Cache in den Prozessor übertragen werden können. Im günstigen Falle stehen ganze Programmschleifen und die zugehörigen Daten im Cache.
Caches werden oft auch zwischen Arbeits- und externem Speicher (Festplatte) verwendet. Die Größe des Plattencaches kann einige 100 KByte betragen und beschleunigt die Plattenzugriffe zum Teil erheblich. Auch hier gelten die oben gemachten Überlegungen, daß Programmcode und Daten meist in der Reihenfolge benötigt werden, wie sie abgespeichert sind. Daher werden bei einem Plattenzugriff gleichzeitig mehrere aufeinanderfolgende Sektoren oder ganze Spuren in den Cache geladen. Durch Optimierung der Cacheverwaltung lassen sich Trefferquoten (cache hit rate) von zum Teil weit über 90% erzielen, wobei die Größe des Caches eine wichtige Rolle spielt. Im Bereich der Personal Computer wird oft bereits auf dem Plattencontroler ein Cache hardwaremäßig integriert.