Nach dem Krieg sei seine Familie bitterarm gewesen, sagte der Architekt, der unter anderem den aktuellen Neubau des Medienkonzerns Axel Springer in Berlin entworfen hat. "Meine kindliche Vorstellung von Luxus war entsprechend bescheiden, und das ist bis heute so geblieben. Zu meinen grossartigsten Vergnügungen gehört es, öffentliche Schwimmbäder zu besuchen, was keine teure Angelegenheit ist", erzählte Koolhaas.

Es sei ein "Privileg", zwischen Bedürfnis und Wunsch unterscheiden zu können, erklärte Koolhaas weiter. "Der Mangel an Mangel, der heute herrscht, macht Menschen zu flatterhaften, reizsüchtigen Wesen, die vor lauter Wunscherfüllungsversuchen zu nichts Substanziellem kommen." Wenn er sich seine Kinder und Enkel ansehe, tue es ihm leid, dass diese nie ähnliche Erfahrungen gemacht hätten wie er.

In der Schweiz hat Rem Koohlhaas nicht viel gebaut. Er entwarf zwar für den Flughafen Zürich, die Uno in Genf und das Kunstmuseum in Basel, aber nichts davon gelangte zur Ausführung. Der Umbau des Hotels "Furkablick" 1988 ist seine einzige in der Schweiz realisierte Arbeit.