X window systém byl původně navržen tak, aby pracoval trasnparentně napříč sítí. Jeden velký server může sám spouštět X-ové programy, které pak mohou být zobrazeny na různých klientských strojích kdekoliv na síti. Schopnost vzdáleně zobrazovat programy může být velkou výhodou. Hlavní nevýhodou tohoto síťového konceptu je to, že je méně bezpečný, než když spouštíte aplikace na lokálním počítači, a dále že pro svou práci zabírá velkou část síťového pásma. Toto diskutujeme dále v kapitole Exporting displays.
I když spouštíte X-ka na vašem vlastním stroji, stále se pohybujete v modelu klient/server. Serverem je ta část, která je specifická pro vaši videokartu. Když jste nastavovali X a říkali jim, jaký druh videokarty máte, říkali jste jim vlastně, jaký druh serverového programu mají používat. Klientskou část představují všecičky ostatní programy, které si pod X spouštíte. Jeden speciální klient, nazývaný window manager (správce oken), zodpovídá za vzhled a styl vašich X. Okenního správce probereme detaliněji později.
Prací správce oken je obsluhovat vykreslování oken s programy na obrazovce, a rovněž obsluhovat vstup z myši a klávesnice. První manažery dělali téměř jenom tohle a nic moc více. Dneší okenní správci jsou daleko komplikovanější a jsou přizpůsobovatelné a nastavovatelné jakýmkoliv představitelným způsobem. Nabízejí váší fantazii spoustu možností, které vám umožní mít vzhled desktopu odlišný od kohokoliv jiného.
Množství okenních manažerů znatelně odlišuje desktopy Linuxu od Windows. Pod Windows máte jedno základní okenní prostředí. Pod Linuxem můžete spouštět kterýkoliv z mnoha okenních správců; každý s odlišným vzhledem, jinými rysy a možnostmi. Někteří lidé by to označili za slabinu, protože tu není konzistetní vzhed. Nicméně většina uživatelů Linuxu to považuje za přednost, protože si můžete nakonfigurovat systém zcela tak, jak chcete.