Das sind dann wohl Rechenungenauigkeiten. Die Werte liegen auch meist zwischen -1 und +1, je nachdem welche Transformationen ich vorher auf die Vertices anwende. Nur manchmal schlägt der z-Wert aus mir nicht ersichtlichen Gründen deutlich aus...

Wäre eigentlich kein Problem, weil es die z-Komponente im Viewport ja nicht gibt und ich sie somit auch nicht anzeigen müsste. Ich hab aber festgestellt, dass die x- und y-Werte auch nicht ganz korrekt sind. Schaut man gerade auf das Objekt (ein Quadrat), stimmen sie noch auf einen Pixel genau, je mehr ich rotiere, skaliere oder in z-Richtung verschiebe, desto größer wird aber der Fehler. Manchmal kommen auch negative Werte raus, obwohl der Vertex noch im sichtbaren Bereich ist.
Was für Ungenauigkeiten können denn daran schuld sein, dass meine Werte teilweise so stark von den wirklichen Viewport-Koordinaten abweichen?


EDIT: Das Problem mit den ungenauen Viewport-Koordinaten hatte mit gluProject überhaupt nichts zu tun, sondern mit einem Fehler bei der Ausgabe der Werte. Damit wäre ich hier dann fertig. Danke an alle, die geholfen haben.