Hallo

Verzweifelt musste ich feststellen, dass es leider keine Hilfsmethode wie gluUnproject zur Umwandlung von Mauskoordinaten auf dem Bildschirm in Objektkoordinaten für WebGL gibt. Diese Umwandlung benötige ich, um anschließend einen Point-In-Polygon-Test anzuwenden. Dieser Algorithmus soll mir sagen, ob ich das Objekt angeklickt habe oder nicht. Falls ja, möchte ich das ensprechende Objekt z.B. rotieren lassen oder farbig hervorheben.

Bevor ich jetzt mit komplizierten Berechnungen anfange, die Monate andauern würden, wollte ich fragen, ob es da eine einfache Lösung gibt, um von der Klickposition der Maus zu den ursprünglichen Modell-Koordinaten zu kommen?

Zu den Bildschirmkoordinaten komme ich ja durch die Viewing-Pipeline:
modelviewMatrix*Projektionsmatrix*Modellkoordinaten=Pixelkoordinaten.
Aber wie sieht der umgekehrte Weg aus?

grüße

Nicht ganz, eher so:


Für die Umkehrung musst du nur die Matrix invertieren:


Code zum invertieren einer Matrix findest du in meinen Projekten WGT und CoolMath.

_________________
Yeah!

ähm... ich kenn mich jetzt nicht wirklich mit WebGL aus, aber soqwas macht man gewöhnlich mit Color Picking http://wiki.delphigl.com/index.php/Tutorial_ColorPicking_Shader.

Das mit dem UnProject wäre wahrscheinlich ungenau genug, dass der Point in Polygon Test irgendwelchen Mist produziert. Mal abgesehen davon, dass ein Point in Polygon Test in 2D auch nicht schwerer ist, als in 3D.

mfg

sharkman

Liegt immer daran was man genau machen will. Wenn du nicht nur das Objekt sondern die genaue Position auf dem Objekt benötigst hilft dir Color-Picking alleine nicht viel. Beide Methoden haben ihre Berechtigung.

_________________
Yeah!

In den meisten Fällen werde ich wahrscheinlich nur ungenaue Positionen brauchen, hauptsache das Objekt ist ausgewählt. Es kann aber durchaus vorkommen, dass ich mal genauere Koordinaten brauche, auch jene genaue Position auf dem Objekt. Dann ist dieses manuelle "unproject" mit der inversen Pipeline-Matrix zu ungenau?


Ist das Ironie?



Habe jetzt den Lösungsansatz von Coolcat genommen, weil er auf dem ersten Blick ziemlich einfach scheint. Nachdem ich die Inverse der Gesamtmatrix bilde und sie mit den Pixelkoordinaten multipliziere, sehe ich erstmal vertraute Objekt-Koordinaten. Es scheint halbwegs funktioniert zu haben, trotz dem, dass die Koordinaten noch große Ungenauigkeiten haben. Was mich zudem irritiert: Wenn ich das Objekt nach links verschiebe, werden die berechneten Koordinaten des Objekt größer, obwohl sie hätten kleiner werden müssen. Das Gleiche gilt für die y-Richtung.

Vielleicht sieht jemand den Fehler, den ich mache?



die Viewport Matrix sieht so aus, mit w=viewportWidth,h=viewportHeight:



oder auch

Das Verfahren ist genauer...das ist das Problem
Beim rendern werden die Pixelkoordinaten nämlich gerundet (*), weil der Framebuffer ja nur ganzzahlige Pixelkoordinaten kennt. Da geht also Information verloren die durch die Rücktransformation nicht wiederherstellen kannst. Beim Color-Picking rechnest du aber vorwärts (nicht rückwärts) daher ist das Ergebnis auch das was der User sieht. Aber um die Position (und nicht nur das Objekt) zu kennen auf die der User geklickt hat musst du halt in irgendeiner Form zurückrechnen.


Cursor-Koordinaten spiegeln?


(*) Es gibt da gewisse Regeln die dafür sorgen die Grenzen zwischen Polygonen eindeutig sind. Aber vom Prinzip wird da gerundet. (Für mehr Infos das Stichwort Rasterization)

_________________
Yeah!

Lag nicht daran, sondern an einen Denkfehler von mir, d.h. es gab nie ein solches Problem^^

Doch nun habe ich wohl ein Problem, denn die Koordinaten zeigen sich unbeeindruckt von meinen Cursorpositionen: Die angezeigten Koordinaten entsprechen den Werten des letzten translates vor drawElements (siehe meinen Post vor diesem). Wenn ich nun die Mauskoordinaten von sagen 200,200 auf 0,0 verändere, tut sich bei den von mir umgewandelten Koordinaten fast gar nichts (obwohl sich die Werte deutlich ändern müssten!): nur die Nachkommastellen verändern sich signifikant. Doch sobald ich das Objekt rotiere oder verschiebe, sind starke Veränderungen bei den Koordinaten zu sehen. Auch die Viewportmatrix scheint in der Multiplikationskette nahezu nichts zu bewirken.

Ich habe nun schon viel rumprobiert und überlegt, weiß aber nicht woran es liegt..

An sich mache ich es doch richtig, oder?

Noch eine Frage: Lässt sich das von sharkman erwähnte color-picking (mit oder ohne shader) auch für webgl realisieren? Ich habe beim Durchlesen der Tutorials einige Dinge wie displayList gesehen, die es für webgl nicht gibt, deshalb frage ich..

Eigentlich schon.

@Color-picking: Color-picking heißt einfach nur das du jedes Objekt in einer eindeutigen Farbe renderst. Dann liest du die Farbe des Pixels unter dem Cursor aus und weißt somit welches Objekt angeklickt wurde. Ob du nun Displaylisten oder VBO benutzt ist egal.

_________________
Yeah!

gut, ich leg das Vorhaben erstmal auf Eis, es funktioniert einfach nicht. oder soll ich mal den ganzen code posten?


Dann will ich mal mit colorpicking rummachen.
Meine Hauptfrage hierbei: Wie weise ich dem Objekt eine "Zweitfarbe" im backbuffer zu ? sowas wie Mit readPixels() kann ich das ja wieder herauslesen. Diese Funktion scheint aber ziemlich ungenau zu sein, da ich manchmal sehr weit reinzoomen muss und mehrere Stellen des jeweiligen Objektes anklicken muss, damit er erkennt, dass es ein anderes Objekt ist (habe ein paar blaue Zylinder auf einigen grauen Platten). Oder liegt es daran, dass ich ein translate in z-Richtung um -7000 Einheiten habe?

Eine Möglichkeit wäre, die Objekte in ein Array zu schreiben, und dann den Index als Farbe zu benutzen. Ich glaube, so ähnlich stand das auch im Tutorial. Wichtig ist halt, dass eine Farbe nicht mehr als ein Objekt hat.
Also, keine Ahnung, woran das liegt. Wenn die Farbe so im Framebuffer (oder wo sie halt hinkommt) landet, wie sie festgelegt wurde, sollte das Problem eigentlich nicht auftreten. Beleuchtet wird da nix und so
Das mit dem Translate sollte eigentlich egal sein. Ändert schließlich nicht die Farbe

Hast recht. ich sollte mal anfangen, Smilies zu benutzen. Hoffentlich sind die Smilies da oben einigermaßen passend.
Und hoffentlich stimmt das, was ich geschrieben hab, dieses Mal.

mfg

sharkman

Das mit der ungenauigkeit kann daran liegen, das zwei unterschiedlich gefärbte Flächen sehr nach zusammenrücken (durch die entfernung) und das Pixel im Puffer quasi eine "Mischfarbe" darstellt.

Beim Colorpicking ist außerdem extrem wichig, dass keinerlei effekte aktiv sind, welche die Farbe beeinflussen. Also keine Texturen (klar) aber auch keine Beleuchtung, kein Fog oder der gleichen. Einfach platte farben, mehr nicht. Dann ist die selektion pixelgenau - außer, wie erwähnt in großer entfernung liegen Flächen zu nach zusammen und mischen sich im Pixel..

_________________
Blog: kevin-fleischer.de und fbaingermany.com

Pixelfarben von verschiedenen Polygonen werden nicht vermischt, zumindest solange nicht Antialias, ein Blue-Filter oder ähnliches aktiv ist.

_________________
Yeah!

Danke für eure Antworten!



Als Anfänger in Opengl/Webgl weiß ich leider immer noch nicht wie ich das konkret machen soll. Bisher habe ich jedem VBO so eine Farbe zugewiesen und zum direkten Färben verwendet:



Wo und wie kann ich hier eine weitere Farbe (oder was auch immer?) mitgeben, die unsichtbar bleibt und die ich dann später abfragen kann?





Meine Szene hat eine Beleuchtung. Heißt das jetzt, dass ich colorpicking nicht benutzen kann, oder kann ich die Zweitfarbe von den Effekten unberührt lassen?

Du benutzt doch WebGL, also auch Shader. Es empfiehlt sich einen extra Color-Picking-Shader zu benutzen. Die Farbe übernimmst du einfach aus einer uniform-Variable. Ein solcher Shader könnte z.B. wie folgt aussehen. Über useVertexColors kannst du wählen ob die Farbe pro Vertex sein soll oder global per uniform-Variable gesetzt wird. Ich nutze Pro-Vertex-Farben wenn z.B. einzelne Vertices selektiert werden sollen und die uniform-Variante wenn ganze Objekte ausgewählt werden.

(Edit: Die folgenden Shader sind natürlich nicht WebGL-geeignet...aber es geht ja nur um die Idee...)





Du musst einfach nur die Effekte beim Color-Picking abschalten und im Anschluss wieder einschalten

_________________
Yeah!

Okay, ich will erstmal nur jedes Objekt mit einer Farbe versehen. Daher übergebe ich die Farbe an eine uniform-Variable im vertexshader.
Und wie sage ich dem Ganzen, dass die Objekte in dieser zusätzlich übergebenen Farbe nicht gezeichnet werden sollen, sonden nur in einem zweiten Buffer (?) landen sollen?


.........vergebt mir mein Unwissen


sowas habe ich versucht, was aber nicht klappt, da die neue Farbe direkt gerendert wird: