Beim überfliegen hätte ich folgende Optimierungsvorschläge.
Mutex für die Queue entfernen und zu einer lock-free-queue machen, dass erhöht den Durchsatz bei oversubscription und ist generell schneller.
Hier mal meine Multiple Producer-Single Consumer implementierung.
Header
Source
Erstelle für jeden Thread eine eigene Queue, die Page größe aligned ist(default 4096). Damit sorgst du dafür, dass der Kern, auf dem der Thread läuft, nicht beim einfügen und entfernen sich mit anderen Kernen synchronisieren muss, da sie auf den gleichen Speicherblock arbeiten.
Beim Benchmark empfehle ich dir den ersten Frame zu ignorieren und ein 51. hinzu zu fügen, um Cold-Cache Proleme aus zu klammern.

Zum Code kann ich sagen, einfach zu lesen

_________________
"Wer die Freiheit aufgibt um Sicherheit zu gewinnen, der wird am Ende beides verlieren"
Benjamin Franklin

Projekte: https://github.com/tak2004