The most likely issue is that the SS is outputting an un-smoothed pulse train and the VFD is responding mainly to the maximum value.  Do you have an oscilloscope to check?  Does your VFD datasheet give a value for the input impedance of the 10V input?

Ein Osziloskop könnte ich besorgen, Datenblatt von meinem FU gibt keinen Impedanz Wert für den 0-10V Signal.

I have had a look at the ESS documentation and I don't think it has a 0-10V output.  It does have two parallel port outputs, do you have a separate breakout board?

Ja, habe ich am Anfang geschrieben, hier noch mal das Bild und die 0-10V Ausgabe ist rot markiert. Ich suche morgen noch den Schaltplan raus, wenn er dabei ist.

auf der Seite, wo ich meine CNC-Schnittstelle gekauft habe (https://einfach-cnc.de/wp-content/uploads/Handbuch_CNC-Schnittstelle_einfach.pdf) ist meine Platine nicht mehr drin, eine neue Version davon wird jetzt verkauft und die Dokumentation davon ist jetzt aber genauer, als bei meiner - die Erklärung für Ansteuerung 0-10V ist detalierter. Wenn das sich nicht geändert hat werde ich morgen die beschriebene Einstellungen für diese neuere Karte bei mir probieren. Genau das hat mir damals der Verkäufer Hr. Selig nicht erklären wollen, oder können.

Also habe das noch mal durchprobiert wie oben empfohlen mit der Frequenz 50 und dann noch mit Frequenz 100 wie ind Beschreibung aus dem link von mir oben. Funktioniert beides nicht. Wenn ich weiter hoch gehe, zum Beispiel auf 400 Hz, dann dreht sich die Spindel, aber viel langsammer, als eingegeben. Etwa 8000 statt 24000. Am Ausgang 0-10V messe ich 3V mit dem Multimeter. Ein Osciloskop habe ich noch nicht angeschlossen, habe das noch vor. Und bei dieser Einstellung lässt sich die Drehzahl nicht mehr ändern über andere Drehzahlangaben im Programm, oder durch die Softkeys in Mach 3.

Habe natürlich auch mit weiter oben empfohlenen 25 Hz getestet - gleiches Ergebniss

Habe Osziloscop angeschlossen, bekomme aber kein sinnvolles Bild. Um Osciloskop zu prüfen habe ich andere Signal (von einem Signalgenerator) angeschlossen - da habe ich ein vernünftiges Bild, das heißt OSZI ist i.O. und ich kann ihn bedienen. Bei meiner Schaltung sehe ich nur ein Rauschen. Auch bei der Einsteuulung mit Step/Dir, die eigentlich falsch ist, aber bei der Spindel sich auch dreht - auch da sehe ich nichts ausser Rauschen.

Have you set the trigger up on the scope to get a stable display?  Is the ground connected?

ja, habe ich. Habe wie gesagt auch die Einstellungen und Funktionen der Tasten am Oszi mit einer andere Signalquelle gestestet und dort hat es alles funktioniert und Anzeige war gut. Kann ich irgendwie testen was am Pin 17 Port 2 meiner ESS rauskommt? Weil das ist ist so wie ich verstehe die Signalquelle für meine 0-10V Signal, oder?