lo mas normal es que ese motor a nivel de hardware no este buen configurado. es decir,
si se calienta , va a trompicones o mete mucho ruido y no es un problema mecanico que este interrumpiendo el deslizamiento suave del eje entonces seguramente lo que ocurre es que el driver del motor de pasos no este configurado con una subdivision de pasos alta por ejemplo mas de 128, y lo mas probable tambien es que los amperios seleccionados en el driver no esten seleccionados justo con los amperios que necesita el motor en sus especificaciones.
Asi mismo, si la fuente de alimentacion DC que estamos utilizando no tiene la suficiente intensidad en amperios necesaria segun se haya seleccionado en el driver y las necesidades del motor, entonces seria tambien un problema.
Asi pues, lo primero de todo revisar que el hardware es el adecuado en esos tres elementos, que no hay ningun impedimento mecanico en el eje y que la configuracion que se haga en el driver sea correcta intentando dejar al maximo posible la subdivision en micropasos puesto que esto dara mas suavidad y menos resonancia al motor, con lo que se evitara ruido y calentamiento del mismo.
Si todo eso esta bien entonces luego mira en mach3.
Suerte
Justo