No tengo conocimientos específicos sobre publicaciones académicas, pero creo que es lo mismo que cualquier otra forma de publicación. Los editores se acercarían a los autores bien conocidos en este campo, pero los autores menos conocidos tendrán que presentar primero un manuscrito y luego presentarlo a los editores con la esperanza de que adopten el libro. Dicho esto, es probable que la mayoría de los autores no comiencen escribiendo un libro de texto completo, sino que son notados por sus artículos en revistas académicas y cualquier otro artículo que puedan haber publicado. Estoy seguro de que las redes también desempeñan un papel, es decir, si eres amigo del editor, es probable que tengas más posibilidades de publicar (justo o no).
Dado que los textos de matemáticas de posgrado son generalmente temas de nicho, supongo que un editor solo tendría un pequeño número de libros sobre un tema determinado, por lo que la decisión de qué libro patrocinar se reduce a qué libro decidieron publicar.