La respuesta a esta pregunta depende en gran medida de su exposición previa a las matemáticas; en particular, la respuesta será muy diferente dependiendo de si ha tenido o no cierta exposición a clases como el cálculo y el álgebra lineal.
Si ya ha visto dichos temas anteriormente, le recomendaría que estudie un buen libro de texto para formalizar su conocimiento de esos temas. Algunos buenos ejemplos incluyen el Álgebra Lineal de Axler Correcto y el Cálculo de Apostol. El primer libro le brindará un hermoso tratamiento del álgebra lineal desde el punto de vista abstracto, mientras que el segundo es un enfoque de cálculo lo suficientemente riguroso que lo ayudará a comenzar con las pruebas.
Si aún no ha alcanzado el nivel universitario de matemáticas, aún podría comenzar a aprender matemática formal al enseñarse a sí mismo la teoría de los números / grupos de primaria. Existen numerosos recursos en línea y en libros de texto que tratan estos temas, aunque seguramente obtendrá más de ellos una vez que regrese con una comprensión adecuada de álgebra lineal (formal) y análisis (cálculo).