Προβλήματα
Εάν η αρχική προσέγγιση είναι πλησίον της λύσης, τότε η μέθοδος του Newton έχει ταχεία τετραγωνική σύγκλιση.
Πολλές φορές όμως το γραμμικό σύστημα δεν έχει λύση ή παράγει λανθασμένα βήματα όταν πχ ο πίνακας έχει κάποια ιδιοτιμή κοντά στο μηδέν.
Ο βασικός αλγόριθμος χρειάζεται τροποποίηση για να είναι αποτελεσματικός.
Πολυδιάστατη Ελαχιστοποίηση