GNU Octave jest językiem wysokiego poziomu, przeznaczonym głównie do obliczeń numerycznych. Zapewnia wygodny interfejs wiersza poleceń do numerycznego rozwiązywania problemów liniowych i nieliniowych oraz do wykonywania innych eksperymentów numerycznych przy użyciu języka, który jest w większości kompatybilny z Matlabem. Może być również używany jako język zorientowany wsadowo.

Octave posiada rozbudowane narzędzia do rozwiązywania typowych problemów numerycznej algebry liniowej, znajdowania pierwiastków równań nieliniowych, całkowania funkcji zwyczajnych, manipulowania wielomianami oraz całkowania równań różniczkowych zwyczajnych i różniczkowo-algebraicznych. Można go łatwo rozszerzać i dostosowywać za pomocą funkcji zdefiniowanych przez użytkownika napisanych we własnym języku Octave lub przy użyciu dynamicznie ładowanych modułów napisanych w C++, C, Fortran lub innych językach.