что-то в интернете и то и другое встречается в контексте mathematical modeling , word-овский спелчекер говорит, что одна — правильно http://www.google.fr/search?hl=en&safe=off&client=firefox-a&rls=org.mozilla%3Aen-US%3Aofficial&q=%22mathematical+modelling&btnG=Search&meta= 459,000
http://www.google.fr/search?hl=en&safe=off&client=firefox-a&rls=org.mozilla%3Aen-US%3Aofficial&q=%22mathematical+modeling&btnG=Search&meta= 654,000