private bool IsNumber(string s)
{
    return Regex.IsMatch(s, @"[+-]?\d+(\.\d+)?", RegexOptions.Compiled);
}

s = "p1234", а функция возвращает true. Почему так?

Здравствуйте, s_aa, Вы писали:

_>

_>private bool IsNumber(string s)
_>{
_>    return Regex.IsMatch(s, @"[+-]?\d+(\.\d+)?", RegexOptions.Compiled);
_>}
_>

_>s = "p1234", а функция возвращает true. Почему так?

Вы не указали, что соответствие должно обнаруживаться в начеле и в конце строки (^ и $ соответственно).
Правильный шаблон:

"^[+-]?\d+(\.\d+)?$"