AM>Но даже в других культурах же есть такое. Down the street, например, не обязательно вниз, и downtown тоже не обязательно внизу.
AM>Pretty woman walkin' down the street...

вроде как изначальный смысл такой:
up the street — в направлении увеличения номеров зданий
down the street — в направлении уменьшения номеров зданий
(в частности, downtown — там, где начинается нумерация на всех ведущих туда/оттуда улицах, что логично, т.к. исторически город разрастался из центра наружу)

но даже англоязычные далеко не всегда это так понимают/применяют (кажется, для большинства тупо нет никакой разницы, типа оба — синонимы "along")
а у нас как-то вообще не принято на номера домов внимание обращать (если только не ищешь конкретный дом по номеру)

кстати, многие города образовывались у слияния двух рек (или хотя бы просто на берегах реки/водоёма), т.е. в относительно низкой точке рельефа, и для большинства радиальных улиц (ведущих в центр/из центра) топографическое "вверх"/"вниз" (uphill/downhill) должно соответствовать описанному выше "нумерационному".
(p.s. добавляя последний абзац, не заметил, что Stanislaw K уже написал об этом раньше меня)