Depende se é servidor de 64 bits real (Itanium, HP-UX 64, entre outros) ou a arquitetura mista x32-x64 (também conhecida como EMT, acho).
Se for a mista, a única diferença é a alocação de RAM, que permite acima de 2 GB.
Se for a 64 bits real, você terá outros ganhos em desempenho de CPU, mas nunca senti muita diferença.
As configurações principais para memória estão no arquivo /etc/sysctl.conf
O método mais confiável de se equiparar performance é o TEMPO. Veja a diferença de tempo de uma operação com alto consumo de CPU entre a máquina antiga e a máquina nova.