Muy buenas:

Yo he tenido problemas similares: Pérdida de las consolas de texto, inestabilidad de las X al abrir varias sesiones gráficas simultáneamente e inestabilidad de las X al cambiar varias veces entre consola y sesión gráfica.

Yo tengo una GForce II y el problema estaba por un lado en la mala calidad del soporte AGP (problema del micro AMD Athlon, de la placa AMD Irongate o del kernel 2.2.20, realmente no lo sé) y de la incapacidad de los drivers gráficos de gestionar al mismo tiempo consolas con framebuffer y sesiones de las X.

Total, que para acabar con los problemas hice lo siguiente:

• Utilizar consolas sin framebuffer.
  
• Añadir el siguiente parámetro del kernel al gestor de arranque lilo: mem=nopentium. Resuelve los problemas con el AGP, que posiblemente se deban al micro AMD Athlon.
  
• Desactivar el uso del AGP y el de las 3D usando los drivers de las X en vez de los de NVidia. Esta es una medida extrema que es posible que no haga falta. Para jugar tengo otra configuración de las X con AGP y que tira de los drivers de Nvidia.
  

No sé cuál es tu caso concreto, espero que esto te sirva.

Aburiño.