¿Deberíamos todos ser donantes de órganos por defecto?

No hay ninguna razón para que sea diferente al predeterminado. No se dan prioridades ni nada más a quienes no son donantes de órganos. No se sientan y esperan que mueras en lugar de tratarte porque quieren cosechar tus órganos.

Sus órganos son cosas que, con habilidad, pueden reemplazarse o usarse para otras cosas. Creo que Randall Munroe lo tiene muy bien aquí:
xkcd: Lego

Hay una excelente charla de TED en la que Dan Ariely discute la toma de decisiones. Si su objetivo es aumentar las donaciones de órganos, un programa de exclusión voluntaria es el único camino a seguir. Las personas son más propensas a elegir la opción predeterminada.
En mi opinión, la donación de órganos es maravillosa porque tiene el potencial de salvar su vida o la vida de un ser querido. Si estás muerto, ¿de qué te sirven tus órganos? Hacer que el programa se excluya aún le permite a las personas la libertad de conservar sus órganos si sus creencias religiosas entran en conflicto con él, por lo que también deberían ser felices.

Pase a las 5:00 en la charla para su breve pero interesante discusión sobre la opción de donación de órganos versus la exclusión voluntaria.

Me gustaría la opción de donar mis órganos solo a personas que son donantes de órganos (suponiendo que tengan buen juicio y que sean lo suficientemente mayores para decidir, por supuesto).

Aparte de eso: sí, de forma semántica. El cuerpo es solo materia, y por lo tanto no es importante en cualquier vida futura en la que elijas creer.