La sensación que describes en tu vejiga es bastante común. No es una reacción alérgica. Además de ser un diurético, la cafeína aumenta la sensación de urgencia urinaria, es decir, una cantidad menor de orina en la vejiga es suficiente para estimular el impulso de orinar y la sensación es más intensa de lo que sería. Esto sucede porque la cafeína estimula directamente los músculos de la pared de la vejiga.
Le sucede a la mayoría de las personas, pero algunos son más sensibles que otros.
La cafeína también estimulará los músculos que recubren el intestino causando peristalsis rápida (y a menudo algo desorganizada) y, en consecuencia, diarrea. Esta tampoco es una respuesta alérgica.
Dicho esto, el café contiene numerosos compuestos además de cafeína y es teóricamente posible ser alérgico a algunos de ellos, aunque nunca he oído hablar de este tipo de casos.