Debe usar pinzas (los alicates también podrían funcionar (limpiarlos de antemano, por si acaso) podría funcionar también) para quitarlo y luego tener agua corriente sobre él durante unos minutos (el agua corriente también es el tratamiento para las quemaduras). Deberías haberlo quitado directamente después de que te piquen. Si aún duele uno o dos días después de que lo quita, consulte a un médico.
(Nunca me ha picado una abeja (una vez me picaron cuatro veces dos avispas). No recuerdo si ese es el tratamiento exacto, aunque el agua corriente no me duele (por lo general).