Mange borgere er ifølge Hamburgs borgmester skuffede, efter at en folkeafstemning søndag slukkede OL-drømme.