Am 16. Mai 2004 entschied das Volk über das Steuerpaket. Insbesondere aufgrund der befürchteten Einbussen bei der Wohneigentumsbesteuerung sprachen sich neben den elf Kantonen (BS, BE, GL, GR, JU, OW, SG, SH, SO, VD, VS), welche erstmals seit 1874 das Standesreferendum ergriffen hatten, auch neun weitere für die Ablehnung der Vorlage aus. Linke und Grüne, welche ebenfalls das Referendum ergriffen hatten, Gewerkschaften und der Schweizerische Mieterverband gaben die Nein-Parole heraus. Zur Befürworterseite zählten die FDP und die SVP sowie die Wirtschafts- und Arbeitgeberverbände und der Schweizerische Hauseigentümerverband. Auch die CVP befürwortete das Steuerpaket, allerdings hatten viele Kantonalsektionen die Nein-Parole herausgegeben.

Im Abstimmungskampf, der von beiden Seiten sehr intensiv und emotional geführt wurde, waren die Fronten von Anbeginn klar. Die drei Bundesratsparteien CVP, FDP und SP sowie die Grünen engagierten sich in einem gemeinsamen Abstimmungskomitee gegen die Initiative. Sie fanden die Unterstützung von rund 20 gesamtschweizerischen Organisationen aus den Bereichen Medizin, Drogen, Sozialarbeit, Kirche und Jugendfragen, die sich in einer Nationalen Arbeitsgemeinschaft Suchtpolitik (NAS) zusammenschlossen, sowie die praktisch einhellige Gefolgschaft aller Printmedien, auch jener aus der Romandie. Mehrere Kantons- und Stadtregierungen, die für gewöhnlich keine Empfehlungen für eidgenössische Urnengänge abgeben, sprachen sich ebenfalls gegen die Initiative aus, unter anderem jene in den besonders von der Drogenproblematik betroffenen Kantonen Basel-Stadt, Bern, Genf und Zürich. Ihnen schloss sich der 1996 zum Zweck einer intensiveren drogenpolitischen Koordination gebildete Nationale Drogenausschuss von Bund, Kantonen und Städten an. Der Bundesrat seinerseits eröffnete seinen Abstimmungskampf viel früher als gewöhnlich. In ungewohnt scharfer Weise bezeichnete Bundesrätin Dreifuss die Ziele der Initiative als unrealistisch, unwirksam und unmenschlich; eine Annahme der Initiative hätte für die eigentlichen Opfer, die Drogensüchtigen, verheerende Folgen und würde dazu führen, dass weiterhin die (noch) nicht ausstiegswilligen Konsumenten härter bekämpft würden als die eigentlichen Profiteure einer repressiven Drogenpolitik, nämlich die Drogenmafia.