Projekt o nazwie HOLY TOY wystartował 1982 roku. Założony przez Andrzeja Dziubka był jego swoistą ucieczką. Po blisko dwóch latach olbrzymiej popularności DE PRESS, całego tego zgiełku medialnego, nieustannej promocji, koncertów i olbrzymich oczekiwań fanów – Andrzej czuł się zmęczony (zwłaszcza, że nie jest typem celebryty) i postanowił odpocząć od rocka. Dodatkowo nasz bohater uznał, że muzyka rockowa go ogranicza, że jest jak się wyraził „kwadratowa” i poszedł tam gdzie poczuł się wolny. Industrialne , elektroniczne, pełne eksperymentów brzmienie to było to co grało w duszy Dziubkowi. Ta miłość trwała do końca lat 80-tych.
Działalność tej formacji obfituje w niekonwencjonalne przedsięwzięcia . Wydanie Warszawy /na niej m.in. Wojtek i Marmur/ jest pretekstem do performance-u , którego kulminacyjnym momentem jest spuszczenie przez dźwig fortepianu /C.K.Norwid – Fortepian Chopina/.
Wraz z wydaniem przez niezależną firmę UNITON Warszawy, ukazują się dwa maxisingle. Perfect Day /J.Leckie/ nie robi kariery głównie ze względu na mix. Natomiast drugi Lada-Nada jest przyjęty przez krytyków entuzjastycznie. W tygodniku „Sound” dostaje pięć „*” i jest nominowany na singiel tygodnia. Cała płyta jest również oceniona bardzo wysoko. W Londynie HOLY TOY okrzyknięto pionierami nowego brzmienia. Zespół zostaje zaproszony na festiwal w Leeds, a następnie na tournee po Europie. Wydaje kolejne albumy Panzer And Rabbits, znów bardzo dobrze przyjęty przez krytyków i Czemu Nie W Chórze – przyjęty chłodniej w Anglii a entuzjastycznie w Niemczech.
W 1985 r. HOLY TOY przyjeżdża na koncerty do Polski. Zespołowi zabrania się wyświetlania przewidzianych do projekcji w czasie koncertu filmów m.in. znalezionego na śmietniku o obozie koncentracyjnym w północnej Norwegii i filmów rosyjskich, w tym autorstwa Eisensteina.
W tym samym roku ukazuje się następna płyta Pact Of Fact a zespół koncertuje w Niemczech m.in. z Nickiem Cavem i SWANS.
Od 1987 r. zespół prawie nie egzystuje. Wydaje składanke Yes & No, która jest soundtrackiem do filmu „X” a w 1989 r. płytę Kupię Międzydystansową Rakietę Do Celów Artystycznych. W roku ’89 dochodzi jeszcze do sesji nagraniowej w Warszawie w studio „CCS” z udziałem polskich muzyków m.in. Tomasza Stańki i Andrzeja Nowickiego. Utwory z tej sesji zostały opublikowane dopiero w 1994 roku na płycie Dokument.
HOLY TOY wznowił działalność w 2011 roku jako duet Dziubek – Lars Pedersen i co kilka lat pojawia się nowa płyta.
