Джордж – один из основателей «Аквариума», в котором он играл до 1975 года, был первым ударником и автором многих текстов группы. В 1973 году Гребенщиков и Гуницкий записали альбом «Искушение Святого Аквариума». Чуть позже – мини-альбом «Верблюд-архитектор».

С начала 1970-х писал пьесы. В 1974 году «Метаморфозы положительного героя» были поставлены Эриком Горошевским. Пьесы «Смерть безбилетника» и «До самых высот» ставились в «Театре Абсурда» Марка Гиндина и других театрах. «Практика частных явлений» поставлена в Пензе, в центре Всеволода Мейерхольда. Весной 2004-го Джордж сочинил одноактную пьесу «Совсем не в себе».

Джордж Гуницкий является автором книг стихов «Крюкообразность – мой девиз» (2000), «Берег слова» (2009), вышедших в издательстве «Красный матрос», повестей «Так начинался АКВАРИУМ» («Амфора», 2008), «Рассказов о Сашке» (2007, http://www.aquarium.ru/misc/prose_george01.html) и сборника пьес «Метаморфозы положительного героя» («Красный матрос», 1996). Кроме того, в 2005-м в Челябинске был выпущен двухтомник. Том I: «Записки Старого рокера» (статьи о музыке разных лет, интервью и т.п.; «Записки…»; переизданы «Амфорой» в 2007-м). Том II: «Практика частных явлений» (стихи и пьесы). Стихи Джорджа публиковались в различных поэтических сборниках – «Поэзия русского рока» и в других, в 2009 его стихотворения были напечатаны в журнале «Зинзивер», он стал одним из лауреатов этого журнала за 2009 год в номинации «Поэзия».

На его тексты Борис Гребенщиков написал более 35 песен. В 2000-ом был издан альбом «Пятиугольный грех», в котором все песни были написаны Борисом Гребенщиковым, Максимом Леонидовым, Александром Васильевым, Вячеславом Бутусовым на стихи Джорджа Гуницкого.