Вихованець групи підготовки ФК «Шахтар» (тренер Олександр Іванович Пожидаєв). За основний склад «Шахтаря» грав з 1997 по 2007 рік. За цей час став чемпіоном України 2002, 2005 та 2006 років, срібним призером чемпіонатів України 1999, 2000 та 2001 років, а також володарем Кубка України 2001 і 2002 та Суперкубка України 2005. Крім того, в сезоні 2000/01 став найкращим бомбардиром чемпіонату України з 21 голом та кубку України (6 голів). Після того ще два сезони поспіль Андрій з 5 м'ячами ставав найкращим бомбардиром національного кубку. Всього за «гірників» провів в усіх турнірах 319 матчів і забив 114 голів, завдяки чому став членом Клубу бомбардирів Олега Блохіна.
Влітку 2007 року перейшов в дніпровський «Дніпро», сума трансферу склала 2,5 мільйонів євро. У сезоні 2009/10 грав за прем'єр-ліговий київський«Арсенал» на правах оренди[1]. 30 квітня2010 року, відзначившись забитим голом у грі проти полтавської «Ворскли», довів лік м'ячам, забитим у вищому дивізіоні чемпіонату України, до 100 та увійшов таким чином до символічного Клубу Сергія Реброва.
На початку 2013 року перейшов у першоліговий«Геліос» з Харкова на правах оренди у зв'язку з тим, що у нього був конфлікт з головним тренером «Металіста» Мироном Маркевичем[3]. У тому ж 2013 році контракт з «Металістом» закінчився і Воробей став вільним агентом. Всього за кар'єри на професійному клубному рівні зіграв у 348 матчах і забив 141 гол. Серед них в чемпіонатах України провів 320 матчів, в яких забив 105 голів, в кубку України зіграв 49 ігор і забив 23 голи, а у єврокубках зіграв 67 ігор, забив 13 голів. Також зіграв у двох перших розіграшах Суперкубка України, проте голів не забивав