Innerhalb einer Linienorganisation steht eine Arbeitsgruppe auf der hierarchisch untersten Ebene. Sie wird von einem Gruppenleiter geführt, der meist auch disziplinarische Führungsverantwortung für die Gruppenmitglieder hat.

In einer Projektorganisation kann eine Arbeitsgruppe auf allen hierarchischen Ebenen und auch hierarchieübergreifend definiert werden. Der projektbezogene Arbeitsauftrag wird meist als "Arbeitspaket" bezeichnet. Der Gruppenleiter (Arbeitspaketverantwortliche, Team-Manager) kann fachliches Weisungsrecht haben, aber auch eine rein koordinierende Tätigkeit ist möglich (Primus Inter Pares). Seine konkreten Befugnisse und Verantwortungen müssen im Arbeitsauftrag festgelegt werden.

In Projekten ist die Tätigkeit von Arbeitsgruppen üblicherweise zeitlich begrenzt bis zur Erfüllung ihres Arbeitsauftrags. Beständige Arbeitsgruppen haben in der Regel begleitende Dienstleistungsfunktionen (z.B. Projektbüro, Terminplanung, Qualitätsicherung). Eine Ad-hoc-Arbeitsgruppe oder Task Force dient zur schnellen Bearbeitung nicht vorgesehener Aufgaben, z.B. bei Eintreten eines Risikos.

Die Begriffe "Arbeitsgruppe" und "Team" werden meist synonym verwendet, sollten aber voneinander unterschieden werden. Kennzeichen eines Teams sollte die heterogene bzw. interdisziplinäre Zusammensetzung zur Erreichung des Projektziels sein, während die Arbeitsgruppe eher homogen zusammengesetzt und auf die unmittelbare Ausführung der Aufgaben ausgerichtet ist. So werden innerhalb eines Projektteams Arbeitsgruppen eingerichtet.

Arbeitsgruppen innerhalb eines Projekts entsprechen weitgehend dem Konzept der teilautonomen Arbeitsgruppe in der Produktion (Lean Production), bei der die Gruppenmitglieder ihre Arbeitsabläufe selbstbestimmt gestalten.