Overholdelsen af Labor Day, der blev erklæret en national høytid i 1894, er normalt forbundet med den organiserede arbejderbevægelse i industrien end i landbruget. Men nogle af Amerikas mest markante arbejdsmilepæle har fundet sted på markerne, ikke fabrikkerne.
I kolonitiden blev det meste landbrugsarbejde forsynet med indrykkede tjenere fra Storbritannien - hvide mænd og kvinder, endda børn, som udvekslede fire til syv år hårdt arbejde for at komme til kolonierne. Nogle af disse arbejdere blev rekrutteret gennem lureri eller kraft og blev holdt og solgt som ejendom med få rettigheder. I et brev i samlingen i Virtual Jamestown (som også inkluderer en søgbar database med optegnelser over indrykkede tjenere), dateret 1623, beskriver Richard Frethorne sine forældre de elendige betingelser for hans servitude og beder dem om at købe hans frihed eller i det mindste sende mad . "Og når vi er syge, er der intet der trøster os; for siden jeg kom ud af skibet spiste jeg aldrig andet end ærter og loblollie, " skriver han. "Hvad angår hjorte eller hjertefisk, så jeg aldrig noget, siden jeg kom ind i dette land. Der er faktisk noget fugl, men vi har ikke lov til at gå og få det, men skal arbejde hårdt både tidligt og sent for et rod med vildsvin og en mundfuld brød og oksekød. "
I 1600'erne var indrykkede tjenere ikke rigelige nok til at give alt det nødvendige arbejde, så plantageejere vendte sig mod en endnu grusomere metode til rekruttering af arbejdsstyrke: den tvangsfangende fangst af afrikanere til at blive brugt som slaver. I stedet for en fast periode med slaveri havde disse uvillige indvandrere næsten intet løfte om eventuel frihed. I løbet af de næste to århundreder blev afrikanske slaver den primære kilde til landbrugsarbejde i kolonierne. Ifølge webstedet Colonial Williamsburg var 20 procent af befolkningen i de 13 kolonier af afrikansk afstamning, da de fleste var slaver.
Efterhånden som nationen voksede ud og ekspanderede mod vest, gjorde slaveri det også, især i det sydlige. Men afskaffelsesstemning fik også rod. I 1800-tallet havde der udviklet sig en dyb rift mellem staterne med slaveafhængige økonomier og dem, der var imod praksis. I 1808 forbød kongressen den internationale slavehandel, dog ikke selve slaveriets praksis - det tog yderligere 55 år og borgerkrigen.
Som Wall Street Journals Douglas A. Blackmon hævder i sin Pulitzer-prisvindende bog 2008 S lavery By Another Name, førte emancipationsproklamationen dog ikke til frihed for alle amerikanske sorte. Fra slutningen af borgerkrigen gennem 2. verdenskrig, skriver han, udholdt hundreder af tusinder af afroamerikanere nye former for ufrivillig servitude ved hjælp af lovlige smuthuller og diskriminerende føderale politikker. Nogle blev "vilkårligt arresteret, ramt med uhyrlige bøder og blev opkrævet for omkostningerne ved deres egne arrestationer", som de blev tvunget til at betale gennem arbejde i markerne og andre steder, og andre blev kidnappet og tvunget til det, Blackmon kalder neoslaveri.
Selv de afroamerikanere, der tilsyneladende var frie, havde det næppe let. General William T. Sherman beordrede, at frigjorte slaver skulle tildeles 40 hektar pr. Familie på forladt land langs kysterne i Georgia og South Carolina, men efter Lincolns attentat et par måneder senere vendte den nye præsident, Andrew Johnson, ordren tilbage. Mange tidligere slaver blev riddere eller lejere, som handlede en del af høsten til brug af jord og udstyr.
Californien blev et stort landbrugscenter efter borgerkrigen. Der blev landbrugsarbejde mest importeret fra Asien. I 1930'erne var den indvandreres arbejdsstyrke begyndt at skifte til Mexico, og under 2. verdenskrigs arbejdsmangel blev Bracero-programmet igangsat, hvilket gjorde det muligt for mexicanere midlertidigt at arbejde på amerikanske gårde. Programmet blev afsluttet i 1964, selvom latinamerikanske immigranter - lovlige og ulovlige - fortsat udgør det store flertal af den amerikanske landbrugsstyrke.
Den mexicansk-amerikanske samfundsarrangør og aktivist César Chávez blev en helt af gårdets arbejderbevægelse ved at kæmpe for vandrende arbejdstageres rettigheder fra 1960'erne til 1980'erne. Sammen med Dolores Huerta grundlagde han National Farm Workers Association, senere kaldet United Farm Workers, som førte en fem-årig strejke af drueplukkere og en national druemæssig boykot, der til sidst lykkedes at sikre højere lønninger for arbejderne. Senere protester målrettede arbejdstagernes eksponering for skadelige pesticider.
I dag erklæres Chávez fødselsdag, den 31. marts, til en ferie i Californien og flere andre stater, og der er en kampagne for at gøre det til en national høytid, som præsident Obama udtrykte støtte til som kandidat.
