Het kleine broertje van Ben wordt geboren als Caleb Casey Affleck op 12 augustus 1975 in  Massachusetts. Hij speelde tal van kleine rolletjes in films en series, alvorens hij mocht opdraven in het door zijn broer geschreven Good Will Hunting.

Bij het grote publiek wordt Casey vooral bekend door Ocean's Eleven en de vervolgen, waarin hij in een bijrol een ietwat sullige bandiet speelt. Zijn grote doorbraak komt in 2007. In dat jaar staat hij tegenover Brad Pitt in de goed ontvangen western The Assassination of Jesse James by the Coward Robert Ford (waarin hij laatstgenoemde speelt) en krijgt hij de hoofdrol in zijn broers regiedebuut Gone Baby Gone.