Richards is meermalen opgepakt geweest voor drugsbezit. De eerste keer gebeurt dit in 1967, wanneer bij een politie-inval amfetaminepillen gevonden worden bij Jagger's toenmalige vriendin Marianne Faithfull. Richards werd veroordeeld tot een jaar, maar het feit dat er enorm veel ophef ontstond over de overtrokken eis en het ontbreken van direct bewijs maakte dat de veroordeling teruggedraaid werd. In 1977 wordt Richards in Canada gearresteerd vanwege het bezit van heroïne. Door toe te stemmen in een optreden in een benefietconcert voor blinden en de toezegging in de VS een ontwenningskuur te gaan volgen kan hij de gevangenis weer ontlopen. Maar zijn afkicken is deze keer wel definitief. In een interview met het Britse muziekblad NME grapt Richards, in 2007, dat hij zelfs de as van zijn in 2002 overleden vader: Bert Richards (84) zou hebben gesnoven.