謝里夫2005年囚於巴黎市郊費勒里－梅洛吉斯(Fleury-Merogis)監獄20個月。它是法國最大監獄，內有不少穆斯林批評待遇不公，常與獄卒爆發衝突，由於獄卒人手不足且未受訓練處理宗教影響，獄中極端分子乘機招兵買馬。

曾試圖向美國駐法使館發動炸彈襲擊的蓋達成員貝加勒(Djamel Beghal)雖被單獨囚禁，但仍吸引不少追隨者，謝里夫是其中之一。謝里夫亦與當時因持械行劫判囚的庫利巴利(Amedy Coulibaly)結為友好，常利用紙條等方式互通消息。

謝里夫2008年被定罪，但扣減拘留期後獲釋。他與兄長會合並與翌年獲釋的貝加勒及庫利巴利保持聯絡，暗中策劃營救1995年巴黎車站炸彈案主謀貝勒卡塞姆(Smain Ait Ali Belkacem)，代其偽造證件，同時為日後的大型襲擊作準備。

為掩人耳目，謝里夫一伙定期剃鬍子，日常穿著牛仔褲及球鞋，保持言行與平常人無異，以掩飾與極端伊斯蘭信仰的關係。警方於2010年起監聽他們的電話通訊時，發現他們以密語溝通，例如以「婚禮」代表行動，「書」代表武器，「圖書館」代表軍火商等。同年警方搗破越獄陰謀，成功將貝加勒及庫利巴利定罪，但謝里夫因證據不足獲釋。

2011年，謝里夫與賽義德前往也門，疑接受蓋達阿拉伯半島分支(AQAP)訓練及領取2萬美元行動資金，引起美國警覺並通知法國政府，但法國反恐部門追蹤兩兄弟3年並未發現異狀，至去年中停止監視。有律師指出，謝里夫電腦內儲有大量與聖戰相關的文件，包括自行撰寫的自殺式襲擊計劃，又批評傳媒「將褻瀆當成施虐式娛樂」，這些資料理應引起當局關注，不應將線索輕輕放過。紐約時報