不過同時擔任三檔選秀節目評委顯然讓西蒙疲于奔命，他不得不忍痛割愛，而《美國偶像》不幸成為這個英國人首先丟棄的棋子。

　　“我不想發牢騷，因為能擔任三個節目的評委我心懷感恩，但是有時候我也會忙得顧此失彼。”西蒙在接受采訪時說，“做節目花的時間越來越長，因為你必須投入更多精力，我不敢保證自己能一年同時做三檔節目，還不算唱片公司和電視制作公司的工作。也許我要放棄一個，我也不知道如何取舍，三個節目我都很喜歡。也許會是《美國偶像》，因為我只有一年的合約了。”

　　西蒙的退出對《美偶》來說無疑是致命的打擊。自從2002年首播以來，《美國偶像》已經連續八年成為收視冠軍；盡管從第五季開始，收視率逐年略微下降，它仍然平均每周吸引2700萬觀眾，在同類節目中遙遙領先。西蒙的離開無疑將標志著一個時代的結束。

　　“西蒙是不可能被取代的，觀眾都信任他。”福克斯電視臺的高層麥克·達尼爾說，“所以我們不打算用誰來取代他，而是試圖給觀眾一種新的評審風格。我們希望首先留住70%的觀眾，然后逐漸加強。”這個被新注入的生力軍是美國另一位人氣主持人艾倫·狄珍妮絲，她將于今年下半年正式加入《美國偶像》，不過她的收視影響力能否跟西蒙匹敵完全是個未知數。

　　另一方面，西蒙離開《美偶》后將努力經營《X Factor》的美國版。《X Factor》已經在英國風靡，這檔節目同樣打造出不少超級明星，例如北京奧運會開幕式上在《倫敦8分鐘》中亮相的歌手萊昂娜·劉易斯，她也是電影《阿凡達》主題曲的演唱者。

　　那么，當美國版《X Factor》和《美國偶像》對上了，誰將成為贏家呢？福克斯電視臺的高層們強調這兩檔選秀節目的核心文化完全不同。《X Factor》更依賴于對選手的幕后包裝，而《美國偶像》則更強調“美國夢”式的個人奮斗。

　　就連西蒙自己也對美版《X Factor》能否最終勝出沒有把握。畢竟，他自己也做過很失敗的電視節目，例如和CBS合作的相親節目《丘比特》。而在談到《美國偶像》的未來時，西蒙顯示出異乎尋常的謙遜，他表示沒有他的《美偶》仍然會是美國選秀節目的老大。

　　“這就好比一個優秀的球員從一個優秀的球隊里退休了，但那個球隊仍然會成功。”西蒙說，“《美偶》不是我一個人的，不過我和它的關系很緊密。我絕對相信它擁有10到20年的生命力，它仍然會是No.1。”