对于这次隐退，以及这位疲惫、威严、厌世的伟人放弃世界的权力，有很多伤感的文字，说他想在简朴的孤独中追求与上帝在一起时的平和心境。但相反，他既不孤独也不简朴。他带了近150名随从；他的住处辉煌放纵不亚于皇宫，却没有皇宫的辛苦。菲利普二世是一个孝顺的儿子，对他来说父亲的建议就是命令。
如果说查理对管理欧洲失去了兴趣，那么还有一些别的更直接的东西使他感兴趣。普雷斯科特写道：“大多数奎克塞达、加兹特罗与巴利亚多里德的国务大臣之间的日常书信中，几乎每一封信最终都会或多或少的谈论到皇帝的饮食和疾病。就好像时事评论一样，一个话题自然接着另一个话题。罕见的是这样的话题已经产生了与政府部门沟通的负担。国务大臣们在阅读这些把政治和烹饪奇怪结合的信件时忍住笑意恐怕是一件难事。从巴利亚多里德到里斯本的特使，常常受命绕道亚兰迪拉采购皇帝餐桌上的原料。每个星期四，他必须带鱼回来用于次日的斋戒。查理认为附近的鳟鱼太小，总是叫人从巴利亚多里德送大的来。他喜欢所有鱼类，事实上，是喜欢任何一种性质和习性像鱼的东西。鳝鱼、青蛙、牡蛎占据了他的菜单的重要位置。罐装的鱼，特别是凤尾鱼，非常受他的喜欢；他常为没能从低地国家一带获得更多的这种鱼深感遗憾。他尤其爱吃鳝鱼饼……”