退思园坐落于吴江市同里镇。退思园由清兵备道任兰生革职回乡后，请本镇画家袁龙设计而建，历时二年。退思二字，取自《左传宣公十二年》“林父之事君也，进思尽忠，退思补过”。全园简朴淡雅，水面过半，建筑皆紧贴水面修筑，园如浮于水上，是全国唯一一处贴水园建筑，体现了晚清江南园林建筑的风格。
退思园总面积为九亩八分。此园一改以往园林的纵向结构，而变为横向建造，左为宅，中为庭，右为园。全园格局紧凑自然，结合植物点缀，呈现出四时景色，给人以清朗、幽静之感。
宅分内外两部分。外宅有前后三进，由门厅、茶厅、正厅组成。门厅又称轿厅，轿子到此便要停下，轿厅两侧原有“钦赐内阁学士”、“凤颍六泗兵备道”、“肃静”、“回避”四块硬牌执事，一旦重门洞开，自是一片森严，令人为之却步。茶厅为接待一般客人所用，只有正厅才是用来接待高贵客人和操办婚丧喜事的地方。
内宅东侧是以主人之号命名的“畹芗楼”，南北两幢，五楼五底，很是气派，为主人与家眷居用。楼与楼之间由双重走廊与之贯通，廊下东西各设楼梯可供上下，这种雨天不湿脚、晴天又遮阳的环形建筑，民间又称之为“走马楼”。
园主为使居室冬暖夏凉，底层东西间的地板均制成长方形条块，随气候变化而或装或卸，灵活自如。楼南六间平房供侍者所用，称“下房”。住宅虽分东西，但布局紧凑，可分可合，分则各成院落，合则浑然一体，可谓匠心独具，思之缜密。
中庭内园以高墙相隔。庭中古木掩映，清雅幽静，樟树朴树华盖如云，年岁已高的广玉兰在阳光下送来阵阵清香。庭中另一吸引人的建筑是“旱船”，它是主人迎送宾客、舞文弄墨的场所。
中庭与退思园的主体花园之间有“月洞门”相通，穿过方砖做成的洞门，便可一窥花园全貌，园址虽小，但集中江南园林的亭、台、楼、阁、轩、曲桥、回廊、假山、水池等，而且春、夏、秋、冬、琴、棋、诗、画，各景俱全。
“坐春望月楼”前踏月，有春花娇妍欲语；“菰雨生凉”内纳凉，有四面荷风习习；“桂花厅”中品茗，处处金桂飘香；“岁寒居”内围炉，松竹梅相伴，更有那“琴房”可供焚香操琴，“眠云亭”高距山巅（亭实为二层，外包湖石，外观似山亭）。“天桥”与辛台相联，堪称江南一绝。“揽胜阁”上扶栏学画。园内的每一处建筑既可独自成景，又是另一景点的对应，颇有步移景异之妙。
