上海合作组织是中俄两国与中亚国家关系发展的最为成功的范例。1996年4月26日，中俄以及哈萨克斯坦、吉尔吉斯斯坦和塔吉克斯坦五国元首在上海签署了五国《关于在边境地区加强军事领域信任的协定》，同时启动了“上海五国”会晤与合作机制。1997年4月24日，上述五国在莫斯科签署了《关于在边境地区相互裁减军事力量的协定》。此后，经过1998年7月阿拉木图峰会、1999年8月比什凯克峰会和2000年杜尚别峰会，“上海五国”在维护地区稳定、开展经济合作方面达成了广泛的共识，并开始了机制化建设。在杜尚别峰会上，乌兹别克斯坦作为观察员参加了会议。在中俄两国的积极参与和推动下，2001年6月，中俄哈吉塔乌六国宣告正式成立上海合作组织，并明确规定将“互信、互利、平等、协商、尊重多样文明、谋求共同发展”作为成员国发展合作关系的准则；强调了六国在面对共同威胁上，要展开实际行动；六国还一致同意尽快启动多领域合作进程，使“上海五国”最初以安全为中心的磋商、协调立场的机制向建立多领域多边合作机制方向扩展。2002年6月，在上海合作组织圣彼得堡峰会上，成员国签署了《上海合作组织宪章》、《上海合作组织成员国元首宣言》等文件，为该组织奠定了法律基础。2003年9月，上海合作组织总理会晤不仅落实了关于成立秘书处和反恐中心的决定，确定了该组织运作的资金来源和分担比例，而且这次会议通过的“成员国多边经贸合作纲要”对于该组织今后的发展具有重大的和深远的意义。2004年1月，上海合作组织秘书处在北京正式成立，6月，上海合作组织地区反恐机构在塔什干启动。2005年7月，在阿斯塔纳峰会上，六国元首签署决议，批准了《上海合作组织成员国合作打击恐怖主义、分裂主义和极端主义构想》、《上海合作组织成员国常驻地区反恐怖机构代表条例》、《上海合作组织地区反恐怖机构2004年工作报告》等文件。阿斯塔纳峰会签署的文件数目居历次峰会之首。2006年6月，上海合作组织成员国元首理事会第六次会议在上海举行。6个成员国的元首、4个观察员国的元首或代表，以及有关国际组织的领导人参加了这次会议，联合国秘书长安南专门给峰会发来贺电。这些充分显示出上海合作组织广泛的国际影响力和蓬勃的生命力。会议发表的《上海合作组织五周年宣言》对该组织发展历程予以了高度评价，对今后发展做出了战略性的规划。

上海合作组织的制度化建设包括：元首会晤、首脑会晤、部长级会晤、联络员机制、反恐中心和秘书处。