金灭北宋以后把侵占的北宋领土纳入了金的版图。到了金后期，金的国土基本就剩侵占的原北宋领土。
金国领土是南北走向，而辽是东西走向，看起来感觉辽比金面积要大
西边的室韦们在相当长时间里可是耶律家铁粉呀。蒙古人一直到金末，还坚持使用契丹文，而不接受女真小字。——话说后来大石能建立西辽，也是靠着室韦们的支持。话说金朝最好的成绩也只能做到让这些“鞑靼”们名义上臣服，想要事实征服——“郎主实在办不到啊！”
契丹是游牧民族，蒙古高原上有大量契丹人游牧，这些人才是契丹控制当地的基础，女真是渔猎民族，拿什么控制？
楼主是指西域吗？其实楼主地图上已经回答了问题，西面是西辽。
辽时期西域应该是辽领土，只是辽并不重视它。他的统治中心，是漠北燕云地区。而且那块地方，应该又是比较松散的称臣纳贡形式。古代就是这样，没有现代交通和现代通讯，给你一块大领土，你也统治不过来，最后还是这种自治领土形式。
而辽灭亡时，耶律大石看出了这块领土的价值。所以他来到这块领地，建立起了西辽政权。所以金就不用说了，金时期，这块地区是残辽势力，和金是死敌。而且耶律大石还是蛮牛的，尽管阿骨打时期，他打不过金军。但是阿骨打这一代以后，金的实力也下滑的厉害，连南宋都拿不下，更何况西域这块出汗血马的地方，军事不容小视。
1175年：
是岁，粘拔恩君长撒里雅寅特斯率康里部长孛古及户三万余求内附，乞纳前大石所降牌印，受朝廷牌印。诏西南招讨司遣人慰问，且观其意。秃里余睹、通事阿鲁带至其国见撒里雅，具言愿归朝廷，乞降牌印，无他意也。
1177年：
大定十七年, 诏遣检察御史完颜觌古速行边，从行契丹押剌四人，挼剌、招得、雅鲁、斡列阿，自边亡归大石。
在1175年乃蛮克列称臣的背景下，宿直将军觌古速巡视的边境有可能是当时乃蛮称臣后金辽边境，只是当时那四个契丹人不知道大石已死