Есть мысли, что группы должны быть привязаны к конкретным лицам ( которые пользователь может назначить избранными и именно они будут отображаться в списке люди, а остальные уже вложенно). У меня, например, избранными будут : я, муж и старший сын. У каждого из нас есть свои списки людей : одноклассники, родственники, коллеги. При этом, наверное, должны сохраняться и группы без привязки : например, нас есть общие друзья из археологической экспедиции.
При такой организации связь может быть двусторонней, и если я выделю избранным человека , который был у меня в списке родственников, а у мужа в списке коллег - в его списках родственников и коллег мы появимся автоматически (как при установлении семейных и прочих связей). Это, кстати, можно и взять за основу - на том, что указано в подробных связях добавлять в предустановленные группы.