Группы - довольно разумная вещь, даже я бы сказал неизбежная, рано или поздно придется делать, так как когда людей реально много, то становится действительно сложно ориентироваться. А вот на счет более тонких настроек в какой папке кого искать, а кого не искать - вот тут я лично скептически настроен. Это будет слишком сложно для большинства пользователей, не хочется программу переусложнять.
Кстати, на скорость вычислений влияние не должно быть существенным. Уменьшится перебор при кластеризации, но сильно усложнится работа с базой, что может сожрать все ускорение.