http://forums.cgsociety.org/archive/index.php/t-10... - тут обсуждается та же проблема. Говориться что вы скорее поставили себе не демо версию. Попробуйте переустановить демо версию с официального сайта. Там также говориться что-то про то что нужно использовать версию 2.0 (но посты еще за 2013 год). Я сам себе VRay не ставил поэтому большим не помогу). Удачи.