Najnebezpečnejšia hra sa odohráva na odľahlom ostrove v Karibskom mori , ktorú vlastní generál Zaroff, bohatý a výstredný ruský aristokrat. Ostrov je opísaný ako bujný a tropický , s hustými džungľami, strmými útesmi a rôznymi nebezpečnými divokými zvieratami.
Presná poloha ostrova nie je v príbehu nikdy špecifikovaná, čo pridáva na jeho tajomnej a izolovanej povahe.