Для контроля доступа к X серверу используется утилита xhost. Чтобы разрешить доступ всем: "xhost +". JAVA использует тот X сервер, который проэкспортирован в переменной окружения DISPLAY.