前回 Oculus Go で UserLAnd を呼び出せるアプリを作ったのですが、せっかくなので何でも呼び出せるように普通のランチャーアプリも作ってみました。Oculus Go 上で様々な Android アプリが動きます。

任意の Android アプリを apk で直接 Install するだけで↑のようにランチャー画面にアイコンが並びます。

もちろん前回の TVWrapperUL 同様 UserLAnd や VNC Viewer、Android 設定画面も呼び出せます。(前回の記事はこちら「Oculus Go を文章書き＆開発マシンにする」)

↓Firefox

↓AnyDesk で Windows 10 にログインしてさらに VMWare で Ubuntu

↓Kindle も動きましたがテキストタイプの書籍はフォントサイズが大きすぎます。ページを画像データとして持つ雑誌や漫画のような本は大丈夫そう。サイズ調節が難点。

↓Amazon App Store が動きました。ただし事前に提供元不明アプリのインストールを許可しておく必要があります。(詳細はあとで)

●TVLauncherGo Install 方法

Oculus TV 上で動くランチャーです。下記からダウンロードした TVLauncherGo の apk を install してください。Oculus TV の中から起動します。

・GitHub: TVLauncherGo1.0.apk

例えば adb を使って install するなら

1. Oculus Go を Developer Mode にする
2. Android SDK を install する (adb.exe にパスを通しておく)
3. PC と USB で接続する (必要なら adb ドライバを入れる)
4. adb install で apk をインストールする

adb install TVLauncherGo1.0.apk

TVLauncherGo が入れば、あとは設定画面や内蔵ファイラーが呼び出せるので Oculus Go 本体でアプリインストールもできるようになります。

●使い方

1. Oculus ストアから “Oculus TV” をインストールしておく
2. Oculus TV を起動
3. 画面の下の方にある “TVLauncherGo” を起動する (↓の赤枠)

起動するとインストールされている一般 Android アプリのアイコンが並ぶのでクリックで起動できます。アイコン長押しでアプリの詳細画面に飛ぶのでアンインストールもできます。

●注意点

事前に Bluetooth Keyboard をペアリングしておくことをお勧めします。ペアリングは Oculus TV → TVLauncherGo → 設定 → Bluetooth から行ってください。

TVLauncherGo 経由ではなく、アプリが直接他のアプリを呼び出してしまう場合があります。VR 空間ではなく 2D でアプリやダイアログが表示されると Controller では操作できなくなるので注意が必要です。Keyboard があれば [ESC] や [Enter] キーで脱出できるかもしれません。

●一般の Android Apk をインストールする方法

さまざまな方法が使えます。

・adb で PC 経由で install
・Dropbox などオンラインストレージ経由で転送して、内蔵ファイラーでインストール
・Amazon などストアアプリ経由のインストール

など。

ブラウザで直接ダウンロードできる場合もありますが apk のインストールに関しては自己責任でお願いします。

●adb を使った PC 経由の install

Oculus Go が adb でつながっているなら PC から install するのが簡単です。TVLauncherGo.apk と同じように

adb install  アプリ.apk

でできます。

●オンラインストレージ経由での apk 転送

Dropbox のようなオンラインストレージを経由して apk ファイルを転送することもできます。Dropbox 上で apk を直接開かないようにしてください。ダイアログが 2D 描画されてしまい操作できなくなります。

メニューからエクスポートを使って一旦ローカルストレージに保存します。その後内蔵ファイラーを使ってインストールしてください。

●内蔵ファイラーを使ったインストール方法

Oculus Go 上に転送した apk をインストールするには下記の手順に従ってください。

1. インストールを許可

　Oculus TV → TVLauncherGo → 設定 → セキュリティ → 提供元不明アプリのインストールを許可する

2. 内蔵ファイラーを起動する

　Oculus TV → TVLauncherGo → 設定 → ストレージ → 外部メディア

3. apk のインストール

　ファイラーが起動したら、本体ストレージ(Pacific) を選択します。例えば Download フォルダにあるなら Pacific → Download を開きます。apk file をクリックすると install できます。

●ストアアプリ経由のインストール

Amazon App Store を使ったインストールもできます。ただしいくつか注意が必要です。

インストール許可の設定画面が 2D 描画になるので、必ず先に「TVLauncherGo → 設定 → セキュリティ → 提供元不明アプリのインストールを許可する」で許可しておいてください。

Amazon App Store の「インストールしますか」のダイアログが左右の目で矛盾した描画になりますが操作はできます。片目で操作してください。

インストールしたアプリはストアから直接開かないで、一旦戻って TVLauncherGo から起動してください。

●apk ファイルを入手するには

手持ちの Android スマートフォンから install してある apk file を取り出すことができます。apk を取り出す script を作ってみました。

・GitHub: apk_get.py

1. PC に Python 3.x を install しておきます。
2. スマートフォンを Developer Mode にして PC と adb と接続します。
3. python apk_get.py を実行します。

python apk_get.py

これでインストールされているアプリの apk file をすべて取り出すことができます。

●VR 空間での起動と Oculus TV での起動の違いについて

VR 空間で直接 Android アプリを起動してしまうと問題が生じることがあります。一度起動して Activity が残っていると、以後 Oculus TV から呼び出しても VR 空間のままになる場合があるので注意が必要です。

(1) 例えば設定画面の場合、↓が VR 空間に直接描画されている状態です。少々わかりにくいですが周囲が真っ暗で部屋がありません。

↑この状態だと一部のダイアログで操作できなくなる場合があります。例えば Bluetooth のペアリング削除画面ではまります。また一部の画面で固まったり落ちたりします。アプリ一覧画面、レイアウト変更画面など。

(2) Oculus Go 起動直後に Oculus TV → TVLauncherGo → 設定 で呼び出すと ↓ のようになります。部屋の中にウィンドウが配置されています。

↑こちらは普通の Android と同じ操作が可能でダイアログも問題が出ません。物理キーボードのレイアウト変更もできました。↓

もし (1) の状態なってしまった場合は、Activity を完全に終了させるために一旦 Oculus Go を再起動することをお勧めします。電源ボタンの長押しでできます。

また前回の記事で書いたような adb コマンドを使った設定画面呼び出しは確実に (1) の状態になるので注意してください。adb を使った起動はしないで Oculus TV (TVLauncherGo) 経由で設定を呼び出すことを強くお勧めします。

外部のアプリを呼び出すアプリにも注意が必要です。Dropbox や Amazon App Store など、外部アプリや設定画面が呼ばれると Oculus TV を経由せずに直接 VR 空間や 2D 描画されてしまう場合があります。

再起動しても画面が真っ暗で操作できなくなったら、近接センサーが中途半端な状態になっている場合があります。Oculus Go の HMD 内部、中央上部の近接センサーに触れてみてください。

関連エントリ
・Oculus Go を文章書き＆開発マシンにする
・Gear VR のヘッドセットの種類のまとめ
・Oculus Go は VR ができる新しい携帯ゲーム機

Oculus Go にも Bluetooth Keyboard が接続できて、さらに一般の Android アプリが動くらしいと今更ながら知ったので、先人の知恵をお借りしつつ UserLAnd を動かしてみました。どこでも Oculus Go をかぶって大画面で日本語文章書いたりプログラム書いたりできます。
Remote Desktop ではないので Network がなくても単体で使えます。

↑ Oculus Go で動く Debian の Desktop。Oculus TV は残念ながら画面キャプチャできないので、Oculus Go を覗いたところを無理やり写真に撮っています。

参考にさせていただいた情報
・Oculus Go Tips
・KILINBOX: Oculus GoでAndroidアプリを動かす

調べてみたらすでに同じようなことを実践している方もいらっしゃるようです。
・Oculus GoでスタンドアロンVR作業環境を作った

● Bluetooth Keyboard が使える

adb 経由で Settings 画面を呼び出せば Bluetooth 設定ができるようです。上の参考にさせていただいた Tips ページで直接 Bluetooth 画面を呼び出す方法が紹介されています。

下記のように設定画面の Top を呼び出すことも可能です。(追記 2019/02/06: この方法ではダイアログが操作できない場合があることがわかったので非推奨です。詳細はこちら)

adb shell am start -a android.intent.action.MAIN -n com.android.settings/.Settings

毎回 PC 上で呼び出すのも大変なので、単独で使えるよう設定画面を呼び出すアプリを作成しました。(後述)

● 一般のアプリが動く

通常の Android apk を Oculus Go にそのまま install しても VR に対応していないためライブラリに表示されません。ところが公式アプリの Oculus TV を起動すると、一部のアプリが下の方に表示されていました。選択すると VR 空間の TV の中で実行できるようです。

特に Termux は何もしなくても表示されており、apk install だけでそのまま使うことができました。↓

どうやら Oculus TV には Android TV に対応したアプリが表示されるようです。AndroidManifest.xml に LEANBACK_LAUNCER を登録しておけば Oculus Go の上で実行できることになります。

Linux 環境を走らせるアプリ UserLAnd には LEANBACK_LAUNCER が入っていないので Oculus TV から見えませんでした。ダミーアプリを作って Intent で呼び出せば Oculus TV の上で実行できそうです。

こちらで紹介されていた TvAppRepo というアプリがまさにそれで、Android TV 用のダミーアプリを実機上で作ることができます。

● UserLAnd を呼び出すだけのアプリを作る

実際にアプリを作ってみます。AndroidStudio で Android TV 向けの空 Project を作ります。Tempalte で Android TV Activity を選択しておき、Activity 起動直後に UserLAnd を呼び出します。

// MainActivity.java
import  android.app.Activity;
import  android.content.ActivityNotFoundException;
import  android.os.Bundle;
import  android.content.pm.PackageManager;
import  android.content.Intent;

public class MainActivity extends Activity {
    @Override
    public void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
        PackageManager manager= getPackageManager();
        Intent it= manager.getLaunchIntentForPackage( "tech.ula" );
        it.addCategory( Intent.CATEGORY_LAUNCHER );
        startActivity( it );
    }
}

これだけでうまくいきました。apk 作ってを Oculus Go に install すると Oculus TV にアイコンが並びます。起動すると Oculus TV の上で UserLAnd が動きました。

Bluetooth Keyboard があれば任意の Linux Distribution を使うことができます。これでテキストエディタ、日本語入力、開発用言語など、様々なものが動きます。

この UserLAnd を呼び出すだけの簡単なアプリをこちらで公開してみました。ついでに Real VNC Viewer と設定画面も呼び出せるようにしています。

・GitHub: TVWrapperUL 1.0

● VNC を起動する

LuserLAnd が内部で呼び出している bVNC Free は残念ながら Oculus Go で動きませんでした。VR を無視して全画面表示になってしまいます。代わりに Real VNC Viewer (com.realvnc.viewer.android) が動いたのでこちらを使います。UserLAnd と全く同じように Wrapper アプリで呼び出せるので TVWrapperUL に追加しました。

UserLAnd で動いている tightvncserver の port は 5951 です。VNC Server のアドレスには “127.0.0.1:5951” を指定してください。

● 手順の詳細

(1) Oculus Go を Develoepr mode にして PC と adb で接続します。

(2) TVWrapperUL の apk を Oculus Go に install してください。

adb install TVWrapperUL1.0.apk

(3) Oculus TV から TVWrapperUL を起動。Settings → Bluetooh で Bluetooth Keyboard をペアリングしておきます。

(4) UserLAnd (tech.ula) と RealVNC Viewer (com.realvnc.viewer.android) の APK を adb で Oculus Go に install します

(5) Oculus TV → TVWrapperUL → UserLAnd で起動します。

(6) 任意の Linux Distributon を選択します

　Keyboard を使って Username, password, VNC password を入力。ここでは SSH を選びます

日本語化を行えば、そのまま Console で文章書き環境として利用可能です。

・UserLAnd の日本語化や日本語入力環境の解説

↓Ubuntu の Console で日本語入力

Desktop (lxde 等) 環境も VNC 経由で使うことができます。

● VNC 接続手順

(1) Oculus TV → TVWrapperUL → UserLAnd

(2) Linux Distributon を選択。User を作って VNC を選択

　　すでに SSH で作ってある場合は下記の手順で VNC 切り替えます。

　　1. 長押しして Stop App
　　2. もう一度長押しして App Info → VNC に切り替え
　　3. Distribution 名をクリックすると起動

(3) Client アプリがないと言われるので一旦 OK して、Controller のメニュー(←) ボタンを何度か押して戻る

(4) Oculus TV → TVWrapperUL → RealVNC を選択

(5) 右下の + ボタンを押して New Connection 画面から設定を追加。Address は “127.0.0.1:5951” 名前は任意

(6) (5) で作った設定を選んで CONNECT を押す。User 作成時に決めた VNC Password を入れると繋がります。

・Desktop の install 手順、VNC 解像度指定方法などはこちらを参照してください。

● 課題など

Android 設定画面から物理キーボードのレイアウト変更ができませんでした。設定画面が落ちるため。(追記: X11 desktop なら xmodmap による変更は可能) (追記 2019/02/06: Oculus TV + TVLauncherGo から設定を呼び出せばできることがわかりました)

Oculus Go Controller を使ったマウス操作が難しいかもしれません。

Oculus TV 上で起動したアプリは画面キャプチャが禁止されているらしく、画面を保存できなくなっています。ミラーリングも真っ黒な画面です。

(追記 2019/02/06: UserLAnd 以外も呼び出せるランチャーを作りました。詳細はこちら「Oculus Go で一般 Android アプリを起動できるランチャーを作ってみた」)

関連ページ
・Android の上の開発環境: UserLAnd

関連エントリ
・UserLAnd とブラウザ
・Android 上の開発環境と UserLAnd
・OS の中の Linux (WSL/Chrome OS/Android UserLAnd)
・ARM CPU 上の開発環境とコンパイル時間の比較 (2) Pixel 3/UserLAnd
・Gear VR のヘッドセットの種類のまとめ
・Oculus Go は VR ができる新しい携帯ゲーム機

Gear VR は Oculus Go と互換性のある VR Platform です。Samsung のスマートフォン Galaxy と組み合わせて使います。Gear VR HMD の仕様をまとめていたら予想以上に種類が多かったので分かる範囲で違いをまとめてみました。SM-R320～R325 までの 6種類あります。

・Vol = HMD に Volume button あり
・Home = HMD に Home button あり
・TypeC = USB Type-C コネクタ対応 (MicroUSB と両対応)
・MC = Motion Controller 付属

それぞれの対応 Galaxy 一覧

・S6E,S7E = S6 Edge, S7 Edge

SM-R320 は Note 4 のみ対応で、今の GearVR / Oculus Go Application とは互換性が無いようです。よって現在利用可能な GearVR は SM-R321 以降になります。

Galaxy A8/A8+ (2018) も GearVR 対応ですが、どの HMD から使えるのか明確な仕様が見つかりませんでした。明記されているのは SM-R325 のみでした。

GearVR Motion Controller は単体で別売りしているので、付属していない SM-R323 以前の HMD でも利用可能です。

重さは HMD だけです。利用時はこれにスマートフォン本体の重さが加わります。SM-R321 が一番重いですが、このモデルだけファンが内蔵されていたようです。ちなみに Oculus Go は 470g。

スペック的には一番新しいものを選んでおけば間違いないと思われます。コントローラ付きは 16000円くらいするので、23800円で買える Oculus Go が安いことがよく分かります。

スペックは下記のページにもまとめています。

・HMD VR / AR Device spec 一覧

● 仕様の参考にしたページ

・https://www.samsung.com/us/business/support/mobile/virtual-reality/headsets/
・http://www.galaxymobile.jp/support/skp/faq/1138409/
・http://www.iodata.jp/product/samsung/other/sm-r322nzwaxjp/spec.htm
・http://www.iodata.jp/product/samsung/gear/sm-r323nbkaxjp/spec.htm
・http://www.iodata.jp/product/samsung/gear/sm-r324nzaaxjp/spec.htm
・http://www.iodata.jp/product/samsung/gear/sm-r325nzvaxjp/spec.htm
・http://www.samsung.com/uk/wearables/gear-vr-innovator-edition-r320/

関連エントリ
・各種 VR HMD と Volume 調節の仕方まとめ
・VR で物が大きく見えたり小さく見えたりするわけ
・Oculus Go は VR ができる新しい携帯ゲーム機
・Oculus Go と VR デバイスの種類

VR ゲームをプレイ中に音量調節する方法は機種によって様々です。専用の音量調節ボタンが用意されている場合もありますし、Home ボタンを使って専用のシステムメニューから調節するタイプもあります。HMD をかぶったままだとリアルの操作は難しいので、操作方法をまとめてみました。

VR ヘッドセットでゲーム中にボリューム調節する方法のまとめ

専用のボタンが用意されている場合でも、HMD を付けたままだとボタンの位置をなかなか探せないことがあります。システムメニューが音量調節に対応している場合は、そちらを使った方がわかりやすいかもしれません。

Windows MR は音量調節に少々手間がかかります。Windows ボタンで Home に戻ったあと、もう一度 Windows ボタンでスタートメニューを表示させてから右上の音量アイコンで変更します。ボイスコマンドにも対応しているらしいのですが、Windows MR の大半は HMD に標準でマイクが付いていないので残念です。

Home からゲームに復帰するにも、メニューからアプリのアイコンを探すか配置してあるウィンドウまで移動してクリックしなければならず思ったより簡単ではありませんでした。SteamVR のタイトルを遊んでいる間はスティック押し込みで SteamVR の Steam Menu が使えるので、こちらの方がおすすめです。ゲームにも簡単に戻れます。

GearVR は使用する HMD によって異なっているようです。SM-R324 から Motion Controller が付属するようになり、SM-R325 から HMD 側のボリュームボタンが無くなっています。

Daydream は Controller 側の音量ボタンを使用します。メニューでは調節できませんがミュートがありました。

関連エントリ
・VR で物が大きく見えたり小さく見えたりするわけ
・Oculus Go は VR ができる新しい携帯ゲーム機
・Oculus Go と VR デバイスの種類

様々な VR HMD やコンテンツを体験していると、本来リアルなシーンなのに人や風景が人形のように小さく見えることがあります。反対に、周囲に巨人が動き回っているように見える場合もあります。その原因は視差の違いにあります。

目と目の間隔は個人差があります。そのため、同じコンテンツでも視差による感じ方は人によって異なってきます。

● 視差と距離感

普段見ている景色は遠くにあるものほど視差が小さくなります。よって VR 空間内でも視差が現実よりも小さい場合は、物体が遠くにあるように感じます。

その極端な例が視差が無いモノラルな 360度写真や 360度動画です。VR で巨大な人が周りに立っているかのような 360度写真を何度か見たことがあるのではないでしょうか。

視差が無いということは現実だと極めて遠くにある場合に相当します。遠くにあるはずなのに、近くにある場合と変わらない大きさで見えているのだから「これは非常に巨大なものであるに違いない」と脳が勘違いしてしまうわけです。

逆に視差が大きいときは、より手前にある場合に相当します。近くにあるのに遠くにあるときと同じ大きさに見えているのだから、とても小さいものがそこにあるのだと感じてしまいます。

● 目と目の間隔 IPD

目と目の間隔 (IPD = 瞳孔間距離) は見え方に影響を与えます。個人差があるため、多くの VR System では目の間の距離を調節する仕組みが備わっています。IPD には 2種類あります。

ハイエンド系の VR HMD では、直接物理 IPD を調節するための仕組みが用意されているものがあります。HTC Vive では右下にダイヤルが付いており、Oculus Rift でもスライドスイッチで調節することが可能です。この調節した値は API から読み取ることが可能で、レンダリング IPD にそのまま反映されます。

レンズを見やすい位置に調節できる上に、レンダリング IPD にも自動的に反映されるため手間がかかりません。逆に見かけの大きさに違和感があっても、物理 IPD とレンダリング IPD を意図的にずらすことができなくなっています。

物理 IPD の調節ができない機種でも、ソフトウエア的にレンダリング IPD の設定ができるものがあります。PS4 の PSVR では、設定の中に目と目の距離を測定するための機能が用意されています。Windows MR ではもっと単純で、設定画面の中で IPD を直接数値入力することができます。

●大きさの違和感を解消するための調節

VR 空間内で人や物の大きさが大きすぎたり小さすぎると感じる場合は、現実と IPD の値がずれていると考えられます。個人差があるので、他の人にはちょうどよく見える場合も自分には小さかったり大きく感じたりする場合があります。

大きく見える場合は視差が小さいので、レンダリング IPD を増やします。もし小さく見える場合は視差が大きいので、レンダリング IPD を減らす方向に調節します。

ただし、HTC Vive や Oculus Rift のように物理 IPD とレンダリング IPD が連動している場合はこの調節ができません。物理 IPD はレンズを通して映像が一番見えやすい位置に調節すべきで、レンダリング IPD だけ意図的にずらすことができないからです。

PSVR は数値入力できないので、目と目の距離を測定するツール上で調節することになります。少々手間がかかるのですが、「設定 → 周辺機器 → PlayStation VR → 目と目の距離を測定する」で写真から目の中心を割り出すときに、瞳の中心から外してあえて狭くしたり、広げることで調節ができます。

個人差があると思いますが、自分の場合 IPD をきちんと設定しても Oculus Rift は Vive よりもわずかに大きく見える傾向がありました。ただしどちらも比較的違和感が無い範囲での違いです。PSVR は全体的に小さく見えていました。Windows MR は一部の HMD しか試していませんが違和感ありませんでした。

なお、このようなレンダリング IPD 調節が有効なのはあくまで、ゲームのように 3D でリアルタイムレンダリングを行っている場合だけです。プリレンダリングされた動画や、実写の 360度動画や 360度写真は、撮影時にカメラ間の距離が決まってしまいます。コンテンツに依存するためあとから IPD を変更することができません。

ポジショントラッキング対応の HMD でも、ムービーでは頭の位置を水平に動かすことができないのと同じです。個人差があることを踏まえても、より良い VR 体験には リアルタイム 3D は欠かせない要素となっていると言えるでしょう。

関連エントリ
・Oculus Go は VR ができる新しい携帯ゲーム機
・Oculus Go と VR デバイスの種類