ゴーストエンジニアリング学
ゴーストエンジニアリングーーーそれは、身体拡張体験による心の変化を積極的に活用し、自らのゴースト(情動・認知・思考)を自在にデザインすることを支援する工学的技術である。
Coming soon…
2019年1月に頑張って執筆します。
yunoLv3(2018/12/25)
予告編
身体とゴーストの関係
- 心身二元論(デカルト)ではない、ゴースト論
- ゴースト(心)と身体は、互いに影響を及ぼし合っているという説
- ゴーストは、ここでは自己のアイデンティティを司る心的機能(情動、認知機能、思考様式など)として定義
ゴーストサイエンス
- ゴーストサイエンス
-
ゴーストエンジニアリング
スーパーヒーロー実験
VRでスーパーヒーロー体験をした後だと、人は通常より人を助けやすくなる。
人種差別軽減
https://doi.org/10.1016/j.concog.2013.04.016
えくす手
-
身体拡張の範囲を探る
ドラムの実験
ドラムを叩く時、アフロでラフな格好をしたアバターを着ている方が
スーツのかっちりしたアバターを着ている時よりも身体を大きく揺らしてリズミカルに振る舞う。
- 自分が何者だと思うかでパフォーマンスが変わる
自尊心の低い人がアインシュタインのアバターを使うと認知課題の成績が向上
扇情的な鏡:表情変形(視覚)による情動の操作
自分の表情を笑顔にして表示してあげることで、ポジティブな感情を誘起
自身の表情の擬似的変化をFBすることで快不快を操作
ゴーストの変化による創造性の向上(SmartFace)
分身による同調圧低減
認知バイアスの一種である同調圧力を分身の力で低減できないか検討
12月に開催されるHAI 2018で「分身」をテーマにした研究を発表します。ビデオチャットにおいて、少数派の人数を多数派の人数と同数に見せかけることで、人数の不一致によって生じる同調圧力などのバイアスを取り除こうという研究です。@osushi_jiro の研究です。https://t.co/fdfYJnzS6e pic.twitter.com/QdnkYS5IcM
— Shigeo YOSHIDA (@shigeodayo) November 8, 2018
二重人殻
-
#東大制作展 に、ドッペルゲンガーとインタラクションをする体験を展示しています。
— ゆうのLv3 / Yuji Hatada (@yunoLv3) November 15, 2018
タイトルは
「#二重人殻 / Double Shellf」
分身能力を手にして、どうしようもなく堅牢な我々のこの「一人称」が壊された時、人類の眼差しと自己愛の行方はどうなるでしょう。#iiiEx pic.twitter.com/wkemEINM5x
関連リンク
【メモ】ヒューマンオーグメンテーション学 セミナー「存在の拡張」に行ってきた
のでメモだけ公開します。
そのうち公式でレポートが公開されると思うので、そちらをご覧ください。
過去にはこんな講演もやってます(こっちは割と真面目に書いてます)
ヒューマンオーグメンテーション学(ソニー寄付講座)
第4回セミナー「存在の拡張」
第4回セミナーのテーマは「存在の拡張」.これまで「知覚の拡張」・「身体能力の拡張」というテーマでセミナーを行ってきました.今回は存在の拡張をテーマとし,いかにして存在を拡張するかを特集します.
招待講演として名古屋大学戸田智基先生,東京大学鳴海拓志先生をお迎えし,音声信号処理やVR技術などの研究を通して,いかにして存在を拡張するか,どのような存在の拡張があり得るのかなど,基礎的な技術や知見から応用まで幅広く議論します.
戸田智基先生パート「音声変換による発声機能の拡張」
自己紹介
- 音声変換自体は1990年代くらいから研究が始まる
- 1998年〜名古屋大、基本性能の改善
- 2003年〜学振PD応用技術の開拓
- 2005年〜音声変換を使いやすくするための柔軟性の改善
- 2011年〜音声生成機能拡張
- 2015年〜教授、チャレンジなど
戸田研究室
名古屋大学 大学院 情報学研究科 戸田研究室 | 音メディア情報処理で新たな未来を切り拓く
音声変換とは?
-
コミュニケーションにおいて存在を拡張するには、ロボットやアバターのように見た目を変えるだけではなく、声も変えることが重要
-
なんの役にたつか?
-
-
内容はそのままに発話者や発話様式を所望の形に変えらる
-
-
非言語的な情報、感情など
-
-
物理的な制約を超えられる、物理的には出せない声も出せる
-
-
どう実現するか?
-
-
信号処理+変換処理=音声変換の実現
-
リアルタイム音声変換デモ
- 声の高さ、周波数軸(体、声道を太くしたり細くしたり)、性別を変えられる。
別の人の声にはできるが、誰かの声にするのは難しい
機械学習で、変換のための関数を作る。リアルタイム統計的音声変換デモ。
今日はリカちゃんの声になるデモも披露。
初音ミクの声になるデモ
リアルタイムで歌声、しゃべり声を初音ミクの声にできる。すごいw pic.twitter.com/gdYHlD7UlC
— なるみ (@narumin) November 29, 2018
音声生成機能の拡張へ
物理的制約を超えて音声生成機能の獲得
- イメージする声を具現化できる
身体的制約を超える表現獲得
若返った声、年老いた歌声 - 失った声を取り戻る
発声障害者の音声を自然な音声へ
イントネーションをつけてやったり - 声を出さずに会話する
さらに発生者の協力的動作を活用した共創的音声
1 ボイチェン、ボーカルフィルター
- 協力的動作として裏声歌唱を活用
- 音高維持型歌声変換システム
- 特定キャラクターの歌声と同一の音高で歌唱した歌声を活用
- 基本周波数の変換処理を回避することで高品質な変換処理
- 裏声による歌声を変換システム
2 喉頭摘出者に対する発生支援、歌唱支援システム
3 サイレント音声通話
拡張;周囲に聞こえないくらい小さな体内電動音声(非可聴)をより自然な音声に変換
まとめ
-
外観がロボットやアバターで拡張できるのに対して、音声も変えなきゃ!
-
危険性
-
-
なりすましを助長
-
変換音声自動検出技術[Wu 15]と変換技術はいたちごっこ
-
-
音声変換技術普及に向け、正しい社会的認知を得ることが重要
-
-
音声変換技術の有用性をアピール
-
生活に欠かせない応用技術の構築
-
自分の音声を利用されることに対して報酬を与える仕組みの構築
-
技術レベル及び危険性の周知
-
-
音声変換技術を包丁のようなものとして認めてもらう
-
-
スライド
- そのほかにも様々なスライドが下記で公開中
研究紹介 | 名古屋大学 大学院 情報学研究科 戸田研究室
鳴海拓志先生パート「身体拡張から心をデザインする」
感覚のデザイン
Unlimited Corridor
曲がった壁を「触りながら」映像を曲げてやると、半径6メートルでまっすぐ歩いた感覚を得られる
拡張満腹感
見た目を小さくすることで満腹感をコントロールできる
拡張満腹感:テーブル型
- でも普通食事の時はHMDつけないよねwって言われて悔しい
- テーブルにプロジェクションマッピングした
環境を変えるのと自己を変えるのは実は同じ?
- 環境と自己は不分離、感覚で得られたものから自己が形作られる
- エルンスト・マッハの自画像
身体と自己のデザイン
ラバーハンドイリュージョン
- こうした身体拡張感覚があるから、道具をうまく使える
- 道具をうまく使えるために動的に身体を変える
えくす手
-
身体拡張の範囲を探る
-
-
見た目より動きの一致が重要
-
見た目は二倍程度なら身体のように扱えるが四倍に変形すると厳しい
-
視覚だけでなく触覚との同期刺激があるとより
-
-
例
-
-
自分が何者だと思うかでパフォーマンスが変わる
ドラムの実験
ドラムを叩く時、アフロでラフな格好をしたアバターを着ている方が
スーツのかっちりしたアバターを着ている時よりも身体を大きく揺らしてリズミカルに振る舞う。
自尊心の低い人がアインシュタインのアバターを使うと認知課題の成績が向上
身体とゴーストの関係
ゴーストサイエンス / ゴーストエンジニアリング
- ゴーストサイエンス
-
スーパーヒーロー実験
VRでスーパーヒーロー体験をした後だと、人は通常より人を助けやすくなる。
人種差別軽減
https://doi.org/10.1016/j.concog.2013.04.016
扇情的な鏡:表情変形(視覚)による情動の操作
自分の表情を笑顔にして表示してあげることで、ポジティブな感情を誘起
自身の表情の擬似的変化をFBすることで快不快を操作
感情が先か、身体が先か
- ×悲しいから泣く
- ○泣くから悲しい
ゴーストの変化による創造性の向上(SmartFace)
ゴーストエンジニアリング
- 身体の再デザインによる心と認知のデザイン
- 変身と分身
- 心と上手に付き合うための技術
- 身体が心・自己を作る
- FaceRig
- 講演をバーチャル女子でやるとみんな優しくなる
- ブーム
- VTuber、VRChat
- ソーシャルタッチ
分身による同調圧低減
認知バイアスの一種である同調圧力を分身の力で低減できないか検討
12月に開催されるHAI 2018で「分身」をテーマにした研究を発表します。ビデオチャットにおいて、少数派の人数を多数派の人数と同数に見せかけることで、人数の不一致によって生じる同調圧力などのバイアスを取り除こうという研究です。@osushi_jiro の研究です。https://t.co/fdfYJnzS6e pic.twitter.com/QdnkYS5IcM
— Shigeo YOSHIDA (@shigeodayo) November 8, 2018
二重人殻
-
#東大制作展 に、ドッペルゲンガーとインタラクションをする体験を展示しています。
— ゆうのLv3 / Yuji Hatada (@yunoLv3) November 15, 2018
タイトルは
「#二重人殻 / Double Shellf」
分身能力を手にして、どうしようもなく堅牢な我々のこの「一人称」が壊された時、人類の眼差しと自己愛の行方はどうなるでしょう。#iiiEx pic.twitter.com/wkemEINM5xこれは……。 pic.twitter.com/rcN7QBaxBC
— ゆうのLv3 / Yuji Hatada (@yunoLv3) November 29, 2018
まとめ
- 身体という普段意識しない存在は、実はあらゆる意味で世界の物差しとして機能している
- 身体のあり方を変えると基準が変わり、無意識に知覚行動認知に様々な変化が現れる
この効果は現実においてもバーチャル世界においても無視できないレベルである- こうした影響を踏まえて自分という存在をデザインし、柔軟な知性と心を獲得できるようにすることは未知の領域、技術者だけでなくデザイナーやアーティストなど多様な分野の力が必要になるだろう
石黒祥生先生パート
身体の拡張
AugmentedJump
存在の拡張
JackIn Space
認知の拡張
ChameleonMask
ChameleonMask from rkmtlab on Vimeo.
リアルとバーチャルが融け合う夏 (2)バーチャル空間のアート展編
どうも、ゆうのLv3です。
最近「リアルとバーチャルが融け合ってる事案」がたくさんありました。
ので、あれこれ備忘録っておこうと筆をとった次第。
本記事では、2018年9月22・23日にVRChat内で行われた、ヨツミフレームさんのメディアアート展覧会「1%の仮想」について。VRChatって何?どうやって出来るの?とかいう情報は、末尾に付録として書きました。知らない人は参考にしてください。
「動画で見たい!」という人は後半にYoutube Live情報を載せているので、そちらをチェックしてください。
メディアアート展覧会「1%の仮想」
9月22日(土)〜23日(日)にVRChat内でメディアアート展覧会「1%の仮想」を開催します!
— ヨツミフレーム@個展9/22,23 (@y23586) September 16, 2018
私が制作した作品約19点を展示します。
当日はインスタンスをFriends+で開きますので、私か会場内のフレンドからご入場ください。#VRChat #vrcevents pic.twitter.com/BAaMzZDIpp
僕も似たようなことしたいな〜と思っていたところ、ガチ勢のはいえろさんに教えてもらいました。
来ました。(入り口の表記が仮想じゃなくて「本質」になってた。後から直された?正式名称は1%の仮想っぽい。展覧会を見る前と後でここの表記が変わっているそうです!!!)
入って最初に目にするもの、これは狭義の展示物ではないのだけれど、「文字が壁に書かれている感じ」があまりに生々しくて、フィジカル美術館に来た感覚が強烈に想起されました。ライティングの業なのだろうか。文字が壁を、壁が文字を引き立たせている気がする。
空間は「ホワイトボックス」と呼ばれるタイプ。僕はあまり詳しくないのだけれど、近代以降の美術作品の展示空間では、作品を自立的に・中立的に扱うために、極力装飾や表情を持たない真っさらな空間が好まれるようになったのだとか。近代以降の我々からしてみれば、こういう白い館に来たら美術館の記憶が想起されるので、自然と「鑑賞するぞ」という気持ちになるのですね。
バーチャル空間で建築的な試みをあれこれやっている番匠カンナさんのノートも参考にしてみてください。
ピクトグラムや注意書きの書式もなんとリアルなことか。テキストデザインだけで空間全体のプレゼンスを高められるとは……。
製作者・主催・アーティストのヨツミフレームさん。
展示後、ヨツミフレームさん本人が書いた記事も公開されています。(技術的な話はまた後日とのこと)
作品紹介
スタック・オーバー・苦労
ハンバーガーやN重の塔を自分の手で積み上げて作れる体験型展示。
バーチャル環境で人は、掴める(grabbable)オブジェクトを見るとついつい手に取りたくなってしまいます(やれば分かりますが、現在のバーチャル環境で遊ばせると、人類の多くは幼児退行します。)。手に取ったものは、積み上げたくなる。その性質を利用して「積み上げたくなる」オブジェクトを用意してくれていました。
ハンバーガーはパーツを積み上げると自動で名前を判定して表示してくれるんです……芸が細かい……。
おそらく世界ではじめて「ハンバーガーの名前を計算するシェーダ」を書きました、よろしくお願いします。(最初に目に入る展示物なので可能な限りすぐに趣旨が理解できるものにした) pic.twitter.com/Mv7gZRT1uu
— ヨツミフレーム@個展9/22,23 (@y23586) September 8, 2018
Step-by-Step by Step
床にある足跡。
そこにプレイヤーが立つと現実では起こりえない体験が生じる。写真は、そこに立った時だけ異世界(ヨツミフレームさんが製作した別のワールド)を覗き見れるというもの。そこに立って居ない他の人には見えない。
VTuber Particle
VRと相性がいいと言われている情報可視化の一例。
「バーチャル」・「VTuber」の単語が含まれるYoutubeチャンネルの内、上位512個のチャンネル登録者数とアイコン色をパーティクル可視化。上位5チャンネルは星型で表示しています。一番おっきいのはキズナアイなんだろうな。
距離のリアル
(画像:https://twitter.com/kohack_v/status/1044235303727194113より)
来場者のIPアドレスからインターネットプロバイダの位置を取得して、体験者との相対的な距離感を可視化している作品。リアルでは何百kmと離れている人も「ここ」にはいると意識させられます。
あなたがバーチャル空間で感じる「距離」は、この作品よりも近いですか?
現実世界終末時計 Dreamsday Clock
「VRChatにログインしている人口」÷「世界人口」を、0:00から23:59で表現している時計。2018年9月22日21時の時点では、世界人口76億人に対してVRChat人口は6000人程度(インターネットから情報を常に取得しているので、リアルタイムに時刻が変わります)。 「VRChatにログインしている人口」÷「世界人口」は、当然限りなくゼロに近く、終末時計は0時0分X秒を指していました。
まだまだ長い道のりですが、この時計が23時59分59秒を超える(全人類がVR空間に没入する)とき、仮想現実は人類にとっての新たな現実へと変化することになるのです。
1%の仮想 ハイパースマートスピーカー
一方でこんなコーナーもありました。
そこに展示されていたのは、ハイパースマートスピーカー。
このスマートスピーカーは、「神託」集積回路を実装してあるから、あらゆる質問に答えることができる最強のスピーカー!
……ただし、これには1%の仮想現実が混ざっているばっかりに、我々のフィジカルワールドには存在することができない。
でも、それは本質的なことでしょうか?
VRC_WebPanel
VRChatではかつて、「WebPanel」というコンポーネントを使って、みんなが色んなものを作っていました。Webから情報をとってこれるパネルということで、動画を流したり時計を作ったりアレコレ表示したり……
と日本人らしい百花繚乱(百鬼夜行)のクリエイティブ作品が見られていたのですが、2018年8月某日、WebPanelはセキュリティ上の都合(?)でVRChatからお亡くなりになりました……。ヨツミフレームさんも被害を受けている様子がキャプションから読み取れますね。(追悼式の様子はV-TVさんでも報道されています。)
1%の本質
この展示会は、実際には存在しません。私たちはHMDやディスプレイから浴びせられる色とりどりの光を見て「私たちはここにいる」と錯覚しています。この展示会を通じて“Virtual”(仮想)とはなにか、“Virtual”(本質)とはなにかをなんとなく感じてもらえたのであれば幸いです。
展示の前に立つと、VRモードプレイ時にメニューボタン押すと出て来るワールド(ゲーム起動時やポーズ時に入るワールド)が現れます。
バーチャル空間で行われている展示会の中で、いきなり今まで見て来たものを全てなかったことにするかのような演出。さながら「今までのは全部夢でした〜」と言わんばかりのギミックにドキッとさせられます。決して嘘じゃないものが、「自分は嘘かもしれないね……」って儚げに笑ってくる感じ。
グッズ売り場
展示会の出口付近には、ヨツミフレームさんが作られたアセットなどがQRコードとともに置かれていました。このQRコードを読み込めば、すぐにこのアセットを入手できるという優れもの。
バーチャル空間ならでは
バーチャル空間での展示として、色々「ならでは」なことがありました。
空間演出を始め、何から何までアーティストの手によるもの
今回の会場は、ワールド作成までヨツミフレームさんがやっています。フィジカルに美術館を一つ建てるのは大変かもしれないけれど、バーチャル空間なら。
会場も自分で作って良いとなると、作品の置き方、コース、会場に仕掛けたギミック、展示物に特化した会場作りなどなどが出来るわけで、会場自体が一つの作品になり得ます。
超インタラクティブな作品作り
- 例えば参加者が作品ごと持ち去って会場内の好きな場所に置けたり……。
- 時間によって展示物の姿が変わったり
- 一周目と二周目では様子が違ったり
- 来場者自身が展示物になったり
- ……
フィジカルには難しい仕掛け
バーチャル空間ならではの問いかけ
- 人類とVRの関わりの未来を想像させる「現実世界終末時計 Dreamsday Clock」
-
フィジカルには作れないものもバーチャルになら実現できる、と嘲笑うかのような「ハイパースマートスピーカー」
- バーチャル空間からフィジカルな距離を意識させる「距離のリアル」
- この展覧会は「現実にはない」とあえて言い切る「1%の本質」
-
……
どれもエモすぎて、初回にして至高という感じがしてしまいます……。これを超えていかなければ……。
最近マクルーハンのメディア論を読み始めました。新しいメディアは新しい知覚習慣を引き起こす。メディア(技術)はメッセージである。VR技術を手に我々は、どこへ向かっていくのか、未来が楽しみで仕方ないですね。
Youtube Live情報
失禁研究会の亀岡くんと、Gree VR Studio Labの白井先生が会場内を見て回ったYoutube Liveが残っています。
また、この「1%の仮想」 展、おきゅたんbotさんが10月4日に体験取材をするそうです。見れなかった人はこちらをチェック!
ヨツミフレームさんが期間限定で開催し、大きな話題になったVR個展、「1%の仮想」展をライブで体験取材! 開催時に体験できなかった方も、ぜひコメント欄から参加したりして、配信を通して一緒に作品を観覧していただけたら嬉しいです!
— おきゅたんbot🏝VRすきま動画 (@OculusTan) September 26, 2018
10/4(木)23時から配信予定→ https://t.co/hggvSH0Pmu pic.twitter.com/c4aoopYb6j
付録 VRChatとは?
VRのソーシャルサービスといえば、マイクロソフトに買収された『Altspace』、Oculusが出している最強に手軽な『Oculus Rooms』や『Facebook Spaces』、PSVRでもできる『Rec Room』、PC画面の共有ができる『Bigscreen』や登壇形式のイベントにぴったりの『cluster』など、色々あります。
VRChatの魅力
そんな中にあって、VRChatの大きな魅力は「ユーザがカスタマイズできる要素が多い!」という点。
とってもいい動画を見つけました。VRChatの魅力が伝わってきます。
VRChatに来て半年くらい、その映像記録的なものです
— とんこつ (@subbrain) September 24, 2018
たくさんの人を撮らせて頂きました、ほんとうにありがとうございます~
◇キツネツキさん式の櫻歌ミコ(改変)がいらっしゃいます#VRChat pic.twitter.com/34uYLOdNpc
そしてVRChatには日本語Wikiもあります。
自作アバター
例えばBlenderなどの3DCGソフトを使って、自分のアバターを自分で作ることができたり
-
『VRChat』で自作アバターを使うには? 導入方法まとめ | Mogura VR - 国内外のVR/AR/MR最新情報
-
まるで異世界転生 『VRChat』に3Dスキャンした自分を召喚 | Mogura VR - 国内外のVR/AR/MR最新情報
自作スキル
アバターにエフェクトを仕込むことで、こんなライブを実現する猛者も現れています。
VRCに入り込んでから一か月、ライブのようなものを作って遊んでます。見つけたら声掛けてください(^^♪基本エネちゃんかミクです。#VRChat始めました #VRChat #VRチャット pic.twitter.com/yPUw3EgEBu
— なみたさん (@namita0819) May 9, 2018
VRChatでライブのようなもの作っています(´-`).。oO#vrchatはじめました #vrchat始めました #VRChat #パーティクルライブ pic.twitter.com/Y4FL3xuPbH
— yorimiya57@バチャフェス最高 (@jav6868) June 24, 2018
自作ワールド
Unityを使って自分でワールドを作れたり、そこに好きなギミックを実装したり
その自由度の高さは、ユーザ・ジェネレーテッド・コンテンツ(ユーザがそのプラットフォームの上で、自分たちで好き勝手にコンテンツを生み出していく)を地でゆくもの。
これまで行われてきたイベント
既に現実と見まごう激アツなイベントが、VRChatでたくさん催されてきました。
- 3Dモデルをバーチャル空間の中で売る(試着もできる)バーチャルマーケット
“VRコミケ”ここにあり 熱気溢れる「バーチャルマーケット」現地レポ | Mogura VR - 国内外のVR/AR/MR最新情報
- バーチャル空間でやる音楽と光と花火のフェス!「バチャフェス」(次回の記事で書きます)
- 花火大会!!!
- お月見
- 落語
開催場所はVRChat、プロの噺家とVTuberが披露した「VR落語会」 | Mogura VR - 国内外のVR/AR/MR最新情報
- 勉強会
リアルとバーチャルが融け合う夏 (1)VR学会編
どうも、ゆうのLv3です。
最近「リアルとバーチャルが融け合ってる事案」がたくさんありました。
ので、あれこれ備忘録っておこうと筆をとった次第。
本記事では2018年9月19~21日、東北大学で行われた第23回バーチャルリアリティ学会大会(懇親会含む)で見聞きしてきたことをば。
リアルとバーチャルが溶け合った事案2件
- リアル会場・バーチャル会場で同時に行われたギラギラ夏祭り
- オーガナイズドセッションに初めてVTuberが登壇
を紹介します。VR学会って何?とか、IVRCに関する情報は末尾に付録として書いておきました。
目次!
来たぜ仙台 行くぜVR学会
#VR学会 @東北大学
— ゆうのLv3 / Yuji Hatada (@yunoLv3) September 19, 2018
アバターと同じ格好できた pic.twitter.com/zdnUMSoI4n
Togetterによるまとめはこちら。
リアルとバーチャルの2会場同時開催の「ギラギラ夏祭り」
去年からVR学会の初日の夜には、若手VR研究者が大人の金で肉を喰らい・飲み・議論をする「ギラギラ夏祭り」が行われています。
ブロック肉が来る聞いていたが実際に見たのはブロック肉ではなかった。w pic.twitter.com/KfTMrMcuMX
— いっこう / ikkou (@ikkou) September 19, 2018
今年はアイバン・サザランドが世界初のVR Head Mounted Displayを発表してから50年目、HMD50周年という節目なんですね。
じゃあ流石に、今年もフィジカル会場だけで肉食ってるのはVR学会的にアレじゃない?
というわけで、なぜか僕と失禁研究会の亀岡くんで、VRChatにバーチャル会場を作りました。
ジャン!
<バーチャル会場アメニティ一覧>
- 綺麗な夜景(綺麗)
- バーチャル乾杯用のグラス(フィジカル会場では乾杯をやらずにディスカッションが始まるというバグがあった)
- ディスカッション用のホワイトボードと空中に書けるペン
- 気休め程度に用意された料理(投げれる)
- フィジカル会場の様子が中継されたYoutube Liveを見れるスクリーン(当日バグって動かなかった……)
VRChatのワールド作成初めてやったけど結構楽しかった。
(2-3日の突貫工事で作ってしまったので至らぬ点が多々ありました……)
今年のギラギラ夏祭りでは、各テーブルに分かれて「VR技術は、文化をどのようにアップデートするのか」というテーマをディスカッションしました。
選んでいる! #ギラ夏2018 pic.twitter.com/YWkgMVdX9N
— いっこう / ikkou (@ikkou) September 19, 2018
もちろんバーチャル会場でも同じことをします。
高級肉の煩悩が無い分、フィジカル会場よりクールに議論が行われていましたw
フィジカル会場から見るとこんな感じ。
あの人先生とも話してたんだけど、来年の #VR学会 はVR会場 #RoomV 作ろうぜ#VRSJ2018 #VRSJ2019 pic.twitter.com/sm0PmOoTgY
— Akihiko SHIRAI, Ph.D #TGS2018 (@o_ob) September 21, 2018
フィジカル肉とバーチャル肉の同時紹介。
そしてVRChat会場からフィジカル会場の皆さんに向けた発表もこの通り。
バーチャル会場(VRChat)でもアンカンファレンスで議論、発表できる!#ギラギラ夏祭り #girasummer2018 pic.twitter.com/D4fmaUKzt3
— H.Takatori (@Takatori_0703) September 19, 2018
#ギラ夏 #ギラギラ夏祭り VRChat会場からの写真投下してくよ~~~。といっても忙しくて全然取れなかった…。しかも最後に記念撮影し忘れた(´;ω;`)…
— T.Kameoka@触覚&失禁研究者VRSpaceで生きる方法を探る (@faruco10032) September 19, 2018
皆さん、もしスクショなど取ってましたらぜひ貼ってください~~ pic.twitter.com/WtC1daLJBn
反省など
バーチャル会場に来られた方からは、このような感想をいただきました。
VR会議は現実以上にファシリテータが重要だと感じた。
— morio🌭@10/2AR輪読会10/6HoloLensミートアップ10/13.NET conf (@morio36) September 19, 2018
「誰かか話したそうな雰囲気」「納得してない雰囲気」「話したそうな無言」「興味のない時の無言」
こういうのを空気で感じられない。
意識して人に話を振るなどしないといけない。
要エネルギー。#ギラ夏2018
現状のVRChatではまだまだ「この人喋りそう」とか気配では分からないんですよね。
発話タイミングがかぶっちゃったり、互いを見て無駄に間が空いてしまったりします。
今回は、ただ単にリアル会場とバーチャル会場で同時に議論をしていただけですが、
両会場でインタラクションをする試みもちらほら出てきています。
@mukaderabbit @Naoki_Kosaka_ さんご協力ありがとうございました。@FeelzenVr さん、VRCHATに「風」を導入する事に成功いたしました。@magi_ikuko @beet_lex さんお疲れ様でした! pic.twitter.com/zN2JGqefl8
— パーティクル蕎麦屋になってみたいタナベ (@sobatang1) September 9, 2018
VRChatの行動が、フィジカル会場のデバイスを動作させる例w(PCの画面に照度センサを貼り付けていますw)
触覚スーツで受けた触覚のうち、一番良かったのはキツネツキさん(@_kitsune_tsuki_ )の尻尾でした。
— 坪倉輝明@メディアアーティスト (@kohack_v) June 10, 2018
ふわふわの尻尾がお腹に当たると「ふわふわ」を感じるんですが、振動の強度は硬い物が当たった時と同じですが視覚の影響を受けてふわふわに感じます。
これをクロスモーダル知覚と言います。 #VRCas pic.twitter.com/x5ixCWS99R
触覚スーツを着て、VRChatの「触れ合い」をフィジカルな自分の身体にフィードバックしている人がいたり。
来年はもっともっとフィジカル会場とバーチャル会場を融合したいですね。
当日のフィジカル会場
当日のバーチャル会場(一部)
VRChat SDKをうまく使いこなせず、Youtube Liveの中継をバーチャル空間にできなかったのは心残りですが……。(徹夜してたのでその日の朝までは出来ていたし、悔しくて翌日もう一回やったらそこでも出来た。)
後日談:翌日もリアルとバーチャルが融け合う懇親会!
初日の夜はギラギラ夏祭りですが、二日目の夜は学会大会公式の懇親会がありました。
公式懇親会ではバーチャル会場を用意してなかったので、VRChatにつないだノートPCとWebカメラを持って歩き回る奴をやりました。
暦本研のカメレオンマスクのイメージ。
(出典)
VRChatには失禁研究会の亀岡くんがいて、僕が会う人会う人にPCの画面を見せては談笑させます。
(イメージ図)
そんなことをしてたら、VRChatにいる亀岡くんはワールドを移動して、別の友人に会いに行きます。
そこで出会ったのがなみたさん(Twitter)。なみたさんはVRChatで鑑賞できるパーティクルライブをアバターに実装しておりまして、その場で即席ライブを披露してくれました。
(ちょっとした動画)
https://photos.app.goo.gl/MvdJmKvQyAXzSrMT7
バーチャル世界からパーティクルライブをしてくれてる☺️
— はいえろ (@omeme_1231) September 20, 2018
それをリアル世界から宮城の地酒を呑みながらみてる!
#VR学会 pic.twitter.com/OeXax9RH1w
インターフェースがPCだったものの、フィジカル・バーチャル関係なくあちこちの世界にシームレスに行ったり来たりできる、というのはとてもドキドキする体験でした。
VR学会にVTuberの登壇!
VR学会大会2日目午前……。
一人発表者に魔界のティーンがいるぞ… #VR学会 #vrsj_ac2018 pic.twitter.com/U8RurxVHNZ
— なるみ (@narumin) September 20, 2018
魔都ヨハシトから来た魔界のカリスマ小学生、リリス・AH・リリーホワイトちゃん。
VRに関する造形がやたら深いと界隈で話題になっていたところ、VR学会のオーガナイズドセッション「超臨場感と拡張認知インターフェース」にVTuber名義そのままで登壇することに。
すごい人気だ@lilith2160 ちゃん。いよいよバーチャル登壇! #vrsj_ac2018 #VR学会 pic.twitter.com/bd5qLHkM7L
— なるみ (@narumin) September 20, 2018
VR学会のセッション1、2を争う人気ぶり。
当日のリリスさんの登壇部分は下記動画で見れます。
リリスさん @lilith2160 のプレゼン始まりました。部屋が満員御礼! #VR学会 pic.twitter.com/OtknnnFyJZ
— 櫻井 翔 (@typhoongirl) September 20, 2018
すぅっ… 「坪倉です」( @lilith2160 ちゃんが坪倉アバタに着替えた) #vrsj_ac2018 #VR学会 pic.twitter.com/PWiea7Cqi2
— なるみ (@narumin) September 20, 2018
まとめ
- フィジカルアバターがなくても、大体なんとかなる
自宅に居ながら、自分がありたいと望む自由な姿で、
学会に登壇もできれば懇親会に参加することもできる。
逆に現実(フィジカル会場)に居ながら、バーチャルワールドを通じて
全然その場に関係ない人にも会いに行けるし、即席でパフォーマンスもできる。
聞こえますか!パラダイムがシフトしていく音が!
付録
VR学会とは
1996年に設立したバーチャルリアリティに関する日本の学会。
- 論文誌の発行(アーカイブが無料公開されている)
- VR技術者認定試験という
- 資格試験を実施国際学生バーチャルリアリティコンテスト(IVRC)の主催
- 学会大会の開催
などなどをしています。VRについて学術的に体系化した本「バーチャルリアリティ学」を編集・作成したのもVR学会です。
- 作者: 舘暲,佐藤誠,廣瀬通孝,日本バーチャルリアリティ学会
- 出版社/メーカー: コロナ社
- 発売日: 2010/12/16
- メディア: 単行本(ソフトカバー)
- 購入: 1人 クリック: 5回
- この商品を含むブログ (2件) を見る
人類の各位におかれましては、「バーチャルリアリティとは」のページだけでも読んでおいてほしい。
VR学会大会
そんなVR学会は、毎年1回学会大会を催しています。2017年は徳島、2018年は宮城。
- VRに関する論文の発表
- オーガナイズドセッション(OS)
- 特別公演
- 技術芸術展示・企業展示
- 懇親会
などが行われます。プログラム見ると、結構面白そうでしょ?アカデミアでない一般の人でも、十分有意義に参加できるセッションもたくさんあります。
来年の第24回日本バーチャルリアリティ学会大会は,2019年9月11日(水)から13日(金),東京大学本郷キャンパスにて開催いたします。
— 苗村健 (@naemura) September 20, 2018
ここにIVRCコンテスト,ギラギラ夏祭も盛り込みつつ,国際会議であるICATも同時開催します。
ということで,テーマは運営の効率化になりそうです。
IVRC 国際学生バーチャルリアリティコンテスト
特に今年は、IVRCの予選大会が同じ会場で行われていたので、体験しきれないほど数多くのコンテンツが会場内に並んでいました。
出血体験
東京工業大学工学院情報通信系 出血研究会による「出血体験」はサーマグリル錯覚を用いたVR体験、人間の感覚がいかに視覚に依っているか分かるやつ、思わず声が出てしまった。w #IVRC pic.twitter.com/ganQLPR6ry
— いっこう / ikkou (@ikkou) September 19, 2018
温覚と冷覚を一定間隔で交互に並べて同時に提示してやると、火傷を負ったかのような痛みや灼熱感・不快感が生じるサーマルグリル錯覚。狼に腕を噛まれた時の痛みや出血を再現しています。
去年は腕がゴムのように伸びる体験「ゴムゴムのシューティング」を輩出してる、東工大長谷川研究室の学生さんらによる作品。
脳内に植物が根を張る感覚
にんにんラボによる「ブレインツリー」では、頭に植物が生えていく感覚を味わうことができます🌳
— IVRC 国際学生対抗VRコンテスト (@IVRC) September 20, 2018
根っこが生えてくるの、気持ちよいもんですね〜
頭の植物の作り込みが💯🙆
#IVRC #明治大学 pic.twitter.com/Szn6evKsXf
個人的にめっちゃ好きでした。芸が細かく作られた植木鉢帽子を被って体験スタート。頭皮マッサージ(?)に使うアレや、水を流して冷覚を提示するためのチューブなどが中に仕込まれていました。徐々に脳を侵食される感じがたまりません。
耳トンネルも輩出している明治大学の学生さんらがやってました。
エサになって喰われる
#IVRC 即時ツイートできていなかったシリーズ。
— いっこう / ikkou (@ikkou) September 19, 2018
東北大学 Fishers による「Be Bait! 〜求めよ, さらば食べられん〜」体験のために必死に脚を左右にいい感じに振っている様子です。オペレーションがなかなか大変そうだった。 pic.twitter.com/zx67rKBX7B
鼻が伸びる
慶應義塾大学大学院 しゅわっと「ピノーズ」は全力で @04_Suzuki_ くんに是非見てもらいたい Oculus Go + シリアル通信を用いた面白VRコンテンツの事例、匂いデバイスとして有名な VAQSO を使わずに匂いを感じさせるやり方にも注目:p #IVRC pic.twitter.com/Q0stiRj2uk
— いっこう / ikkou (@ikkou) September 19, 2018
一人なのに二人で足湯に入っている感覚……
なぜか運営に使われた僕の写真……寂しい人みたいになってる……。
1人で足湯に入るの、寂しいですよね?
— IVRC 国際学生対抗VRコンテスト (@IVRC) September 20, 2018
そんなあなたに、足湯同好会による「孤独をFoot Bath」があります
女の子と足湯に入ることが出来るので、もう1人の足湯にはおさらばです!
孤独を、フットバス!!♨️♨️😀👱🏻♀️#IVRC #電気通信大学 pic.twitter.com/7rbrdz1zZa
ここで取り上げたものはどれも予選を通過して決勝大会に出場します。
決勝大会は11月14日-16日@幕張メッセ with デジタルコンテンツEXPOです。
付録 VRChatとは?
VRのソーシャルサービスといえば、マイクロソフトに買収された『Altspace』、Oculusが出している最強に手軽な『Oculus Rooms』や『Facebook Spaces』、PSVRでもできる『Rec Room』、PC画面の共有ができる『Bigscreen』や登壇形式のイベントにぴったりの『cluster』など、色々あります。
VRChatの魅力
そんな中にあって、VRChatの大きな魅力は「ユーザがカスタマイズできる要素が多い!」という点。
とってもいい動画を見つけました。VRChatの魅力が伝わってきます。
VRChatに来て半年くらい、その映像記録的なものです
— とんこつ (@subbrain) September 24, 2018
たくさんの人を撮らせて頂きました、ほんとうにありがとうございます~
◇キツネツキさん式の櫻歌ミコ(改変)がいらっしゃいます#VRChat pic.twitter.com/34uYLOdNpc
自作アバター
例えばBlenderなどの3DCGソフトを使って、自分のアバターを自分で作ることができたり
-
『VRChat』で自作アバターを使うには? 導入方法まとめ | Mogura VR - 国内外のVR/AR/MR最新情報
-
まるで異世界転生 『VRChat』に3Dスキャンした自分を召喚 | Mogura VR - 国内外のVR/AR/MR最新情報
自作スキル
アバターにエフェクトを仕込むことで、こんなライブを実現する猛者も現れています。
VRCに入り込んでから一か月、ライブのようなものを作って遊んでます。見つけたら声掛けてください(^^♪基本エネちゃんかミクです。#VRChat始めました #VRChat #VRチャット pic.twitter.com/yPUw3EgEBu
— なみたさん (@namita0819) May 9, 2018
VRChatでライブのようなもの作っています(´-`).。oO#vrchatはじめました #vrchat始めました #VRChat #パーティクルライブ pic.twitter.com/Y4FL3xuPbH
— yorimiya57@バチャフェス最高 (@jav6868) June 24, 2018
自作ワールド
Unityを使って自分でワールドを作れたり、そこに好きなギミックを実装したり
その自由度の高さは、ユーザ・ジェネレーテッド・コンテンツ(ユーザがそのプラットフォームの上で、自分たちで好き勝手にコンテンツを生み出していく)を地でゆくもの。
これまで行われてきたイベント
既に現実と見まごう激アツなイベントが、VRChatでたくさん催されてきました。
- 3Dモデルをバーチャル空間の中で売る(試着もできる)バーチャルマーケット
“VRコミケ”ここにあり 熱気溢れる「バーチャルマーケット」現地レポ | Mogura VR - 国内外のVR/AR/MR最新情報
- バーチャル空間でやる音楽と光と花火のフェス!「バチャフェス」(次回の記事で書きます)
- 花火大会!!!
- 落語
開催場所はVRChat、プロの噺家とVTuberが披露した「VR落語会」 | Mogura VR - 国内外のVR/AR/MR最新情報
- 勉強会
東大でVRの勉強をするには?VRで or VRを研究するための研究室ガイド
(2019/3/7)
ブログをnoteに移行しました。
以下の記事も参考にしてみてください。
本記事のアップデート版も、noteに投稿する予定です(予定です)。
New↓
***
どうも。ゆうのLv3です。
東大の進学選択が近いということで、書いてみました。
「VRの研究したいんですけど、どこ行ったら良いですか?」
こんな相談を時々受けます。バーチャルという概念に魅せられた各位、いらっしゃいませ。
僕もまだまだペーペーですが、何かの役に立てるかもーと思い、
本記事では「東大でVRを扱った研究ができる研究室」を紹介することにします。
目についたところから順次書いていて、間にあってない所もありますが、御容赦ください(アドバイスください)。
他大生の人はこちらも併せてご覧ください。
バーチャルリアリティでリードする大学 - みらいぶプラス/河合塾
-----------------------------------------------------------------------
最終更新(2018/06/20)全研究室に研究内容を追加、進振りの項も更新
(2018/06/14 14:30)
→小谷研究室(精密工学)、大石研究室(先端研)を追記
(2018/06/14 13:00)
→猿渡・小山研究室(計数工学)を追記
-----------------------------------------------------------------------
書いた人
東京大学大学院 学際情報学府 学際情報学専攻 先端表現情報学コース
廣瀬・谷川・鳴海研究室 修士一年 @yunoLv3 (2018年6月)
-----------------------------------------------------------------------
目次
- #VRの研究 とは
- 研究室紹介
- 学科紹介 〜結局進振りでどこ行ったらいいの〜
- 最後に 研究室選びについて
#VRの研究 とは
VRの定義
とりあえず、Virtual Realityの定義を載せておきますね。
みかけや形は原物そのものではないが,
本質的あるいは効果としては現実であり原物であること
(日本バーチャルリアリティ学会 「バーチャルリアリティとは」)
もう少し馴染みやすい表現では、
物理的には存在しないものを、感覚的には
―――本物と同等の本質を感じさせる技術(筑波大:岩田先生)
―――そこにあると感じさせる技術(東大:鳴海先生)
ということになってます。
「これの研究をする」ってなんでしょうか?
VRが関わる分野
VRの研究って、つまり何を調べることになるのでしょうか?
VR学会のWebページによれば、バーチャルリアリティは
シミュレーション,エンターテインメント,芸術を始め,医療,設計・計画・評価,ソフトウエア作成,コミュニケーション,ヒューマンインタフェース,ロボット制御など極めて多岐にわたる分野 ーーー
(中略)
ーーー バーチャルリアリティの基礎としては,コンピュータグラフィックスを中心とする計算機科学,ロボットや機械の計測制御通信工学や情報システム科学などに加え,美術・芸術や認知心理学を始めとする人文・社会科学や,生体工学,生理学,医学があり,その意味でバーチャルリアリティは芸術と科学技術が統融合する一つの総合科学 (Science and Art) としての新しい学問分野を形成しつつある.
となっています。とても学際的というか、分野横断的というか、
色々な学問領域を横断することで実現している技術です。
そこで東大は、2018年2月に「VR教育センター」という連携機構を立ち上げ、
各分野を横断するVR(AR/MR)に関する基礎研究と社会実装(応用研究)の両面に
大学全体として取り組んでいく姿勢を打ち出しています。(ニュース)
(東大VR教育センター発表時に公開されたスライド)
そういうわけで、一口に「VRの勉強」といっても本当に色々です。
例えていうなら「パソコンの勉強がしたい」って言ってる感じです。
パソコンの勉強って、ハードウェア、ソフトウェア、通信、プログラミング……
と、まあ無限の勉強分野があるじゃないですか。
そうなってくると、パソコンの何が知りたいか、パソコンで何がしたいか?
っていうことをはっきりさせた方がいいと思いませんか。
しかも場合によっては、以下がごちゃ混ぜになっている場合もあります。
まずは自分が、Virtual Realityに対してどんな興味を持っているのか考えましょう。
あなたは研究という活動において、VRとどう関わって行きたいですか?
研究室紹介
各研究室の進学の仕方(どこを志願・受験すればいいのか)と、
所属している先生方や研究がわかるようなリンクを集めてみました。
まずは各研究室のWebページに行って、どんなプロジェクトが進んでいるのか見てください。
東大は現在、世界規模で見てもトップレベルにVR関連の研究者が多い大学です。
是非この素敵な環境を活用して、VR技術の水平を押し広げて行きましょう。
廣瀬・谷川・鳴海研究室(Webページ)
所属
研究内容
空間認知、行動誘発、身体所有感、ゴーストエンジニアリング(アバター)、
情動インターフェース、クロスモーダル……。規模の大きい研究室で、扱っている分野も幅広いです。
廣瀬先生は2020年に定年で退官なさるので、近々研究室の体制が変わる可能性があります。(中の人だけどよく知らない)進学希望の場合は注意しましょう。
廣瀬 通孝 先生
いずれ老いていく僕たちを100年活躍させるための先端VRガイド (星海社新書)
- 作者: 廣瀬通孝
- 出版社/メーカー: 講談社
- 発売日: 2016/06/24
- メディア: 新書
- この商品を含むブログ (2件) を見る
谷川 智洋 先生 鳴海 拓志 先生
吉田 成朗 先生
稲見・檜山研究室(Webページ)
所属
- (卒論生)工学部 計数工学科 システム情報工学コース
(修士・博士)情報理工学系研究科 システム情報学専攻
(修士・博士)情報学環・学際情報学府 学際情報学専攻 先端表現情報学コース
(博士)工学系研究科 先端学際工学専攻
研究内容
我々は、機器に代替作業をさせる「自動化」と並立する概念として、本来人がやりたいことを自在に行うことを可能とする「自在化」を提唱しています。
この自在化を実現するために、身体・行動のシステム的な理解に基づき、バーチャルリアリティ、拡張現実感、ウェアラブル技術、ロボット技術、テレイグジスタンスなどの人間拡張工学を研究開発し、社会実装することを目指します。
人は「ホモ・ファーベル(作る人)」とも呼ばれ、「道具」を作ることで生活範囲を広げてきました。人類は自在化技術により、「道具」だけでなく自らの「身体像」をも超身体、脱身体・変身体、分身体・融身体といった形で自ら設計可能となります。
そのとき、労働、移動、所有といった概念が転機を迎えることになります。過去の産業革命は、技術により社会だけでなく我々の身体観も変えてきました。自在化技術で新たな身体観を獲得することで現在進行中の情報革命は最終段階へと進むことになるでしょう。
稲見・檜山研究室 / Inami Hiyama Laboratory
稲見 昌彦 先生
スーパーヒューマン誕生! 人間はSFを超える (NHK出版新書)
- 作者: 稲見昌彦
- 出版社/メーカー: NHK出版
- 発売日: 2016/02/09
- メディア: 新書
- この商品を含むブログ (4件) を見
檜山 敦 先生
インタフェースの発達が、複合現実感をもたらす〜檜山 敦・東京大学先端科学技術研究センター講師 | Top Researchers
暦本研究室(Webページ)
所属
研究内容
暦本 純一 先生
苗村研究室(Webページ)
所属
研究内容
苗村 健 先生
筧研究室(Webページ)
所属
- (修士・博士)情報学環・学際情報学府 学際情報学専攻 先端表現情報学コース、
あるいは文化人間情報学コース
研究内容
今年から東大に開設した大学院生向け研究室。2018年は1期生を募集中。
『Activating the Physical』というキーワードのもと、我々の身体が存在する物理世界とコンピュータにより構成されるデジタル世界との間に新たな架け橋を作り、それぞれの特性を融合した新たな『リアル』ワールドを開拓しています。物質(Atoms)と情報(Bits)の見分けがつかなくなるほど深く融合・結合した新たなメディア・環境と人間との関係性(インタラクション)およびそれがもたらす未来を見通し、体験できる形で具現化し、議論します。そこでは、人間を置き去りにするテクノロジーではなく、人間が感覚を研ぎすまし、新たな視点や能力を獲得することを促すようなHuman-Harmonized(人間調和的:ヒューマン・ハーモナイズド)なメディアの創造を目指します。本研究室のカバーする研究分野としては主に、オーグメンティッド・リアリティ(拡張現実感)、コンピュータ・ヒューマン・インタラクション、エンタテインメントコンピューティング、メディアアートなど、アート・デザイン・エンジニアリングの領域を横断的に行き来しながら進めていきます。
筧 康明 先生
Twitter:Yasuaki Kakehi 筧 康明 (@xhi_) | Twitter
小川研究室(Webページ)
所属
研究内容
拡張現実感や仮想現実感の技術を用いて人々の能力を拡張し、日常の生活を豊かにすることを目標に、さまざまな研究に取り組んでいます。
すべての研究テーマに共通するキーワードは「つなぐ」。人と人をつなぐ「コミュニケーション支援」や「グループウェア」、人とコンピュータをつなぐ「インタフェース」、人とデータをつなぐ「インタラクション技術」など、ヒト×モノ×コトを、それぞれ相互に作用させることで、新たな体験を創出する仕組みを実現します。
小川先生
篠田・牧野研究室(Webページ)
所属
- (卒論生)工学部計数工学科
(修士・博士)新領域創成科学研究科複雑理工学専攻
(修士・博士)情報理工学系研究科システム情報学専攻(システム第4研究室)
研究内容
人間,環境,その相互作用のセンシングや,五感,特に触覚に働きかけて人間を支援する技術について,ハードウエアレベルからの提案
篠田先生
相澤・山崎研究室(Webページ)
所属
研究内容
画像・映像情報処理をキーワードに
認識・最適化技術
マルチメディアライフログ: Foodlog
3次元・天球映像による街中映像処理
漫画の画像処理
知覚・マルチモーダル処理
Attractiveness Computing (魅力工学)
機械学習・パターン認識の新領域開拓
実世界応用
など。
山崎俊彦先生
横澤研究室(Webページ)
所属
-
(卒論生)文学部心理学専修
(修士・博士)人文社会系研究科 心理学研究室
研究内容
視覚を中心に、クロスモーダルやシナスタジア(共感覚)など。
横澤一彦先生
割澤研究室(Webページ)
所属
研究内容
センシング技術、通信技術、それらの統合。センサーベースの情報ネットワークシステムの開発。VRという観点では、視覚情報を使って擬似的に触覚を生み出すなど。
石川・妹尾研究室(Webページ)
所属
研究内容
研究室Facebook
センサ情報処理における並列処理と高速・リアルタイム性を高度に示現する研究
・五感の工学的再構成を目指したセンサ フュージョンの理論並びにシステムアーキテクチャの構築とその高速知能ロボットへの応用
・高速画像処理及び動的光学系に基づき運動対象の情報を適応的に取得する基礎技術を開発及び応用システムを創出する ダイナミック ビジョン システムの研究
・並列処理に基づく高速画像処理技術 (理論・アルゴリズム、デバイス) 並びにその応用システムの実現を目指す システム ビジョン デザイン の研究
・実世界における新たな知覚補助技術並びにそれに基づく新しい対話の形を創り出す アクティブ パーセプション 技術の構築とその応用に関する研究
など
猿渡・小山研究室(Webページ)
所属
研究内容
音メディアに関する現象の理解・情報処理・制御を目指し、波動場を意識した新たな信号処理の創出及びそれを応用した情報処理システムの構築など。
音のVR・ARに関する研究も含まれています。
猿渡洋先生
光石研究室(Webページ)
所属
研究内容
最先端のロボット技術及び生産技術を構築することと、それを最先端の種々の分野に適用すること。
(1)医療
低侵襲手術や微細手術を対象として、安全かつ正確に、さらには遠隔地から手術支援を行うロボティック・システムの研究を行っている。ロボット技術の利点を最大限に生かすべく、超微細な機構や超精密制御を搭載した手術ロボットを開発している。(2)生産加工
難削材を対象とした高精度、高効率の加工技術を開発している。また、生体組織加工における現象をマイクロ・ナノレベルで解析しており、例えば、骨切削を対象とした生体適合型加工の研究を行っている。
山本研究室(Webページ)
所属
-
(卒論生)工学部 精密工学科
(修士・博士)工学系研究科 精密工学専攻
研究内容
メカトロニクスに関してデバイスから応用システムまで。
アクチュエータ・センサ,触力覚提示技術,コンピュータ・ヒューマンインタラクション,ロボティクス等
触覚提示技術、力覚提示デバイスの研究などがありました。
神保・小谷研究室(Webページ)
所属
- (卒論生)工学部 精密工学科
(修士・博士)工学系研究科 精密工学専攻
研究内容
細胞から個体までの生命現象を理解する研究
微細加工技術を用いた細胞の活動計測
幹細胞を用いた再生医療
生命現象の動作原理を数理的に解明
脳神経活動を数理モデルから再現・予測
脳波計・NIRSを用いた脳内の情報処理の解明
多感覚拡張現実感技術を用いた新しいBrain-computer-interface
など。
大石研究室(Webページ)
所属
研究内容
3D E-HERITAGE / ROBOT SYSTEM
Sensing, shape analysis, visualization and 3D reconstructionAUGMENTED/MIXED REALITY
Occlusion handling, rendering, lcalization / trackingINTELLIGENT TRANSPORTATION SYSTEMS
City modeling, object detection, social ITS / Teleoperation of humanoid robot
小山博史研究室(Webページ)
所属
研究内容
学科紹介 〜結局進振りでどこ行ったらいいの〜
機械情報と電子情報と計数工学科って何が違うの?
みたいなことって、毎年3000人くらいが思ってると思います。
基本的には以下の情報を集めて比較して見るとわかりやすいと思います。
- 実験や演習で扱っている題材
- 所属している先生(卒論の指導が受けられるかも)
- カリキュラム
- 学科の雰囲気(学生間の交流がどうなっているとか)
例えば実験について、電子情報では電子とか回路とかを扱う一方で、計数工学では生体情報のセンシングを扱ったり……といった具合です。(毎年内容がちょっとずつ変わっていることもあるので、直近の先輩に確認して見ましょう。)
ただ、この3つの選択を「間違えた」場合でも、そんなに致命的な差は生まれないんじゃないかと個人的には思います。
どの学科に行っても、その人の頑張り次第で到達可能な地点には大差がないからです。
工学部 機械工学科
工学部 機械情報工学科
- 廣瀬・谷川・鳴海研究室(Webページ)
Q.ロボットの研究は,他の大学や学科でもできそうですが?
A.等身大ヒューマノイドなどの複雑なロボットを実際に作ることから,人工知能などの高次の計算法まで,ロボットにまつわるトピックを広く深く取り扱っているところが機械情報工学科の特徴です.
Q.機械情報工学科はロボットしかやっていないのですか?
A.そんなことはありません.機械情報工学科では,ロボットの研究を中核に据えたうえで,知能機械という切り口で幅広い題材を研究対象としています.例えば,人間や動物の脳のメカニズム,マイクロマシンを応用した各種新技術,人間の様々な感覚に働きかけるバーチャルリアリティやヒューマンインタフェースなどを実際に研究開発しています.
工学部 計数工学科
物理世界と情報世界を繋ぐ「認識と行動」の学問”です。 「認識」とは対象のモデル化であり、「行動」とは対象への働きかけです。われわれは、工学の基本原理ともいえるこの枠組みを大切にしています。
例えば、人が医療用の義手を意のままに操作するブレインマシンインターフェースを実現するには、脳からの有意な神経信号の計測・解析、制御信号の設計、ハードウェアの実現が鍵となります。本コース/専攻では、ロボット、通信、生命など様々な対象にも適用できる、このような認識と行動の普遍的原理を追求し、新しい機能を実現しようとしています。
工学部 電子情報工学科
Q1:計数工学科や理学部情報科学科とどう違うのですか?
電子情報工学科の特徴としては、
(1) 計算機・情報処理の仕組み(コンピューティング)
(2) 通信・ネットワークの仕組み
(3) メディア・コンテンツ技術
という、情報技術の持つ三つの側面を全て学べるカリキュラムを用意している点があります。 特に、ネットワークまで専門にしているのは電子情報の特徴です。要素技術の改良だけでイノベーションを起こせる時代は終わりました。電子情報工学科では、コンピュータを構成する電子回路といったハードウェア、オペレーティングシステムやアルゴリズム、そしてメディア・コンテンツ技術に至る非常に幅広い技術領域を網羅したカリキュラムが用意されており、あなたの選択次第でスペシャリストにもジェネラリストにもなることが可能です。
電子情報工学科・電気電子工学科は2017年から五月祭で「VR企画」をやってます。
工学部 精密工学科
精密工学科は2018年の五月祭で「VR企画」を有志が出していましたね。
精密工学科のカリキュラムは、機械物理・情報数理・計測制御の基礎工学を土台として、精密工学の柱であるメカトロニクス・設計情報・生産の3分野を中心に構成されています。2年後半から3年にかけての専門科目では、基礎工学の学修をふまえ、豊富な演習を交えて領域工学の知識と方法論を徹底的に習得。3年夏休みのインターンシップ、その後の輪講や工場見学を経て4年進級と同時に研究室に配属され、1年をかけて卒業研究に取り組みます。
文学部 心理学専修
最後に 研究室選びについて
というわけで、VRというキーワードで探すと色々な研究室があります。
特に工学部の研究室とかだと、お互いに結構似ているかもしれません。
(僕は学際情報学府の面接入試で各研究室間の違いを質問されましたw)
それぞれの研究室が最終的に実現したいビジョンは、割とお互いに親和性が高いのだと思います。
人とコンピュータのより良い共存、とか、人間の性質を探求・拡張していくとか。
もしも違いがあるとすれば、それらを探求する際の方法論でしょうか。
目指すものが似ていても、そこに至る道のりは幾通りもあります。
どういうアプローチで、そしてどういうテクノロジーを使って研究をしているのか。
- 身体や心というキーワード(の比率)は?
- VRを
人を知るための道具として使っているのか?
人の可能性を広げるための道具として使っているのか?
VR技術それ自体の基礎研究をしているのか? - 人間のどこに着目した研究が多いか?(身体?触覚?視覚?生活?コミュニケーション?……)
- ……
もちろんVRは一つの道具でしかなく、メインの研究テーマではない研究室もあります。
あるいはコンピュータグラフィクス分野など、VRを実現するための基礎研究を
行なっているところもあります。
まずは各研究室の、これまでの成果物(作品やデモ、論文)をざっと眺めてみて
●●研っぽさ、を感じましょう。
それから、研究室というコミュニティは、人が出入りする性質上とても流動的です。
入ってくる先生・学生によって、時間とともに雰囲気や研究内容が変わっていきます。
ラボの雰囲気が合うか合わないかもとても重要です。
進学を志望するのであれば、教員に直接コンタクトを取って見学に行きましょう。
教授は爆裂に忙しくメールの返事が返ってこないことはありますが、
断る人はまずいません。少なくともここに挙げた先生方は断りません。(多分)
研究室見学の他にも、
- オープンハウス(公式な研究室見学会)
- 学科説明会(いくつかの研究がデモ展示することも)
- イベント(文化祭や学科が独自で運営しているイベント、工学部が主催しているイベント)
など、色んなところでラボの説明をしていることもあります。行きたい研究室が所属している研究科のホームページを確認して見ましょう。
東大五月祭2018で、VRを体験できる場所リスト
東大の文化祭「五月祭」(公式サイト)。毎年学生が自由にあれこれ展示をしています。
公式サイトでいまだに企画内容の検索ができないので
五月祭でVR技術を使った展示のリストを自分で作りました。
展示している面々は、去年とあんまり変わっていないようです。
- 1. 極限VR落下体験!ヘリから脱出せよ!(UT-virtual)
- 2. UT-virtual portfolio
- 3. 近未来体験 2018
- 4. 医学フェスタ
- 5. 精密Lab.
- 6. 工学部博覧会
- UT-virtual portfolioの詳細
1. 極限VR落下体験!ヘリから脱出せよ!(UT-virtual)
企画番号:508
団体 :UT-virtual
会場:教育学部棟109講義室
五月祭企画「極限落下VR体験!ヘリから脱出せよ!」から最新画像が届いたぞ!
— UT-virtual 公式 (@UT_virtual) 2018年5月17日
アーマーを装着し、バイザーでナビゲーターと通信出来るようだ。しかし次の瞬間、怪しいヤツらに囲まれている!?
一体何が起こるのか、【教育学部棟109講義室】にてその目で確かめろ!#五月祭#東大#utvirtual pic.twitter.com/wZSlyge3Un
東大VRサークル(2017年3月ごろに発足)「UT-virtual」の展示 その1。
仰向け状態で体験するVR!大空から落下する爽快体験。
風を用いた演出や、実写映像とCGの合成にもチャレンジしています。
整理券制ではありませんが、体験できる人数は物理的に制限があるので、
体験希望者はお早めに!
公式サイト
2. UT-virtual portfolio
企画番号:674
団体:UT-virtual
会場:工学部1号館 234教室(17号講義室)
【告知解禁】
— UT-virtual 公式 (@UT_virtual) 2018年5月13日
今年のUT-virtual五月祭企画はなんと2つ!!
UT-virtualオリジナルのVRコンテンツを二つの異なる教室で体験出来ます。
遥か上空から落ちたり、スライダー体験をしたり、目玉を食べたり!?
『五感フル稼働』間違いなしです!
#五月祭 #東大 #utvirtual pic.twitter.com/6hpVtOGZ2g
「UT-virtual」の展示 その2
サークルメンバーが自主的に開発した個人プロジェクト(10個くらい)を、全部お見せします。
入り口で回数券を購入した後は、自由にご体験頂けます。
回数券に売り切れはありませんが、会場内が混み合った場合はお待ち頂くことがあります。
中身は……
となっています!
詳細はとても長くなるので、ページ最下部にまとめました!
僕がメンターをしていた6人の子も出すことになっています。
今後の成長のために、ぜひ体験した後に感想をください。
3. 近未来体験 2018
企画番号:370
団体:東京大学 工学部電子情報・電気電子工学科
会場:工学部2号館2階 10階 電気系会議室5
【電気系分野の魅力を凝縮】
— 東京大学五月祭公式 (@gogatsusai) 2018年5月7日
毎年好評の定番企画。研究室展示や電子工作教室に加え、仮想世界を体感できるVR企画やお子さまでも楽しめるプログラミング教室など、電気系分野の学問を楽しみながら体験できます。https://t.co/aa2Th5xfHT
VR企画のPVが完成しました!
— 近未来体験2018|東京大学電気系学科(EEIC)学生広報 (@eeic_studentadv) May 14, 2018
動画のシングルモードの他にも対戦型のマルチモードを用意しています
乞うご期待!#近未来体験2018 pic.twitter.com/56ElNOyNwC
電子情報工学科・電気電子工学科(併せてEEIC)の「近未来体験」は、
電気系の様々な企画の集積。「VR企画」は去年から始まった試みです。
今年はマルチ・シングル両プレイ対応で、宇宙のような空間でテニスのような体験を作ったとのこと。
VRヘッドセットをつけていない観客も楽しめるよう、壁に映像を投影して
会場全体の演出にも気を配っています。会場を観に行くだけでも楽しめるかも。
完全整理券制なので、体験希望の方はお早めに!
僕が責任者をやった去年と違って、今年はずーっと開発がスマートでした……。
企画公式サイト
https://2018.eeic.jp/works.html#vr
五月祭公式サイト内 企画ページ
https://gogatsusai.jp/91/visitor/search/view/370
4. 医学フェスタ
企画番号:522
団体:東京大学医学部
場所:医学部2号館本館
- VRで医療を体験しよう
高度なシミュレーションによって生成された心臓の3Dモデルを用いて,心臓の構造や疾患状態をさまざまな視点で分析できるツール
- 精神疾患の症状をリアルに体験
統合失調症VRでは、『どこかから変な声が聞こえてくる...』、認知症VRでは、『いないはずの人が見える...』など臨場感をもって病気の症状を体験できます。
【東大医学部が魅せる“医学の祭り”】
— 東京大学五月祭公式 (@gogatsusai) 2018年5月17日
東大医学部生たちがVR体験や短編映画、講演会など20を超える数の企画を通して医学のリアルをお届けします。赤門正面の医学部2号館本館で医学を身近に、楽しく体験することができます! pic.twitter.com/Qv156vGrAX
去年人気企画で1位だった(近未来体験の連覇が止められたw)医学フェスタ。
東大医学部の学生が行なっているこの企画では、2つのVR体験が展示されています。
平面モニターから心臓のCGが浮き出て見えるデバイス(富士通のzSpaceですかね)。
VRヘッドセットを使わなくても、バーチャルな体験ができます。
5. 精密Lab.
企画番号:333
団体:東京大学 工学部精密工学科
場所:本郷キャンパス 工学部エリア 工学部 14 号館
【VRで空中飛行🕊】
— 精密Lab.@五月祭 (@pe_mayfes) 2018年5月10日
本日ご紹介する4年生企画はこちら😶
WiiFitのバランスボード👣とVR映像📽を組み合わせて、なんと空中飛行体験ができるんです🛩
実際に自分の体重移動で進むゲーム、やってみたくないですか❔❔
没入感のあるVR空間の中で、めいちゃん(@ut_maychan)を集めて得点を競います🐑💪 pic.twitter.com/nXiPUjCBHC
工学部の精密工学科の学生の自主企画です!
詳細は存じ上げないのですが、詳しい取材記事がありました。
複数のVRコンテンツが展示されるようです。
企画取材記事
http://todai-umeet.com/article/33933/
企画公式サイト
http://www.pemayfes.t.u-tokyo.ac.jp/4th.html#ex4th
6. 工学部博覧会
団体名:東京大学工学部応用物理系
場所:工学部6号館全体
5月19日(土):
9:00-17:00 展示、12:00-13:00 講演会、13:30-14:30 教授座談会、15:00-16:00 体験教室
5月20日(日):
9:00-17:00 展示、12:00-13:00 体験教室、13:30-14:30 学生座談会、15:00-16:00 講演会
工学部の物理工学科と計数工学科が共同で行う企画。
画像処理班がARコンテンツを展示しています。
展示ページ
https://ap-phys.net/18/project/image/
また20日(日)の13:30から行われる座談会に、UT-virtual所属の学生が登壇します。
ちなみに計数工学科には稲見先生がいます。
五月祭ホームページ内 企画紹介
https://gogatsusai.jp/91/visitor/search/view/363
UT-virtual portfolioの詳細
企画番号:674
団体:UT-virtual
会場:工学部1号館 234教室(17号講義室)
もしも手に耳があったら
耳が頭にあるのが当たり前だと思っていませんか?普段、なんの違和感もなく頭の横に収まっているものを、手のひらにくっつけてみました。もし耳が手にあったら、どうなるのでしょうか?
SliderRide
ハンモックで新感覚・滑走体験!!!
ハンモックのあのゆらゆらする感覚は、滑走・浮遊体験と相性抜群。
VRヘッドセットだけでは味わえない、全身を使った体験をお楽しみください。
盲目巨人族との対話
ある街を下から見るか,上から見るか.ある街を目で見るか,手で見るか.その会話成立するか,成立しないか.(※2人協力プレイの宝探しゲームです.)
目玉を食べる
目玉を食べたことがありますか?目は人間の一つの器官です。人間の器官を食べて体内に取り込むとどんな気持ちになるでしょう?実際見えているものと口にしたものが違う場合、どんな味がするでしょう?ARを使う食事を体験していってください。
Microtone VR
皆さんが普段聴く音楽はJ-POP?ロック?クラシック?しかし、これらの音楽はみんな12音階で表現出来ます。Microtoneとは微分音という意味で、1オクターブを数分割したうちの1音を指します。是非、今回微分音による新しい体験を得て、音による無限の可能性を広げてみませんか⁉
Be a Vtuber!
DaydreamViewを使った誰でもVtuberになれるVtuber体験アプリです。髪の色やアバターを選んでVtuberになりきって好きなポーズを取れます。
Vtuberになった記念写真もプレゼント!
バーチャルウィンドウ
皆さんは宇宙や地球を窓から眺めてみたことはありますか?夏に、窓の外の景色を雪山にして気分だけでも涼しくなりたくないですか?このコンテンツは、窓を壁に自由に貼り付けることができ、外の景色を変えることができるものです。是非一度体験していって下さい。
ミニ物体検出器〜tiny-YOLO〜
ディープラーニング技術を用いた物体検出の実装を展示しています。物体検出は拡張現実(AR)の世界に応用可能な技術であり、駒場祭等でコンテンツへの組み込みを計画しています。今回はその基本的な実装となります。
どこでもジャイアントクラッシュ
HoloLensというMRデバイスを用いた,現実空間に突如出現した巨大ロボットの下の柱を抜いていくジェンガのようなゲームです.
現実にvirtualが紛れ込んだ世界で,バランスの限界を極めろ——