Research・研究内容

Research

Below are my research projects at Tokyo Tech. For my previous research, please see my personal website.

Kawaii Vocalics

Kawaii vocalics, or kawaii voice user experience (UX), is a new area of study aiming to explain the properties and effects of kawaii (Japanese "cute") voice phenomena. Kawaii vocalics fills the gap between the psychological study of kawaii and human-computer interaction (HCI) by considering how the design of virtual agents with kawaii voices can affect first impressions, trust, rapport, and compatibility. We will explore the nature and attributes of kawaii vocalics compared to kawaii visuals and emotion and behaviour elicitation through virtual agents with kawaii voices.

カワイイ・ヴォーカリクス、すなわちカワイイ音声ユーザー・エクスペリエンス(UX)は、カワイイ音声現象の特性と効果を説明することを目的とした新しい研究分野である。カワイイ・ヴォーカリクスは、カワイイ声を持つバーチャル・エージェントのデザインが、第一印象、信頼、ラポール、相性にどのような影響を与えるかを考察することで、カワイイの心理学的研究とヒューマン・コンピュータ・インタラクション(HCI)のギャップを埋めるものです。私たちは、カワイイビジュアルと比較したカワイイ・ヴォーカリックスの性質と属性、そしてカワイイ・ヴォイスを持つバーチャル・エージェントによる感情と行動の誘発について探求します。

Projects

Kawaii Computing

Kawaii computing explores the Japanese concept of cute in human-computer interaction contexts. We consider the socio-cultural features of kawaii in interactive experiences with computers.

カワイイ・コンピューティングは、ヒューマン・コンピュータ・インタラクションの文脈における日本の「カワイイ」の概念を探求している。我々は、コンピュータとのインタラクティブな体験における「カワイイ」の社会文化的特徴を考察する。

Modelling Kawaii Vocalics

Little is known about kawaii as a sound phenomenon. What features of visual kawaii transfer? What unique properties does kawaii sound have? We ask.

音の現象としてのカワイイについてはほとんど知られていない。視覚的なカワイイにはどのような特徴があるのか?カワイイ音声にはどんなユニークな特性があるのか?我々は問う。

Kawaii Game Voice UX

Kawaii game voice user experiences (voice UX) are characterized by visual and sound phenomena associated with characters and other diegetic agents.

カワイイゲーム音声UX(ボイスUX)は、キャラクターや他のダイスジェティックエージェントに関連する視覚的・音響的現象が特徴です。

Voice UX

Voice is a natural mode of communication. As an aural medium, voice is used to deliver information (speech) as well as express characteristics of the speaker (vocalics). Advances in sound production and machine learning alongside the proliferation of intelligent assistants and dictation interfaces have pushed voice user experiences (voice UX) to the forefront of modern human-computer interactions. We explore the paradigm of voice UX through systematic reviews, critical design studies, and controlled experiments.

音声は自然なコミュニケーション手段です。聴覚メディアである音声は、情報(内容)を伝えるだけでなく、話し手の特徴(パラ言語)を表現するために使用されます。音声生成と機械学習の進歩は、知的アシスタントやディクテーション・インターフェースの普及と並んで、音声ユーザー体験(音声UX)を現代の人間とコンピュータのインタラクションの最前線に押し上げました。私たちは、文献調査、クリティカル・デザイン調査、および人体実験を通して、音声UXの現象を探求しています。

Projects

Voice Against Bias

Can voice influence attitudes towards age? We aim to find out with MAKOTO, our “older adult” voice assistant.

音声は年齢に対する意識に影響を与えることができるのか?お年寄りぽい音声アシスタント「MAKOTO」を使って、それを明らかにすることを目指します。

Evaluating Voice UX

We're exploring ways to measure and evaluate interactions with voice-based agents, interfaces, and environments.

音声エージェント、インターフェース、環境とのインタラクションを測定・評価する方法を模索しています。

Morphologies in Voice and Body

What kinds of bodies should voice-based agents have, if any? We explore a range of modalities and morphologies.

音声ベースのエージェントは、どのような身体を持つべきなのでしょうか。私たちは、さまざまなモダリティとモルフォロジーを探求しています。

Interactions in the Negaverse

Intersectional design examines how power operates through design practice with respect to overlapping factors of social identity, such as gender, age, and race. Designers, knowingly or not, draw on social models of how we look and sound, think and behave, and interact with the world. Users, too, respond in kind. We approach this phenomenon from an intersectional perspective, focusing on whether human diversity is reflected in design and research practice as well as how user reactions are shaped by biases embedded in the design of intelligent agents and interactive experiences.

交差的デザインは、ジェンダー、年齢、人種といった社会的アイデンティティの重複する要素に関して、デザイン実践を通してどのように権力が作用するかを検証します。デザイナーは、知ってか知らずか、私たちがどのように見え、聞こえ、考え、行動し、世界と相互作用するかという社会的モデルを引き出します。ユーザーもまた、それに呼応するのです。私たちは、人間の多様性がデザインやリサーチの実践に反映されているか、また、ユーザーの反応が知的エージェントやインタラクティブ体験のデザインに組み込まれたバイアスによってどのように形成されているかに注目し、交差的な観点からこの現象にアプローチしています。

Projects

ELEMI: Exoskeleton for the Mind

Exploring whether and how a metacognitive agent can help us grapple with misinformation on social media.

メタ認知エージェントがSNS上の誤報に対処するのに役立つかどうか、またどのように対処するかを探ります。

Trust in AI

What factors affect trust and reliance in AI-based agents, systems, and environments? Exploring layperson and expert perspectives.

AIを活用したエージェント、システム、環境に対する信頼や信用に影響を与える要因とは?一般人や専門家の視点を探ります。

Dark Patterns and Deceptive Design

Exploring dark patterns, deceptive interactions, and persuasive interfaces in Japan and elsewhere.

日本と海外のダークパターン、欺瞞的なインターアクション、説得力のあるインターフェイスを探ります。

  • Lab Members:
    Katie Seaborn
    Shun Hidaka
    Sota Kobuki
    Tatsuya Itagaki
    Mizuki Watanabe
    Jo Yukami
    Weichen Joe Chang
  • Publications:
  • Timeline: FY21~
Maldaimonic Game UX

Maldaimonic player orientations and experiences are all about having fun being bad without harming others.

マルダイモニックなプレーヤーの志向と経験は、他人を傷つけることなく、悪いことを楽しむことにあります。

  • Lab Members:
    Katie Seaborn
    Satoru Iseya
    Shruti Chandra
  • Publications:
  • Timeline: FY22~

AI and Intersectional Design

Intersectional design examines how power operates through design practice with respect to overlapping factors of social identity, such as gender, age, and race. Designers, knowingly or not, draw on social models of how we look and sound, think and behave, and interact with the world. Users, too, respond in kind. We approach this phenomenon from an intersectional perspective, focusing on whether human diversity is reflected in design and research practice as well as how user reactions are shaped by biases embedded in the design of intelligent agents and interactive experiences.

交差的デザインは、ジェンダー、年齢、人種といった社会的アイデンティティの重複する要素に関して、デザイン実践を通してどのように権力が作用するかを検証します。デザイナーは、知ってか知らずか、私たちがどのように見え、聞こえ、考え、行動し、世界と相互作用するかという社会的モデルを引き出します。ユーザーもまた、それに呼応するのです。私たちは、人間の多様性がデザインやリサーチの実践に反映されているか、また、ユーザーの反応が知的エージェントやインタラクティブ体験のデザインに組み込まれたバイアスによってどのように形成されているかに注目し、交差的な観点からこの現象にアプローチしています。

Projects

Gender Neutrality in Robots and AI

We’re exploring whether and how robots and other AI can be perceived as gender-neutral.

ロボットや他の人工知能がジェンダー中性と認識されるかどうかを探っています。

  • Lab Members:
    Katie Seaborn
  • Publications:
  • Funding:Engineering Academy Young Scientist Encouragement Award
  • Timeline: FY22~
Social Identity in Robots and AI

We're exploring how social identity affects human-agent interactions.

社会的アイデンティティが人間と人工知能の相互作用にどのような影響を与えるかを探検します。

  • Lab Members:
    Katie Seaborn
    Haruki Kotani
    Takao Fujii
  • Publications:
  • Timeline: FY22~
Biases in Robots and AI

We're approaching biases within and around us from an intersectional lens.

私たちの中や周りのバイアス・偏見に、交差点的なレンズを実施すると研究します。

  • Lab Members:
    Katie Seaborn
    Yeongdae Kim
    Shruti Chandra
  • Publications:
  • Funding:Engineering Academy Young Scientist Encouragement Award
  • Timeline: FY22~

Meta Operandi

Let us zoom out and consider the meta level of research practice. From meta-analysis and meta-synthesis to Open Science and Open Source to cross-cultural translation, we aim for aspirational rigour in pursuit of human knowledge.

研究実践のメタレベルを拡大して考えてみましょう。メタアナリシスやメタシンセシスから、オープンサイエンスやオープンソース、異文化間翻訳に至るまで、私たちは人間の知識を追求する上で、「アスピレーショナル」厳密さを目指しています。

Projects

Systematic Review-lution

We aim to increase awareness and rigour in systematic review work. Find out more on the homepage.

システマティック・レビューに対する認識と厳密性を高めることを目指しています。 HPで詳しく読めます

  • Publications:
  • Timeline: FY23~
Project Translate Japan

Our goal is to translate all Japanese research into Japanese for the Japanese public and provide these translations in Open Science venues like Jxiv.

私たちの目標は、すべての日本の研究を日本の人々のために日本語に翻訳し、これらの翻訳をJxivのようなオープンサイエンスの場で提供することです。

  • Lab Members:
    Katie Seaborn
    Suzuka Yoshida
    Yuto Sawa
    Mutsumi Kashiwabara
    Miu Kojima
  • Publications:
  • Timeline: FY24~
Kawaii Vocalics

Collaboration

Kawaii Vocalics

This project will focus on the novel concept of kawaii vocalics. The two research trajectories are: (i) what is the nature of kawaii vocalics compared to kawaii visuals, which comprises almost all work on kawaii science so far (theoretical extension); and (ii) what emotions and behaviour do kawaii voices elicit compared to kawaii visuals (methodological extension).

このプロジェクトでは、「カワイイ・ヴォーカリクス」という新しい概念に焦点を当てる。研究の軌跡は以下の2つである: (i)これまでのカワイイ科学に関する研究のほとんどを占めるカワイイビジュアルと比較して、カワイイ・ヴォーカリックスの本質とは何か(理論的拡張)、(ii)カワイイビジュアルと比較して、カワイイ・ヴォイスはどのような感情や行動を引き起こすのか(方法論的拡張)。

April 2024 to March 2028

Prof. Katie Seaborn (Tokyo Tech)
Prof. Mayu Koike (Tokyo Tech)
Dr. Jun Kato (AIST)

Funding: JSPS Grants-in-Aid for Scientific Research B (KAKENHI Kiban B)

Collaboration

Aromanoidics

We will explore people's mental models of robot scent. To this end, we will conduct exploratory human subjects research on scent-to-robot matching and controlled experiments of different scents for different robots. This work is sure to spark research on robot aroma and olfactory interaction. The results may be used in the design of robots that work closely with people, such as in the workplace, in the home, as (aroma)therapeutic robots, and in customer service settings, especially at storefronts.

ロボットの香りに関する人々のメンタルモデルを探る。そのために、香りとロボットのマッチングに関する探索的な人体実験と、さまざまなロボットにさまざまな香りを適用する対照実験を行う。この研究は、ロボットの香りと嗅覚インタラクションの研究に火をつけるに違いない。この成果は、職場や家庭、(香り)治療ロボット、接客(特に店頭)など、人と密接に働くロボットの設計に活用されるかもしれない。

June 2023 to June 2024

Prof. Katie Seaborn (Tokyo Tech)
Prof. Gentiane Venture (The University of Tokyo)

Funding: 16th Shiseido Female Researcher Science Grant

Aromanoidics
Voice Against Bias

Independent

Voice Against Bias

We will explore the use of "elder" voice assistants as a novel method of reducing negative cognitive biases like implicit ageism. Cognitive biases are natural functions of the human mind that are influenced by the external world in positive and negative ways. Through co-design methodologies, intergenerational user studies, and long-term "in the wild" evaluations, we will examine whether voice assistants with older adult voices can shift biases in prosocial directions.

暗黙のエイジズムのような否定的な認知バイアスを軽減するための新しい方法として、「年長者」の音声アシスタントの使用の研究。認知バイアスとは、人間の心が持つ自然な機能であり、外界の影響を受けてポジティブにもネガティブにも変化するもの。共同デザイン手法、世代間のユーザー研究、および長期的な「イン・ザ・ワイルド」評価を通じて、高齢者の声を持つ音声アシスタントが偏見を向社会的な方向にシフトできるかどうかを検証する。

April 2021 to March 2025

Prof. Katie Seaborn

Funding: JSPS Grant-in-Aid for Early-Career Scientists (JSPS KAKENHI Wakate)

Collaboration

Project Elemi

Our goal is to create and study Elemi, an “exoskeleton for the mind.” Elemi will be an AI-based intelligent support system designed to augment metacognition in everyday situations. Built with and for the public, it aims to help people with a range of everyday challenges in the information age.

本プロジェクトの目標は,心の外骨格「エレミ」を開発し研究することである。エレミは,日常的な状況におけるメタ認知を増強するためのAIベースの知的支援システムである。情報社会における日常の課題について人々を支援することがねらいである。

September 2020 to March 2022

Prof. Jacqueline Urakami (Tokyo Tech)
Prof. Hiroki Oura (Tokyo Tech / Tokyo University of Science)
Dr. Yeongdae Kim (Project Researcher)

Funding: DLab Challenge Grant

Project Elemi