Basic Information

Faculty

• 工学部

Academic Degree

• 25 Sep. 2018

  博士（情報学）(京都大学)
• 23 Mar. 2015

  修士（情報学）(京都大学)
• 18 Mar. 2013

  学士（工学）（大学評価・学位授与機構）

Research History

• From May 2023, To Oct. 2023

  KTH Royal Institute of Technology, Visiting researcher
• From Apr. 2019, To Present

  Kyoto University, Graduate School of Informatics, Assistant Professor
• From Oct. 2018, To Mar. 2019

  Kyoto University, Graduate School of Informatics, Program-Specific Assistant Professor
• From Apr. 2018, To Sep. 2018

  Kyoto University, Graduate School of Informatics, Assistant Research Staff
• From Apr. 2015, To Mar. 2018

  Japan Society of the Promotion of Science (JSPS), Research Fellow (DC1)

Profile

• Profile

  Assistant Professor, Graduate School of Informatics, Kyoto University
  Research topics: Spoken dialogue systems, Conversational robots, Multimodal signal processing
  Ph.D. in Informatics (Kyoto University)
  
  My research centers around spoken dialogue systems—systems capable of conversing with humans using speech. Recently, there has been a practical application of this technology in devices like smartphones and smart speakers, which now feature applications capable of verbal communication. My research specifically aims to develop conversations that mimic the natural flow of human dialogue. Ultimately, I aspire to create conversational robots capable of engaging in conversations as fluid and insightful as those between humans. Although my work primarily deals with speech-based information, I also handle multimodal information such as audio-visual data. I proactively incorporate machine learning techniques, including deep learning and Bayesian methods. Furthermore, my research is informed by insights from various fields such as conversation analysis, linguistics, and cognitive science.

ID,URL

• J-Global ID

  201801006826732810

• Researcher number

  10838684

• External link

  http://www.sap.ist.i.kyoto-u.ac.jp/members/inoue/

researchmap URL

• https://researchmap.jp/kojiinoue

Research

Research Topics, Overview of the research

• Research Topics

  Spoken dialogue system, Conversational robot, Audio language processing, Multimodal signal processing

• Overview of the research

  I am conducting research on spoken dialogue systems that aim at natural human-like conversation. Specifically, I am researching and developing a spoken dialogue system for android (human-like robots). My ultimate goal is to realize a conversational robot that can carry out deep and flexible conversations like human beings. I use not only speech data but also multimodal data such as images.
  

Research Interests

• Speech signal processing
• Multimodal
• Spoken dialogue system
• Dialogue

Research Areas

• Informatics, Perceptual information processing, Pattern recognition
• Informatics, Perceptual information processing, Audio information processing

Papers

• Prediction of Validating Response from Emotional Storytelling Corpus

  Zi Haur Pang; Yahui Fu; Divesh Lala; Keiko Ochi; Koji Inoue; Tatsuya Kawahara

  第37回 人工知能学会全国大会, Jun. 2023

  
• アーティクル：表紙企画 人工知能歴史絵巻：これまでのAI これからのAI ④ ― ブームがやって来るヤァ！ヤァ！ヤァ！―

  榊剛史; 井上昂治; 山野泰子; 岩澤駿; 松原仁; 杉本舞; 谷口忠大

  人工知能, Jul. 2023

  
• 書評：セルジュ・ティスロン 著, 阿部又一郎 訳：ロボットに愛される日―AI 時代のメンタルヘルス

  井上昂治

  人工知能, Jul. 2023, Lead author

  
• アーティクル：表紙企画 人工知能歴史絵巻：これまでのAI これからのAI ③ —二度目の冬の蠢き—

  山野泰子; 井上昂治; 榊剛史; 岩澤駿; 松原仁; 杉本舞; 谷口忠大

  人工知能, May 2023

  
• アーティクル：表紙企画 人工知能歴史絵巻：これまでのAI これからのAI ② —冬の時代から第二次ブームへ—

  井上昂治; 山野泰子; 榊剛史; 岩澤駿; 松原仁; 杉本舞; 谷口忠大

  人工知能, Mar. 2023, Lead author

  
• アーティクル：表紙企画 人工知能歴史絵巻：これまでのAIこれからのAI —第三次AIブームを振り返って—

  榊 剛史; 井上 昂治; 山野 泰子; 岩澤 駿; 杉本 舞; 松原 仁; 谷口 忠大

  人工知能学会誌, Jan. 2023

  
• 50年経っても読まれる論文を

  井上昂治

  人工知能学会誌, May 2021, Lead author, Corresponding author

  
• A-20-4 JPEG 2000 Wireless Image Transmission System using Encryption Domain Authentication

  Kurosaki Masayuki; Ito Ryo; Matsuo Muneaki; Miyaoka Yuya; Inoue Koji; Eguchi Shoma; Ochi Hiroshi; Kuroki Yoshimitsu; Miyazaki Akio

  Proceedings of the IEICE General Conference, 06 Mar. 2012

  
• JPEG 2000 Parallel Processing for 4K Digital Cinema Wireless Transmission

  MATSUO Masateru; INOUE Koji; KUROSAKI Masayuki; KUROKI Yoshimitsu; SAI Baiko; OCHI Hiroshi

  Reports of the Technical Conference of the Institute of Image Electronics Engineers of Japan, 2011

  
• Real time 2D-DWT of JPEG 2000 for Digital Cinema using CUDA 4.0

  Koji Inoue; Yoshimitsu Kuroki; Masayuki Kurosaki; Yuhei Nagao; Hiroshi Ochi

  2011 International Symposium on Intelligent Signal Processing and Communications Systems: "The Decade of Intelligent and Green Signal Processing and Communications", ISPACS 2011, 2011, Peer-reviewed

  
• Faster implementation of JPEG2000 on GPGPU for real-time codec of Digital Cinema

  Eguchi Shoma; Inoue Koji; Kuroki Yoshimitsu

  Record of Joint Conference of Electrical and Electronics Engineers in Kyushu, 2011

  
• A Dialogue Behavior Control Model for Expressing a Characters of Humanoid Robots

  Yamamoto Kenta; Inoue Koji; Nakamura Shizuka; Takanashi Katsuya; Kawahara Tatsuya

  Transactions of the Japanese Society for Artificial Intelligence, 01 Sep. 2018

  
• 傾聴ロボットを用いた精神科デイケアでの会話の基礎検討

  越智景子; 井上昂治; 河原達也; 大西祐美; 熊﨑博一

  Mar. 2023

  
• Character adaptation of spoken dialogue systems based on user personality

  Kenta Yamamoto; Koji Inoue; Tatsuya Kawahara

  International Workshop on Spoken Dialogue Systems Technology (IWSDS), Feb. 2023, Peer-reviewed

  
• Improving Empathetic Response Generation with Retrieval based on Emotion Recognition

  Yahui Fu; Koji Inoue; Divesh Lala; Kenta Yamamoto; Chenhui Chu; Tatsuya Kawahara

  International Workshop on Spoken Dialogue Systems Technology (IWSDS), Feb. 2023, Peer-reviewed

  
• Semi-autonomous Guide Agents with Simultaneous Handling of Multiple Users

  Yusuke Muraki; Divesh Lala; Haruki Kawai; Kenta Yamamoto; Koji Inoue; Tatsuya Kawahara

  International Workshop on Spoken Dialogue Systems Technology (IWSDS), Feb. 2023, Peer-reviewed

  
• 実環境下日本語話し言葉音声コーパスの構築と音声認識ベンチマーク

  三村正人; 井上昂治; 河原達也; 中村友彦; 猿渡洋

  情報処理学会研究報告, Feb. 2023

  
• ヒューマノイドロボットがもたらす精神科医療の未来 精神科デイケアにおける傾聴ロボットによる対話実験

  河原 達也; 井上 昂治; 越智 景子

  精神神経学雑誌, Apr. 2022

  
• Dialogue Behavior Control Model for Expressing a Character of Humanoid Robots

  Kenta Yamamoto; Koji Inoue; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  2018 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference, APSIPA ASC 2018 - Proceedings, 04 Mar. 2019

  
• Character expression for spoken dialogue systems with semi-supervised learning using Variational Auto-Encoder

  Kenta Yamamoto; Koji Inoue; Tatsuya Kawahara

  Computer Speech & Language, Apr. 2023, Peer-reviewed

  
• Backchannel Generation Model for a Third Party Listener Agent

  Divesh Lala; Koji Inoue; Tatsuya Kawahara; Kei Sawada

  International Conference on Human-Agent Interaction, 05 Dec. 2022, Peer-reviewed

  
• 音声対話システムによる雑談対話におけるキャラクタ表現に基づくユーザ適応の検討

  山本 賢太; 井上 昂治; 河原 達也

  人工知能学会研究会資料, Dec. 2022

  
• 自律型アンドロイドのキャラクタ表現のための対話の振る舞い制御

  山本賢太; 井上昂治; 中村静; 高梨克也; 河原達也

  情報処理学会全国大会講演論文集, 2017

  
• 潜在キャラクタモデルによる聞き手のふるまいに基づく対話エンゲージメントの推定

  井上昂治; LALA Divesh; 吉井和佳; 高梨克也; 河原達也

  日本音響学会研究発表会講演論文集(CD-ROM), 2017

  
• Generating a Variety of Backchannels Based on Linguistic and Prosodic Features for Attentive Listening Agents

  山口 貴史; 井上 昂治; 吉野 幸一郎

  言語・音声理解と対話処理研究会, 29 Feb. 2016

  
• スマートポスターボードにおける視線情報を用いた話者区間検出及び相槌の同定

  井上 昂治; 若林 佑幸; 吉本 廣雅; 高梨 克也; 河原 達也

  第77回全国大会講演論文集, 17 Mar. 2015

  
• 拡散性雑音環境下における多人数会話のマルチモーダル話者区間検出

  若林佑幸; 中山雅人; 西浦敬信; 山下洋一; 井上昂治; 吉本廣雅; 河原達也

  日本音響学会研究発表会講演論文集(CD-ROM), 2015

  
• 多人数会話における視線情報を用いた話者区間検出

  井上昂治; 若林佑幸; 吉本廣雅; 河原達也

  研究報告音声言語情報処理（SLP）, 17 Jul. 2014

  
• Speaker diarization based on stochastic integration of audio and eye-gaze information in multi-party conversations

  井上 昂治; 若林 佑幸; 吉本 廣雅

  日本音響学会研究発表会講演論文集 日本音響学会 編, 2014

  
• Development of RobotHub: Integration of External System to Group Conversation System for Older Adults

  Seiki Tokunaga; Kohsuke Fukumori; Kazuhiro Tamura; Koji Inoue; Tatsuya Kawahara; Mihoko Ohtake-Matsuura

  World Conference of Gerontechnology (ISG), Oct. 2022, Peer-reviewed

  
• Can a robot laugh with you?: Shared laughter generation for empathetic spoken dialogue

  Koji Inoue; Divesh Lala; Tatsuya Kawahara

  Frontiers in Robotics and AI, 15 Sep. 2022, Peer-reviewed, Lead author

  
• 傾聴対話におけるユーザ発話に同調する相槌の韻律制御

  越智景子; 井上昂治; Lala Divesh; 河原達也

  日本音響学会2022年秋季研究発表会, Sep. 2022

  
• Simultaneous Job Interview System Using Multiple Semi-autonomous Agents

  Haruki Kawai; Yusuke Muraki; Kenta Yamamoto; Divesh Lala; Koji Inoue; Tatsuya Kawahara

  SIGdial Meeting on Discourse and Dialogue (SIGDIAL), Sep. 2022, Peer-reviewed

  
• Multimodal Persuasive Dialogue Corpus using Teleoperated Android

  Seiya Kawano; Muteki Arioka; Akishige Yuguchi; Kenta Yamamoto; Koji Inoue; Tatsuya Kawahara; Satoshi Nakamura; Koichiro Yoshino

  INTERSPEECH, Sep. 2022, Peer-reviewed

  
• Alzheimer’s Dementia Detection through Spontaneous Dialogue with Proactive Robotic Listeners

  Yuanchao Li; Catherine Lai; Divesh Lala; Koji Inoue; Tatsuya Kawahara

  ACM/IEEE International Conference on Human-Robot Interaction (HRI), Mar. 2022, Peer-reviewed

  
• A multi-party attentive listening robot which stimulates involvement from side participants

  Koji Inoue; Hiromi Sakamoto; Kenta Yamamoto; Divesh Lala; Tatsuya Kawahara

  SIGdial Meeting on Discourse and Dialogue (SIGDIAL), Jul. 2021, Peer-reviewed, Lead author

  
• Findings from human-android dialogue research with ERICA

  Divesh Lala; Koji Inoue; Kenta Yamamoto; Tatsuya Kawahara

  RobotDial Workshop on Dialogue Models for Human-Robot Interaction (ROBOTDIAL), IJCAI-PRICAI workshop, Jan. 2021, Peer-reviewed

  
• 共感を表出する音声対話システムのための共有笑い生成

  井上昂治; Lala Divesh; 河原達也

  人工知能学会研究会資料, Nov. 2021, Lead author

  
• 音声対話システムのユーザ適応に向けたパーソナリティの関係性の分析

  山本賢太; 井上昂治; 河原達也

  人工知能学会研究会資料, Nov. 2021

  
• 人類の分断を克服し調和を実現するための科学技術に関する調査研究

  佐久間洋司; 井上昂治

  人工知能学会誌, Nov. 2021, Last author

  
• 複数ロボットによる対話継続効果検証のための商業施設でのフィールド実験

  酒井和紀; 吉川雄一郎; 井上昂治; 河原達也; 石黒浩

  第39回日本ロボット学会学術講演会, Sep. 2021

  
• An Attentive Listening System for Autonomous Android ERICA: Comparative Evaluation with Human Attentive Listeners

  Koji Inoue; Divesh Lala; Kenta Yamamoto; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  Transactions of the Japanese Society for Artificial Intelligence, 01 Sep. 2021, Peer-reviewed, Lead author

  
• アンドロイドERICAの音声対話システム～マルチモーダルチューリングテストへの挑戦～

  井上昂治

  電子情報通信学会技術研究報告, 18 Jun. 2021, Invited, Lead author, Last author, Corresponding author

  
• Semi-autonomous avatar enabling unconstrained parallel conversations --seamless hybrid of WOZ and autonomous dialogue systems--

  Tatsuya Kawahara; Naoyuki Muramatsu; Kenta Yamamoto; Divesh Lala; Koji Inoue

  Advanced Robotics, 19 May 2021, Peer-reviewed, Last author

  
• ヒューマンロボットインタラクションにおける音響特徴に基づく共有笑いの予測

  井上昂治; Lala Divesh; 河原達也

  日本音響学会2021春季研究発表会, Mar. 2021, Lead author

  
• ヒューマンロボットインタラクションのための相槌・笑いのリアルタイム検出

  井上昂治; Lala Divesh; 河原達也

  日本音響学会2021春季研究発表会, Mar. 2021, Lead author

  
• Intelligent Conversational Android ERICA Applied to Attentive Listening and Job Interview.

  Tatsuya Kawahara; Koji Inoue; Divesh Lala

  CoRR, 2021

  
• VAEを用いた半教師あり学習による音声対話システムのためのキャラクタ表現

  山本賢太; 井上昂治; 河原達也

  人工知能学会研究会資料, Dec. 2020

  
• Speed dating dialogue system that selects utterance construction units based on favorable impression estimated from various behaviors

  田中滉己; 井上昂治; 中村静; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Dec. 2020

  
• アンドロイドERICAの傾聴対話システムにおけるWOZとの比較評価

  井上昂治; Lala Divesh; 山本賢太; 中村静; 高梨克也; 河原達也

  人工知能学会研究会資料, Nov. 2020, Lead author

  
• Prediction of shared laughter for human-robot dialogue

  Divesh Lala; Koji Inoue; Tatsuya Kawahara

  International Conference on Multimodal Interaction (ICMI), Companion Publication, Oct. 2020, Peer-reviewed

  
• Job interviewer android with elaborate follow-up question generation

  Koji Inoue; Kohei Hara; Divesh Lala; Kenta Yamamoto; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  International Conference on Multimodal Interaction (ICMI), Oct. 2020, Peer-reviewed, Lead author

  
• Semi-supervised learning for character expression of spoken dialogue systems

  Kenta Yamamoto; Koji Inoue; Tatsuya Kawahara

  INTERSPEECH, Oct. 2020, Peer-reviewed

  
• Response generation to out-of-database questions for example-based dialogue systems

  Sota Isonishi; Koji Inoue; Divesh Lala; Katsuya Takanashi; Tatsuya Kawahara

  International Workshop on Spoken Dialogue Systems Technology (IWSDS), Sep. 2020, Peer-reviewed

  
• A character expression model affecting spoken dialogue behaviors

  Kenta Yamamoto; Koji Inoue; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  International Workshop on Spoken Dialogue Systems Technology (IWSDS), Sep. 2020, Peer-reviewed

  
• WOZとの比較による自律型アンドロイドERICAの傾聴対話システムの評価

  井上昂治; Lala Divesh; 山本賢太; 中村静; 高梨克也; 河原達也

  日本音響学会2020秋季研究発表会, Sep. 2020, Lead author

  
• 掘り下げ質問を行う就職面接対話システムの自律型アンドロイドでの実装と評価

  井上昂治; 原康平; Divesh Lala; 山本賢太; 中村静; 高梨克也; 河原達也

  人工知能学会論文誌, Sep. 2020, Peer-reviewed, Lead author

  
• An attentive listening system with android ERICA: Comparison of autonomous and WOZ interactions

  Koji Inoue; Divesh Lala; Kenta Yamamoto; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  SIGdial Meeting on Discourse and Dialogue (SIGDIAL), Jul. 2020, Peer-reviewed, Lead author

  
• Studies on Spoken Dialogue with an Android

  井上昂治; 河原達也

  日本音響学会誌, Apr. 2020, Invited, Lead author

  
• 自律型アンドロイドERICAによる就職面接対話

  井上昂治; 原康平; Lala Divesh; 山本賢太; 中村静; 高梨克也; 河原達也

  日本音響学会2020春季研究発表会, Mar. 2020, Lead author

  
• A job interview dialogue system that asks follow-up questions: Implementation and evaluation with an autonomous android

  Koji Inoue; Kohei Hara; Divesh Lala; Kenta Yamamoto; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  Transactions of the Japanese Society for Artificial Intelligence, 2020

  
• Response Generation to Out-of-database Questions through Question Type Classification

  磯西爽太; 井上昂治; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Dec. 2019

  
• Evaluation on an attentive listening system of the autonomous android ERICA

  井上昂治; LALA Divesh; 山本賢太; 中村静; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Dec. 2019

  
• Follow-up Question Generation for Job Interview Dialogue with Android ERICA

  原康平; 井上昂治; LALA Divesh; 山本賢太; 中村静; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Dec. 2019

  
• Smooth turn-taking by a robot using an online continuous model to generate turn-taking cues

  Divesh Lala; Koji Inoue; Tatsuya Kawahara

  International Conference on Multimodal Interaction (ICMI), 14 Oct. 2019, Peer-reviewed

  
• 自律型アンドロイドERICAによる傾聴対話の評価

  井上昂治; Lala Divesh; 山本賢太; 中村静; 高梨克也; 河原達也

  日本音響学会2019秋季研究発表会, Sep. 2019

  
• Turn-taking Prediction Based on Detection of Transition Relevance Place

  Kohei Hara; Koji Inoue; Katsuya Takanashi; Tatsuya Kawahara

  INTERSPEECH, Sep. 2019, Peer-reviewed

  
• Expressing reactive emotion based on multimodal emotion recognition for natural conversation in human-robot interaction

  Yuanchao Li; Carlos T. Ishi; Koji Inoue; Shizuka Nakamura; Tatsuya Kawahara

  Advanced Robotics, Sep. 2019, Peer-reviewed

  
• Criteria and Preliminary Analysis of Annotation of Focus for a Human-robot Interaction Corpus

  春日悠生; 井上昂治; 山本賢太; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Aug. 2019

  
• Engagement-based adaptive behaviors for laboratory guide in human-robot dialogue

  Koji Inoue; Divesh Lala; Kenta Yamamoto; Katsuya Takanashi; Tatsuya Kawahara

  International Workshop on Spoken Dialogue Systems Technology (IWSDS), Apr. 2019, Peer-reviewed, Lead author

  
• A job interview dialogue system with autonomous android ERICA

  Koji Inoue; Kohei Hara; Divesh Lala; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  International Workshop on Spoken Dialogue Systems Technology (IWSDS), Apr. 2019, Peer-reviewed

  
• End-to-end modeling for selection of utterance constructional units via system internal states

  Koki Tanaka; Koji Inoue; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  International Workshop on Spoken Dialogue Systems Technology (IWSDS), Apr. 2019, Peer-reviewed

  
• 対話のふるまい制御によるキャラクタ表現モデルと対話コーパスによる検証

  山本賢太; 井上昂治; 中村静; 高梨克也; 河原達也

  情報処理学会全国大会講演論文集, Mar. 2019

  
• 対話相手への好感に基づく発話構成要素の選択とお見合い対話システムへの実装

  田中滉己; 井上昂治; 中村静; 高梨克也; 河原達也

  情報処理学会全国大会講演論文集, Mar. 2019

  
• 質問タイプの分類に基づく用例なし質問に対する応答生成

  磯西爽太; 田中滉己; 井上昂治; 高梨克也; 河原達也

  情報処理学会全国大会講演論文集, Mar. 2019

  
• 移行適格場の予測に基づくターンテイキング予測

  原康平; 井上昂治; 高梨克也; 河原達也

  情報処理学会全国大会講演論文集, Mar. 2019

  
• 移行適格場の情報を考慮したターンテイキング予測

  原康平; 井上昂治; 高梨克也; 河原達也

  人工知能学会研究会資料, Mar. 2019

  
• Corpus-based Analysis of Character Expression Model Using Dialogue Behaviors

  山本賢太; 井上昂治; 中村静; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Mar. 2019

  
• A conversational dialogue manager for the humanoid Robot ERICA

  Pierrick Milhorat; Divesh Lala; Koji Inoue; Tianyu Zhao; Masanari Ishida; Katsuya Takanashi; Shizuka Nakamura; Tatsuya Kawahara

  Lecture Notes in Electrical Engineering, 2019

  
• A Conversational Dialogue Manager for the Humanoid Robot ERICA

  Pierrick Milhorat; Divesh Lala; Koji Inoue; Tianyu Zhao; Masanari Ishida; Katsuya Takanashi; Shizuka Nakamura; Tatsuya Kawahara

  ADVANCED SOCIAL INTERACTION WITH AGENTS, 2019

  
• Prediction of Turn-taking Using Multi-task Learning with Prediction of Backchannels and Fillers

  原康平; 井上昂治; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Nov. 2018

  
• Modeling of Feeling and Selection of Utterance Constructional Units in First Encounter Dialogue

  田中滉己; 井上昂治; 中村静; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Nov. 2018

  
• Attentive Listening by Autonomous Android ERICA

  山本賢太; 井上昂治; LALA Divesh; 中村静; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Nov. 2018

  
• Job Interview Dialogue Performed by Autonomous Android ERICA

  井上昂治; LALA Divesh; 原康平; 相原邦光; 中村静; 高梨克也; 河原達也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Nov. 2018

  
• Dialogue Behavior Control Model for Expressing a Character of Humanoid Robots

  Kenta Yamamoto; Koji Inoue; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  Proc. APSIPA ASC, Nov. 2018, Peer-reviewed

  
• Evaluation of Real-time Deep Learning Turn-taking Models for Multiple Dialogue Scenarios

  Divesh Lala; Koji Inoue; Tatsuya Kawahara

  Proc. International Conference on Multimodal Interaction (ICMI), Oct. 2018, Peer-reviewed

  
• Engagement recognition in spoken dialogue via neural network by aggregating different annotators' models

  Koji Inoue; Divesh Lala; Katsuya Takanashi; Tatsuya Kawahara

  Proc. Interspeech, Sep. 2018, Peer-reviewed

  
• Engagement Recognition based on Multimodal Behaviors for Human-Robot Dialogue

  Koji Inoue

  Kyoto university, Sep. 2018

  
• 人間型ロボットのキャラクタ表現のための対話の振る舞い制御モデル

  山本賢太; 井上昂治; 中村静; 高梨克也; 河原達也

  人工知能学会論文誌(Web), Sep. 2018, Peer-reviewed

  
• Engagement recognition by a latent character model based on multimodal listener behaviors in spoken dialogue

  Koji Inoue; Divesh Lala; Katsuya Takanashi; Tatsuya Kawahara

  APSIPA Transactions on Signal & Information Processing, Sep. 2018, Peer-reviewed, Lead author

  
• Latent Character Model for Engagement Recognition Based on Multimodal Behaviors

  Koji Inoue; Divesh Lala; Katsuya Takanashi; Tatsuya Kawahara

  Proc. International Workshop on Spoken Dialogue Systems (IWSDS), May 2018, Peer-reviewed

  
• An end-to-end approach to joint social signal detection and automatic speech recognition

  Hirofumi Inaguma; Masato Mimura; Koji Inoue; Kazuyoshi Yoshii; Tatsuya Kawahara

  Proc. International Conference on Acoustics, Speech, and Signal Processing (IEEE-ICASSP), Apr. 2018, Peer-reviewed

  
• Audio-visual conversation analysis by smart posterboard and humanoid robot

  Tatsuya Kawahara; Koji Inoue; Divesh Lala; Katsuya Takanashi

  Proc. International Conference on Acoustics, Speech, and Signal Processing (IEEE-ICASSP), Apr. 2018, Peer-reviewed

  
• Generating Fillers based on Dialog Act Pairs for Smooth Turn-Taking by Humanoid Robot

  Ryosuke Nakanishi; Koji Inoue; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  Proc. International Workshop on Spoken Dialogue Systems (IWSDS), Apr. 2018, Peer-reviewed

  
• 自律型アンドロイドERICAにおけるエンゲージメント推定に基づく音声対話システム

  井上昂治; Lala Divesh; 高梨克也; 河原達也

  日本音響学会2018年春季研究発表会, Mar. 2018

  
• 共感・発話促進のための多様な聞き手応答を生成する傾聴対話システム

  石田真也; 井上昂治; 高梨克也; 河原達也

  第80回情報処理学会全国大会, Mar. 2018

  
• 初対面対話における好感の生成と発話構成要素の予測のモデル

  田中滉己; 井上昂治; 高梨克也; 河原達也

  第80回情報処理学会全国大会, Mar. 2018

  
• 自律型アンドロイドのキャラクタ表現のための対話の振る舞い制御モデルの構築と評価

  山本賢太; 井上昂治; 中村静; 高梨克也; 河原達也

  第80回情報処理学会全国大会, Mar. 2018

  
• 相槌・フィラー予測とのマルチタスク学習による円滑なターンテイキング

  原康平; 井上昂治; 高梨克也; 河原達也

  第80回情報処理学会全国大会, Mar. 2018

  
• Emotion recognition by combining prosody and sentiment analysis for expressing reactive emotion by humanoid robot

  Yuanchao Li; Carlos Toshinori Ishi; Nigel Ward; Koji Inoue; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  Proceedings - 9th Asia-Pacific Signal and Information Processing Association Annual Summit and Conference, APSIPA ASC 2017, 05 Feb. 2018

  
• An Attentive Listening System Generating Empathetic Responses and Promoting User Utterances

  石田真也; 井上昂治; 中村静; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Feb. 2018

  
• Engagement recognition from listener’s behaviors in spoken dialogue using a latent character model

  Koji Inoue; Divesh Lala; Kazuyoshi Yoshii; Katsuya Takanashi; Tatsuya Kawahara

  Transactions of the Japanese Society for Artificial Intelligence, 2018, Peer-reviewed

  
• 潜在キャラクタモデルによる聞き手のふるまいに基づく対話エンゲージメントの推定

  井上昂治; Divesh Lala; 吉井和佳; 高梨克也; 河原達也

  人工知能学会論文誌, Jan. 2018, Peer-reviewed

  
• Investigation of a Character Representation Method by Dialogue Behavior Control Model of an Autonomous Android

  山本賢太; 井上昂治; 中村静; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Oct. 2017

  
• Attentive Listening System Generating Various Kinds of Responses for the Autonomous Android ERICA

  井上昂治; LALA Divesh; MILHORAT Pierrick; 石田真也; ZHAO Tianyu; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Oct. 2017

  
• Real-time Engagement Recognition by a Latent Character Model

  井上昂治; Divesh Lala; Pierrick Milhora; 高梨克也; 河原達也

  人工知能学会言語・音声理解と対話処理研究会資料, Oct. 2017

  
• Attentive listening system with backchanneling, response generation and flexible turn-taking

  Divesh Lala; Pierrick Milhorat; Koji Inoue; Masanari Ishida; Katsuya Takanashi; Tatsuya Kawahara

  SIGDIAL 2017 - 18th Annual Meeting of the Special Interest Group on Discourse and Dialogue, Proceedings of the Conference, 2017

  
• A Conversational Dialogue Manager for the Humanoid Robot ERICA.

  Pierrick Milhorat; Divesh Lala; Koji Inoue; Tianyu Zhao; Masanari Ishida; Katsuya Takanashi; Shizuka Nakamura; Tatsuya Kawahara

  2017

  
• Emotion recognition by combining prosody and sentiment analysis for expressing reactive emotion by humanoid robot.

  Yuanchao Li; Carlos Toshinori Ishi; Nigel G. Ward; Koji Inoue; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  2017

  
• Social signal detection in spontaneous dialogue using bidirectional LSTM-CTC

  Hirofumi Inaguma; Koji Inoue; Masato Mimura; Tatsuya Kawahara

  Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH, 2017, Peer-reviewed

  
• DAEを用いたリアルタイム遠隔音声認識

  井上 昂治; 三村 正人; 石井 カルロス寿憲; 坂井 信輔; 河原 達也

  日本音響学会研究発表会講演論文集, 2017

  
• 聞き手の多様なふるまいに基づく対話エンゲージメントの推定

  井上 昂治; Lala Divesh; 高梨 克也; 河原 達也

  日本音響学会研究発表会講演論文集, 2017

  
• 傾聴対話システムにおける自分語りを含む多様な聞き手応答の生成

  石田 真也; 井上 昂治; 中村 静; 高梨 克也; 河原 達也

  情報処理学会全国大会講演論文集, 2017

  
• ニューラルネットによる音声対話における非言語的振る舞いの検出

  稲熊 寛文; 井上 昂治; 河原 達也

  情報処理学会全国大会講演論文集, 2017

  
• 自律型アンドロイドによる対話における同調的笑いの生成

  勝見 久央; 井上 昂治; 中村 静; 高梨 克也; 河原 達也

  情報処理学会研究報告, 2017

  
• End-to-Endモデルによる音声対話中のSocial Signalsの検出

  稲熊 寛文; 井上 昂治; 三村 正人; 河原 達也

  日本音響学会研究発表会講演論文集, 2017

  
• LSTM-CTCによる音声対話におけるSocial Signalsの検出

  稲熊 寛文; 井上 昂治; 三村 正人; 河原 達也

  情報処理学会研究報告, 2017

  
• 円滑な発話権制御のための談話行為の連鎖に基づく フィラーの生起と形態の予測

  中西 亮輔; 井上 昂治; 中村 静; 高梨 克也; 河原 達也

  人工知能学会研究会資料, 2017

  
• Emotion Recognition by Combining Prosody with Text Information and Assessment Selection for Human-Robot Interaction

  Yuanchao Li; Inoue Koji; Shizuka Nakamura; Katsuya Takanashi; Toshinori Ishi Carlos; Tatsuya Kawahara

  人工知能学会研究会資料, 2017

  
• End-to-EndモデルによるSocial Signals検出および音声認識との統合

  稲熊 寛文; 井上 昂治; 三村 正人; 河原 達也

  情報処理学会研究報告, 2017

  
• Prediction of ice-breaking between participants using prosodic features in the first meeting dialogue

  Hirofumi Inaguma; Koji Inoue; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  2nd Workshop on Advancements in Social Signal Processing for Multimodal Interaction 2016, ASSP4MI 2016 - Held in conjunction with the 18th ACM International Conference on Multimodal Interaction 2016, ICMI 2016, 12 Nov. 2016, Peer-reviewed

  
• Annotation and analysis of listener's engagement based on multi-modal behaviors

  Koji Inoue; Divesh Lala; Shizuka Nakamura; Katsuya Takanashi; Tatsuya Kawahara

  MA3HMI 2016 - Proceedings of the Workshop on Multimodal Analyses Enabling Artificial Agents in Human-Machine Interaction, 12 Nov. 2016, Peer-reviewed

  
• 傾聴対話システムのための言語情報と韻律情報に基づく多様な形態の相槌の生成

  山口貴史; 井上昂治; 吉野幸一郎; 高梨克也; Nigel G. Ward; 河原達也

  人工知能学会論文誌, Jul. 2016, Peer-reviewed

  
• 視聴覚情報の統合に基づく音源数推定と話者ダイアライゼーション

  若林佑幸; 井上昂治; 中山雅人; 西浦敬信; 山下洋一; 吉本廣雅; 河原達也

  電子情報通信学会論文誌, Mar. 2016, Peer-reviewed

  
• 多人数会話における音響・視線情報を統合した話者区間検出

  井上昂治; 若林佑幸; 吉本廣雅; 河原達也

  電子情報通信学会論文誌, Mar. 2016, Peer-reviewed

  
• Multi-modal sensing and analysis of poster conversations with smart posterboard

  Tatsuya Kawahara; Takuma Iwatate; Koji Inoue; Soichiro Hayashi; Hiromasa Yoshimoto; Katsuya Takanashi

  APSIPA Transactions on Signal & Information Processing, Mar. 2016, Peer-reviewed

  
• Generating a variety of backchannel forms based on linguistic and prosodic features for attentive listening agents

  Takashi Yamaguchi; Koji Inoue; Koichiro Yoshino; Katsuya Takanashi; Nigel G. Ward; Tatsuya Kawahara

  Transactions of the Japanese Society for Artificial Intelligence, 2016, Peer-reviewed

  
• Prediction and Generation of Backchannel Form for Attentive Listening Systems

  Tatsuya Kawahara; Takashi Yamaguchi; Koji Inoue; Katsuya Takanashi; Nigel Ward

  17TH ANNUAL CONFERENCE OF THE INTERNATIONAL SPEECH COMMUNICATION ASSOCIATION (INTERSPEECH 2016), VOLS 1-5, 2016, Peer-reviewed

  
• Multimodal Interaction with the Autonomous Android ERICA

  Divesh Lala; Pierrick Milhorat; Koji Inoue; Tianyu Zhao; Tatsuya Kawahara

  ICMI'16: PROCEEDINGS OF THE 18TH ACM INTERNATIONAL CONFERENCE ON MULTIMODAL INTERACTION, 2016, Peer-reviewed

  
• 自律型アンドロイドERICAのための遠隔音声認識

  井上 昂治; 三村 正人; 石井 カルロス寿憲; 河原 達也

  日本音響学会研究発表会講演論文集, 2016

  
• 傾聴対話システムのための多様な聞き手応答の生成

  石田 真也; 井上 昂治; 中村 静; 高梨 克也; 河原 達也

  情報処理学会全国大会講演論文集, 2016

  
• 初対面対話における場の和みのマルチモーダルな分析と検出

  稲熊 寛文; 井上 昂治; 中村 静; 高梨 克也; 河原 達也

  情報処理学会全国大会講演論文集, 2016

  
• 自律型アンドロイドによる円滑な発話権制御のための フィラーの生起位置と形態の分析

  中西 亮輔; 井上 昂治; 中村 静; 高梨 克也; 河原 達也

  人工知能学会研究会資料, 2016

  
• 傾聴対話システムのための発話を促す聞き手応答の生成

  石田 真也; 井上 昂治; 中村 静; 高梨 克也; 河原 達也

  人工知能学会研究会資料, 2016

  
• 自律型アンドロイドERICAによる社会的役割に則したインタラクション

  井上 昂治; Pierrick Milhorat; Divesh Lala; 趙 天雨; 河原 達也

  人工知能学会研究会資料, 2016

  
• 階層ベイズモデルを用いた聞き手の多様なふるまいに基づく 対話エンゲージメントの推定

  井上 昂治; Divesh Lala; 高梨 克也; 河原 達也

  人工知能学会研究会資料, 2016

  
• 初対面対話における韻律的特徴に基づくアイスブレーキングの分析と予測

  稲熊 寛文; 井上 昂治; 中村 静; 高梨 克也; 河原 達也

  人工知能学会研究会資料, 2016

  
• 発話行為の連鎖を考慮したフィラーの生起と形態の分析

  中西 亮輔; 井上 昂治; 中村 静; 高梨 克也; 河原 達也

  人工知能学会研究会資料, 2016

  
• Enhanced speaker diarization with detection of backchannels using eye-gaze information in poster conversations

  Koji Inoue; Yukoh Wakabayashi; Hiromasa Yoshimoto; Katsuya Takanashi; Tatsuya Kawahara

  16TH ANNUAL CONFERENCE OF THE INTERNATIONAL SPEECH COMMUNICATION ASSOCIATION (INTERSPEECH 2015), VOLS 1-5, 2015, Peer-reviewed

  
• ポスター会話における音響・視線情報の確率的統合による 話者区間及び相槌の検出

  井上 昂治; 若林 佑幸; 吉本 廣雅; 高梨 克也; 河原 達也

  日本音響学会研究発表会講演論文集, 2015

  
• ポスター会話における音響・視線情報を統合した話者区間及び相槌の検出

  井上 昂治; 若林 佑幸; 吉本 廣雅; 高梨 克也; 河原 達也

  情報処理学会研究報告, 2015

  
• 傾聴対話における相槌形態と先行発話の統語構造の関係の分析

  山口 貴史; 井上 昂治; 吉野 幸一郎; 高梨 克也; 河原 達也

  人工知能学会研究会資料, 2015

  
• スマートポスターボードにおける視線情報を用いた話者区間及び相槌の検出

  井上 昂治; 若林 佑幸; 吉本 廣雅; 高梨 克也; 河原 達也

  情報処理学会研究報告, 2015

  
• 多様な相槌をうつ傾聴対話システムのための相槌形態の予測

  山口 貴史; 井上 昂治; 吉野 幸一郎; 高梨 克也; Nigel Ward; 河原 達也

  人工知能学会研究会資料, 2015

  
• 自律型アンドロイドEricaのための音声対話システム

  井上 昂治; 河原 達也

  人工知能学会研究会資料, 2015

  
• スマートポスターボードにおける音響情報と画像情報の統合による話者区間検出

  若林佑幸; 井上昂治; 河原達也; 中井駿介; 宮崎亮一; 猿渡洋

  日本音響学会研究発表会, 03 Mar. 2014

  
• Speaker Diarization based on Audio-Visual Integration for Smart Posterboard

  Yukoh Wakabayashi; Koji Inoue; Hiromasa Yoshimoto; Tatsuya Kawahara

  2014 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA), 2014, Peer-reviewed

  
• Speaker Diarization using Eye-gaze Information in Multi-party Conversations

  Koji Inoue; Yukoh Wakabayashi; Hiromasa Yoshimoto; Tatsuya Kawahara

  15TH ANNUAL CONFERENCE OF THE INTERNATIONAL SPEECH COMMUNICATION ASSOCIATION (INTERSPEECH 2014), VOLS 1-4, 2014, Peer-reviewed

  
• An inter-prediction method using sparse representation for high efficiency video coding

  Koji Inoue; Kohei Isechi; Hironobu Saito; Yoshimitsu Kuroki

  IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, 2013, Peer-reviewed

  
• A Linear Manifold Color Descriptor for Medicine Package Recognition

  Kenjiro Sugimoto; Koji Inoue; Yoshimitsu Kuroki; Sei-ichiro Kamata

  IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, May 2012, Peer-reviewed

  
• Local Intensity Compensation using Sparse Representation

  Koji Inoue; Hironobu Saito; Yoshimitsu Kuroki

  2012 21ST INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR 2012), 2012, Peer-reviewed

  
• Illumination-robust face recognition via sparse representation

  Koji Inoue; Yoshimitsu Kuroki

  2011 IEEE Visual Communications and Image Processing, VCIP 2011, 2011, Peer-reviewed

  
• Prediction of turn-taking using multitask learning with prediction of backchannels and fillers

  Kohei Hara; Koji Inoue; Katsuya Takanashi; Tatsuya Kawahara

  Proc. Interspeech, Peer-reviewed

  
• 遠隔操作アンドロイドを用いたマルチモーダル説得対話コーパスの収集と分析

  有岡無敵; 山本賢太; 井上昂治; 河原達也; 中村哲; 吉野幸一郎

  言語処理学会第28回年次大会, Mar. 2022

  
• 回答評価とキーワード抽出を用いた同時並列就職面接対話システム

  川井悠生; 山本賢太; Lala Divesh; 井上昂治; 河原達也

  情報処理学会 第84回全国大会, Mar. 2022

  
• 大規模テキストデータを用いた事前学習による音声対話の相槌予測

  長連成; 井上昂治; 越智景子; 河原達也

  情報処理学会 第84回全国大会, Mar. 2022

  
• 半自律並列プレゼン対話システムのための質問分類による介入タイミング制御

  村木優介; 山本賢太; Lala Divesh; 井上昂治; 河原達也

  情報処理学会 第84回全国大会, Mar. 2022

  
• 話し手以外のユーザへの参与促進発話を生成する多人数傾聴対話システム

  坂本寛弥; 山本賢太; Lala Divesh; 井上昂治; 河原達也

  情報処理学会 第83回全国大会, Mar. 2021

  

Books and Other Publications

• 音声対話システム : 基礎から実装まで

  井上, 昂治; 河原, 達也, Joint work

  オーム社, Oct. 2022

  Find Kyoto University's collection of books :

  

Awards

• Feb. 2023

  IWSDS 2023, Best Paper Award
• Mar. 2023

  Frontiers in Robotics and AI , 2022 Outstanding Article
• Apr. 2023

  NETEXPLO , NETEXPLO Innovation 2022 Award Winner
• 22 Feb. 2022

  内閣府, 第4回 日本オープンイノベーション大賞 文部科学大臣賞

  次世代を担う学生・若手自ら未来社会へのロードマップを描き、研究開発エコシステムを創造する「人工知能研究会 / AIR」
• 22 Jun. 2020

  人工知能学会, 2019年度 研究会優秀賞
• 16 May 2020

  日本音響学会, 粟屋潔学術奨励賞
• Jun. 2019

  人工知能学会, 2018年度 研究会優秀賞
• Jun. 2018

  人工知能学会, 2017年度 研究会優秀賞
• Oct. 2017

  人工知能学会 音声・言語理解と対話処理研究会, 第8回対話システムシンポジウム 若手奨励賞
• Sep. 2016

  日本音響学会, 学生優秀発表賞
• Mar. 2015

  情報処理学会, 第77回全国大会 学生奨励賞
• Dec. 2014

  日本音響学会 関西支部, 第17回 若手研究者交流研究発表会 優秀奨励賞
• Aug. 2008

  電子情報通信学会 情報・システムソサイエティ, スーパーコンピューティング奨励賞
• Aug. 2008

  情報処理学会, 若手奨励賞

External funds: Kakenhi

• A turn-taking system linked with dialogue understanding and utterance generation

  Grant-in-Aid for Early-Career Scientists

  Basic Section 61010:Perceptual information processing-related

  Kyoto University

  井上 昂治

  From 01 Apr. 2020, To 31 Mar. 2023, Granted

  ターンテイキング;音声対話システム;会話ロボット;言語理解;応答生成;対話理解

  https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-20K19821/
• End-to-End Model for Task-Independent Speech Understanding and Dialogue

  Grant-in-Aid for Scientific Research (A)

  Medium-sized Section 61:Human informatics and related fields

  Kyoto University

  河原 達也

  From 01 Apr. 2020, To 31 Mar. 2024, Granted

  音声理解;音声対話;音声認識;End-to-Endモデル

  https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-20H00602/
• Intelligent Conversational System for Dialogue Engagement and Rapport with Humans

  Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

  Complex systems

  Kyoto University

  河原 達也

  From 28 Jun. 2019, To 31 Mar. 2024, Granted

  対話知能;音声対話;ロボット;マルチモーダル;知能情報学

  https://kaken.nii.ac.jp/grant/KAKENHI-PLANNED-19H05691/
• Generation and xplanation of laughter based on dialogue semantic understanding

  Grant-in-Aid for Early-Career Scientists

  Basic Section 61010:Perceptual information processing-related

  Kyoto University

  井上 昂治

  From 01 Apr. 2023, To 31 Mar. 2026, Granted

  笑い;対話;意味理解;説明性;音声対話システム

  https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-23K16901/

External funds: others

• Investigation research on science and technology to overcome the division of human society and achieve harmony

  JST ムーンショット型研究開発事業 ミレニア・プログラム 新たな目標検討のためのビジョン策定

  From 01 Jan. 2021, To 30 Jun. 2021

  佐久間 洋司

Education

Teaching subject(s)

• From 01 Apr. 2023, To 31 Mar. 2024

  Computer Science Laboratory and Exercise 2

  9022, Fall, Faculty of Engineering, 2
• From 01 Apr. 2023, To 31 Mar. 2024

  Computer Science Laboratory and Exercise 4

  9039, Fall, Faculty of Engineering, 3
• From 01 Apr. 2022, To 31 Mar. 2023

  Computer Science Laboratory and Exercise 2

  9022, Fall, Faculty of Engineering, 2
• From 01 Apr. 2022, To 31 Mar. 2023

  Computer Science Laboratory and Exercise 4

  9039, Fall, Faculty of Engineering, 3
• From Apr. 2020, To Mar. 2021

  ILAS Seminar :Sound and AI

  Spring, 全学共通科目
• From Apr. 2020, To Mar. 2021

  Computer Science Laboratory and Exercise 4

  Fall, 工学部
• From Apr. 2021, To Mar. 2022

  Computer Science Laboratory and Exercise 2

  Fall, 工学部
• From Apr. 2021, To Mar. 2022

  Computer Science Laboratory and Exercise 4

  Fall, 工学部

Administration

Faculty management (title, position)

• From 01 Apr. 2023, To 31 Mar. 2024

  システム運用WG委員
• From 01 Apr. 2023, To 31 Mar. 2024

  情報セキュリティWG委員
• From 01 Apr. 2022, To 31 Mar. 2023

  システム運用WG委員
• From 01 Apr. 2022, To 31 Mar. 2023

  情報セキュリティWG委員
• From 01 Apr. 2020, To 31 Mar. 2021

  広報WG