最近几个月，ChatGPT 大火，它是OpenAI于去年11月底推出的人工智能聊天机器人程序，已经成为了历史上增长最快的消费者应用程序 [1]。毫无疑问，ChatGPT受到了各个行业的广泛关注。

其中在机器人领域，微软于今年2月20日发布了"ChatGPT for Robotics

"的技术报告 [2]，为如何将ChatGPT 融入机器人领域提供了一种可能的视角。与纯文本的应用不同，机器人系统需要对现实世界的物理、环境背景和物理动作的执行能力有深入的了解。而且所生成机器人模型需要具备相当的常识性知识和符合实际的物理模型，以及与用户交互以解释和执行实际现实中可行的命令。下面笔者将根据这份报告，

解读怎样在机器人领域使用ChatGPT 来提升生产力。

一、Pipeline 设计流程

1. 整体流程

ChatGPT 本质上是一个语言模型，采用对话的形式，根据用户的指令做出相应的回应。从最基本的语言回应，到代码生成与debug，再到情景角色扮演，这些应用的一个核心关键就是用户提示词的撰写（prompt)，用户需要通过准确详细的提示词告诉ChatGPT应该做什么，然后让ChatGPT 去执行。为此，

1.首先需要手工设计一系列的机器人功能库函数来实现底层执行器的命令，如，移动，停止，获得目标的位置信息等等。

2.第二步是给ChatGPT 写一个提示词，用来描述需要让ChatGPT 执行的目标。

3.第三步是使用者评估ChatGPT 生成的代码，并且给ChatGPT 提供反馈，让ChatGPT 进行下一步改进。

4.通过提供反馈，将代码进行不断迭代改进，当用户测试通过之后，就可以部署到实际的系统中了。

流程图如下：

图 1 利用ChatGPT 进行机器人顶层算法设计 [2]

2. 关于Prompt 的注意事项

如果想要让ChatGPT 更容易理解用户的意思，产生更准确的回应，那么用户所给出的提示词就需要清晰明了：描述中除了要包含让ChatGPT调用的底层机器人功能库函数之外，还要考虑以下几点内容：

1. 具体的任务要求和约束条件：举个例子比如说想要让机器人移动物体，那么prompt 里面首先要介绍相关信息告诉ChatGPT，比如物体的位置、尺寸等等。

2. 对环境的描述：提示词中需要描述清楚这个任务是在什么环境下进行的。举个例子来说，比如目标任务是在迷宫中导航，那么就需要介绍迷宫的尺寸和形状，以及里面存在的障碍物等信息。

3. 目前的状态信息：需要告诉ChatGPT 机器人系统目前的它的状态信息，比如位置、朝向等等。

4. 目标：比如任务是组装一个拼图，那就需要告诉ChatGPT 需要拼接的零件数目以及期望的完成时间。

5. 解决方案的样例：当任务比较复杂的时候，比如需要ChatGPT 与使用者进行交互的时候，可以通过给一些例子来描述这个过程。见下图。作者向ChatGPT提供了一个机器人何时向人类询问以获取进一步指令的例子。

图 2 提供范例告诉ChatGPT如何以及何时与用户进行交互以寻求帮助 [2]

6. 提示词的设计原则：可参考：https://learningprompt.wiki，该网站指出了设计提示词的所有技巧和原则。也可以参考https://promptperfect.jina.ai/，该网站能够自动优化所使用的提示词，从而让ChatGPT提供期望的高质量结果。

二、潜在应用前景

在设计完成Pipeline 之后，就可以把目光转到ChatGPT的具体机器人应用上来：如仿真环境下无人机的任务规划和避障，现实世界的空中无人机感知和操纵部署等等。

值得注意的是，在微软的文章中 [2]，除了展示ChatGPT 的强大能力之外，也强调了ChatGPT的局限性：不应忽视实际的部署安全性问题，尤其是在实际物理系统机器人部署的情况下。在 ChatGPT有可能产生意外行为的情况下，必须有人在循环中进行监控和干预。此外，在将模型部署到现实世界之前，使用模拟器进行仿真有助于更好地评估模型的性能。文中强调，将 ChatGPT 用于机器人技术并不是完全自动化的过程，而是充当增强人类能力的工具。

本文中主要把应用场景分成了三类：零样本任务规划、通过人在回路的反馈交互来完成复杂任务、包含感知层的任务执行。笔者将针对这三种情况进行一一介绍。

1. 零样本任务规划

（1）在AirSim 环境下的工业巡检

在该情境下，即使是让非专业的使用者通过ChatGPT 也能够控制无人机完成工业巡检任务目标。

ChatGPT 能够理解用户的意图并且能够精准控制无人机完成任务。视频见https://www.youtube.com/watch?v=38lA3U2J43w

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。

社区上线480 期talk视频，2400 篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

>>> 添加小编微信！

关于我“门”

▼

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，

欢迎发送或者推荐项目给我“门”:

⤵一键送你进入TechBeat快乐星球