时间: 2023-06-11 04:59:35 | 来源: 喜蛋文章网 | 编辑: admin | 阅读: 95次
Prompt是指用户对AI说的话,可以是一些例子、命令或特定角色的描述。
prompt是javascript语言中的一个方法,主要用处是显示提示对话框。如果用户单击提示框的取消按钮,则返回null。如果用户单击确认按钮,则返回输入字段当前显示的文本。
在用户点击确定按钮或取消按钮把对话框关闭之前,它将阻止用户对浏览器的所有输入。在调用 prompt时,将暂停对JavaScript代码的执行,在用户作出响应之前,不会执行下一条语句。
ftp下载时包括主动与被动模式,使用prompt off之类的是关闭主动模式,默认情况下,prompt是打开的。在传输多个文件期间,Ftp的提示将允许您选择性地检索或存储文件。如果prompt是关闭的,则Mget和mput将传输所有文件。
通俗来说,就是你要掌握和AI对话的技巧,让AI真正的懂你,特别是现在很多的AI产品的智能化水平都还有待进一步的提升,因此,学一点Prompt Engineering的知识是很有必要的。
代理模式
Proxy模式是指用户可以要求ChatGPT以特定的身份、角色或者身份扮演某个特定的人、角色或对象来生成回答。这种模式通常用于模拟某个特定人物的语言风格和语境,生成特定情境下的对话、回答或其他形式的文本。
这个模式也是比较的常用的,前段时间大家让chatGPT写申论就是代理模式。例如,描述秋天,小学生、大学生、老年人的不同身份,内容是有很大的不同,AI的身份和角色的把握还是很准确的。因此,在提问前告诉你的身份很重要。
和 ChatGPT 在 AIGC(AI- Generated Content,人工智能生成内容)领域一样具备颠覆性的事情正在发生。
4 月 11 日,自动驾驶技术公司毫末智行在其第八届 HAOMO AI DAY 上,重磅发布行业首个自动驾驶生成式大模型 DriveGPT,中文名「雪湖·海若」,该模型参数规模达到 1200 亿,可用于解决自动驾驶研发过程中困扰已久的认知决策问题,并通过能力迭代,最终实现端到端自动驾驶。
此前,受制于传统模型「数据量小、基于规则」等局限性,智能驾驶技术进展一度较为缓慢,甚至不少从业者都对未来产生了自我怀疑,在这样的背景下,两年前,毫末率先投入到大模型技术的研发之中,旨在寻找新的突破。
经历了先行探索和反复验证,毫末成功找到了突破口——生成式大模型,通过在行业首个将 GPT 落地到自动驾驶领域,大大加速了更高阶智能驾驶的落地应用。
「生成式大模型将成为自动驾驶系统进化的关键,基于 Transformer 大模型训练的感知、认知算法会逐步在车端进行落地部署。」毫末董事长张凯在 HAOMO AI DAY 上对行业未来发展趋势作出论断。
毫末 CEO 顾维灏也表示:「DriveGPT 雪湖·海若将会重塑汽车智能化技术路线,让辅助驾驶进化更快,让自动驾驶更早到来。」
顾维灏在自动驾驶技术领域的眼光独到,布局非常领先。
事实上,毫末在 2021 年就已经开始了 Transformer 大模型技术的探索,并快速落地应用到 BEV 视觉感知算法当中,然后又以五大模型的方式来实现自动驾驶感知、认知算法的快速升级,现在这些大模型将统一到 DriveGPT 生成式大模型当中,目标将实现端到端自动驾驶。
毫末的探索始终走在行业技术探索的前列。
据了解,新摩卡 DHT-PHEV 即将首发搭载 DriveGPT 雪湖·海若量产上市,届时,用户市场还将迎来一轮新的震撼。
「毫末真正重塑了行业信心,」一位业内人士略微激动地说道,「这将是一场革命。」
01、DriveGPT 雪湖·海若,如何颠覆智能驾驶
在介绍 DriveGPT 雪湖·海若之前,先回顾一下 ChatGPT 的概念,其全称是 Chat Generative Pre-trained Transformer,字面意思是用于聊天的生成式预训练 Transformer 大模型。
其中 Transformer 是 ChatGPT 的重点,最早由谷歌在 2021 年提出,该模型基于注意力机制的设计,可以实现出色的算法并行性,因而迅速在自然语言处理(NLP) 领域流行起来,ChatGPT 就是其最新成果。
Transformer 大模型对于智能驾驶来说也不陌生,在 NLP 中奠定了核心地位之后,被逐渐被引入计算机视觉(CV)领域,后又被特斯拉、毫末智行等行业龙头先行引入自动驾驶系统中,用于提升感知端的模型效果。
如今,毫末在 Transformer 大模型的应用上更进一步,将其率先拓展到智能驾驶系统认知端,DriveGPT 雪湖·海若由此诞生。
从同样使用 Transformer 大模型的角度来说,ChatGPT 和 DriveGPT 雪湖·海若属于同宗同源。
其中,ChatGPT 是对话式的生成式自然语言模型,输入是自然语言的文本串,输出是自然语言的文本,可以完成通用的下游语言生成任务,比如多轮对话、代码生成、翻译、数学 运算等能力。
而毫末 DriveGPT 雪湖·海若是用于自动驾驶场景的生成式大模型,输入是感知融合后的文本序列,输出是自动驾驶场景文本序列,即将自动驾驶场景 Token 化,形成「Drive Language」,最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。
DriveGPT 雪湖·海若首先在预训练阶段通过引入量产驾驶数据,训练初始模型,再通过引入驾驶接管 Clips 数据完成反馈模型 (Reward Model) 的训练,然后再通过强化学习的方式,使用反馈模型去不断优化迭代初始模型,形成对自动驾驶认知决策模型的持续优化。
具体来说,DriveGPT 雪湖·海若会通过人类反馈强化学习的方式进行迭代,用 DriveGPT 雪湖·海若最新模型 (Active Model) 对真实场景 Case 做生成,产出多种场景序列结果,再用反馈模型给这些结果进行打分排序,目标是把好的结果排上来,差的结果排下去,然后与初始模型 (Pretrain-Model) 的生成概率做比较,放大比分。最后通过强化学习的方式将参数再次更新到最新模型 (Active Model) 中,一直反复这个迭代过程。
其中,Reward Model(反馈模型) 的训练过程是独立的,使用带有偏序关系的 Pair 样本对来训练,这些样本对来自于接管 Case,毫末将与人类驾驶结果相似的模型结果作为正样本,与被接管轨迹相似的作为负样本,这样来构建偏序对集合,再利用 LTR(Learning To Rank) 的思路去训练 Reward Model,进而得到一个打分模型。
此外,DriveGPT 雪湖·海若还可以输出决策逻辑链:即在输入端提供 Prompts(提示语),根据提示输出含有决策逻辑链 (Chain of Thought) 的未来序列。
毫末 CSS 自动驾驶场景库是 CoT 的重要输入,拥有超过几十万个细颗粒度场景,将 Prompt 提示语和完整决策过程的样本交给模型去学习,学到推理关系,从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程,完成可理解、可解释的推理逻辑链生成。
除了用作认知决策,DriveGPT 雪湖·海若还可以逐步应用到城市 NOH、捷径推荐、智能陪练以及脱困场景中。
有了 DriveGPT 雪湖·海若的加持,车辆行驶会更安全;动作更人性、更丝滑,并有合理的逻辑告诉驾驶者,车辆为何选择这样的决策动作。
对于普通用户来说,车辆越来越像老司机,用户对智能产品的信任感会更强,理解到车辆的行为都是可预期、可理解的。
尽管 DriveGPT 雪湖·海若刚出世就拥有强大的功能,但这还不是它的「终局」,毫末对于 DriveGPT 雪湖·海若的目标是实现端到端自动驾驶,后续毫末会持续将多个大模型的能力整合到 DriveGPT 雪湖·海若中。
与此同时,毫末也对外构建 DriveGPT 雪湖·海若生态,通过对行业提供开放服务,促进自动驾驶的从业者和研究机构,快速构建基础能力,释放创新。
汽车之心获知,毫末 DriveGPT 雪湖·海若首批定向邀请了北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等加入。
事实上,毫末对于大模型的开放从 DriveGPT 雪湖·海若的中文名「雪湖·海若」即可窥见。
据了解,「海若」一词出自《庄子·秋水》中的神话人物北海若,在该书中,另一神话人物河伯请教北海若,何谓大小之分,北海若教导河伯说,不因天地而觉大,不因毫末而觉小。
毫末据此把 DriveGPT 中文名命名为「海若」,寓意着智慧包容、海纳百川,为行业发展贡献力量。
02、自动驾驶生成式大模型「第一枪」,为何由毫末打响
自动驾驶领域顶级玩家众多,毫末凭何在全球首个推出了自动驾驶生成式大模型 DriveGPT 雪湖·海若?
要回答这个问题,首先要理清楚毫末 DriveGPT 雪湖·海若的本质,它是应用在智能驾驶上的人工智能,就必然离不开人工智能三要素:算法、数据和算力,而这三者恰恰是毫末具备领先性优势的地方。
首先在算法的技术路线上,毫末早早就坚定选择走渐进式发展路线,比「跃进式」玩家的量产时间更早,更快形成规模化,从用户真实使用场景中积累足够多的数据。
毫末还清晰地提出了从自动驾驶 1.0 时代到自动驾驶 3.0 时代的演进路径,并率先进入以数据驱动为核心的新时代。
从这时开始,自动驾驶获取的数据量与数据多样性将呈现指数级膨胀,在深度学习主导中,与大模型相辅相成,真正去解决自动驾驶最后的长尾难题。
在 2021 年 12 月第四届 HAOMO AI DAY 上,毫末发布中国首个数据智能体系 MANA,其由四大板块组成,分别是 TARS、LUCAS、VENUS 和 BASE。
其中,BASE 是整个系统架构的底层,包括数据底座、数据融合、PoseidonOS 等。
其他三大板块置于上层:
TARS 代表毫末智行的开发的原型算法,包括感知、规划决策、地图定位、仿真引擎;LUCAS 是提取数据价值,以数据驱动系统能力持续迭代的核心子系统,解决场景泛化,评测和部署的问题;VENUS 则是数据看板,以参考标准评价算法的好坏。<span style
【本文来自易车号作者汽车之心,版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点,与易车无关】
ChatGPT提示语Prompt实用合集
好的Prompt提示语才能释放Al的真正力量。ChatGPT输出结果的质量高低,和你使用什么样的输入文本(prompts)高度相关。
#Prompt#人工智能#提示语#chatgpt应用领域#干货分享#AI绘画#AI
GPT之于自动驾驶意味着什么?
文丨智驾网 黄华丹
ChatGPT带火了AI,那么,当GPT遇到自动驾驶,又会发生怎样的化学反应?
GPT全称Generative Pre-trained Transformer,即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。
4月11日,在第八届毫末AI DAY上,毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT,中文名雪湖·海若。
DriveGPT能做到什么?又是如何构建的?顾维灏在AI DAY上都做了详细解读。此外,AI DAY还展示了毫末自动驾驶数据体系MANA的升级情况,主要是其在视觉感知能力上的进展。
01.
什么是DriveGPT?能实现什么?
顾维灏首先讲解了GPT的原理,生成式预训练Transformer模型本质上是在求解下一个词出现的概率,每一次调用都是从概率分布中抽样并生成一个词,这样不断地循环,就能生成一连串的字符,用于各种下游任务。
以中文自然语言为例,单字或单词就是Token,中文的Token词表有5万个左右。把Token输入到模型,输出就是下一个字词的概率,这种概率分布体现的是语言中的知识和逻辑,大模型在输出下一个字词时就是根据语言知识和逻辑进行推理的结果,就像根据一部侦探小说的复杂线索来推理凶手是谁。
而作为适用于自动驾驶训练的大模型,DriveGPT雪湖·海若三个能力:
1.可以按概率生成很多个这样的场景序列,每个场景都是一个全局的场景,每个场景序列都是未来有可能发生的一种实际情况。
2.是在所有场景序列都产生的情况下,能把场景中最关注的自车行为轨迹给量化出来,也就是生成场景的同时,便会产生自车未来的轨迹信息。
3.有了这段轨迹之后,DriveGPT雪湖·海若还能在生成场景序列、轨迹的同时,输出整个决策逻辑链。
也就是说,利用DriveGPT雪湖·海若,在一个统一的生成式框架下,就能做到将规划、决策与推理等多个任务全部完成。
具体来看,DriveGPT雪湖·海若的设计是将场景Token化,毫末将其称为Drive Language。
Drive Language将驾驶空间进行离散化处理,每一个Token都表征场景的一小部分。目前毫末拥有50万个左右的Token词表空间。如果输入一连串过去已经发生的场景Token序列,模型就可以根据历史,生成未来所有可能的场景。
也就是说,DriveGPT雪湖·海若同样像是一部推理机器,告诉它过去发生了什么,它就能按概率推理出未来的多个可能。
一连串Token拼在一起就是一个完整的驾驶场景时间序列,包括了未来某个时刻整个交通环境的状态以及自车的状态。
有了Drive Language,就可以对DriveGPT进行训练了。
毫末对DriveGPT的训练过程首先是根据驾驶数据以及之前定义的驾驶尝试做一个大规模的预训练。
然后,通过在使用过程中接管或者不接管的场景,对预训练的结果进行打分和排序,训练反馈模型。也就是说利用正确的人类开法来替代错误的自动驾驶开法。
后续就是用强化学习的思路不断优化迭代模型。
在预训练模型上,毫末采用Decode-only结构的GPT模型,每一个Token用于描述某时刻的场景状态,包括障碍物的状态、自车状态、车道线情况等等。
目前,毫末的预训练模型拥有1200亿个参数,使用4000万量产车的驾驶数据,本身就能够对各种场景做生成式任务。
这些生成结果会按照人类偏好进行调优,在安全、高效、舒适等维度上做出取舍。同时,毫末会用部分经过筛选的人类接管数据,大概5万个Clips去做反馈模型的训练,不断优化预训练模型。
在输出决策逻辑链时,DriveGPT雪湖·海若利用了prompt提示语技术。输入端给到模型一个提示,告诉它“要去哪、慢一点还是快一点、并且让它一步步推理”,经过这种提示后,它就会朝着期望的方向去生成结果,并且每个结果都带有决策逻辑链。每个结果也会有未来出现的可能性。这样我们就可以选择未来出现可能性最大,最有逻辑的链条驾驶策略。
可以用一个形象的示例来解释DriveGPT雪湖·海若的推理能力。假设提示模型要“抵达某个目标点”,DriveGPT雪湖·海若会生成很多个可能的开法,有的激进,会连续变道超车,快速抵达目标点,有的稳重,跟车行驶到终点。这时如果提示语里没有其他额外指示,DriveGPT雪湖·海若就会按照反馈训练时的调优效果,最终给到一个更符合大部分人驾驶偏好的效果。
02.
实现DriveGPT毫末做了什么?
首先,DriveGPT雪湖·海若的训练和落地,离不开算力的支持。
今年1月,毫末就和火山引擎共同发布了其自建智算中心,毫末雪湖·绿洲MANA OASIS。OASIS的算力高达67亿亿次/秒,存储带宽2T/秒,通信带宽达到800G/秒。
当然,光有算力还不够,还需要训练和推理框架的支持。因此,毫末也做了以下三方面的升级。
一是训练稳定性的保障和升级。
大模型训练是一个十分艰巨的任务,随着数据规模、集群规模、训练时间的数量级增长,系统稳定性方面微小的问题也会被无限放大,如果不加处理,训练任务就会经常出错导致非正常中断,浪费前期投入的大量资源。
毫末在大模型训练框架的基础上,与火山引擎共同建立了全套训练保障框架,通过训练保障框架,毫末实现了异常任务分钟级捕获和恢复能力,可以保证千卡任务连续训练数月没有任何非正常中断,有效地保障了DriveGPT雪湖·海若大模型训练的稳定性。
二是弹性调度资源的升级。
毫末拥有量产车带来的海量真实数据,可自动化的利用回传数据不断的学习真实世界。由于每天不同时段回传的数据量差异巨大,需要训练平台具备弹性调度能力,自适应数据规模大小。
毫末将增量学习技术推广到大模型训练,构建了一个大模型持续学习系统,研发了任务级弹性伸缩调度器,分钟级调度资源,集群计算资源利用率达到95%。
三是吞吐效率的升级。
在训练效率上,毫末在Transformer的大矩阵计算上,通过对内外循环的数据拆分、尽量保持数据在SRAM中来提升计算的效率。在传统的训练框架中,算子流程很长,毫末通过引入火山引擎提供的Lego算之库实现算子融合,使端到端吞吐提升84%。
有了算力和这三方面的升级,毫末可对DriveGPT雪湖·海若进行更好的训练迭代升级。
03.
MANA大升级,摄像头代替超声波雷达
毫末在2021年12月的第四届AI DAY上发布自动驾驶数据智能体系MANA,经过一年多时间的应用迭代,现在MANA迎来了全面的升级。
据顾维灏介绍,本次升级主要包括:
1.感知和认知相关大模型能力统一整合到DriveGPT。
2.计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化,并集成到OASIS当中。
3.增加了使用NeRF技术的数据合成服务,降低Corner Case数据的获取成本。
4.针对多种芯片和多种车型的快速交付难题,优化了异构部署工具和车型适配工具。
前文我们已经详细介绍了DriveGPT相关的内容,以下主要来看MANA在视觉感知上的进展。
顾维灏表示,视觉感知任务的核心目的都是恢复真实世界的动静态信息和纹理分布。因此毫末对视觉自监督大模型做了一次架构升级,将预测环境的三维结构,速度场和纹理分布融合到一个训练目标里面,使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过400万Clips,感知性能提升20%。
在泊车场景下,毫末做到了用鱼眼相机纯视觉测距达到泊车要求,可做到在15米范围内达测量精度30cm,2米内精度高于10cm。用纯视觉代替超声波雷达,进一步降低整体方案的成本。
此外,在纯视觉三维重建方面,通过视觉自监督大模型技术,毫末不依赖激光雷达,就能将收集的大量量产回传视频转化为可用于BEV模型训练的带3D标注的真值数据。
通过对NeRF的升级,毫末表示可以做到重建误差小于10
【本文来自易车号作者智驾网,版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点,与易车无关】
全站搜索