OpenHarmony城市技术论坛武汉站：探索大模型时代的终端操作系统创新
2023年12月23日下午,OpenHarmony城市技术论坛(以下简称“技术论坛”)——第6期(武汉站)于华中科技大学梧桐语问学中心明德报告厅圆满举办。本次技术论坛聚焦“大模型时代的系统软件”,旨在探索AI大模型在终端操作系统领域的创新趋势和挑战。论坛从“终端操作系统十大技术挑战”出发,邀请了学术界和工业界的资深专家,共同探讨AI系统软件基础设施、边缘智能系统、大模型安全、智能化系统软件分析等关键技术。论坛汇集了业界前沿的观点和见解,为终端操作系统领域的未来发展指明了方向。
本次技术论坛由OpenHarmony项目群技术指导委员会(以下简称“OpenHarmony TSC”)主办,华中科技大学OpenHarmony技术俱乐部承办,武汉大学OpenHarmony技术俱乐部协办。华中科技大学教授、OpenHarmony技术俱乐部主任王浩宇担任出品人。
出席本次论坛的嘉宾阵容强大,包括华中科技大学人工智能与自动化学院副院长钟胜、网络空间安全学院副院长陈凯担任本次技术论坛的主持人,以及邀请到了学术界和工业界的多位专家学者包括:北京大学计算机学院教授、副院长郭耀;中国科学院自动化研究所副总工程师、武汉人工智能研究院院长王金桥;华为MindSpore架构师李政;上海交通大学助理研究员糜泽羽;统信软件终端操作系统产线架构师李鹤;中国科学院信息工程研究所副研究员孟国柱;华中科技大学网络空间安全学院副教授李珍;北京邮电大学计算机学院副研究员徐梦炜;武汉大学国家网络安全学院副研究员李霏;华中科技大学网络空间安全学院副研究员周威。他们的报告为听众带来了深刻的洞见,并就大模型时代系统软件的创新方向进行了深入的探讨。
此外,本次论坛还得到了众多业界嘉宾的支持,华中科技大学网络空间安全学院执行院长邹德清、院长助理汤学明;北京邮电大学未来学院副院长喻鹏;武汉大学OpenHarmony技术俱乐部主任张立强;OpenHarmony TSC秘书处副主任张蕃等多位嘉宾出席本次技术论坛。他们的参与进一步提升了论坛的影响力和权威性。
合影留念
技术论坛出品人:华中科技大学教授、OpenHarmony技术俱乐部主任 王浩宇
技术论坛主持人:华中科技大学人工智能与自动化学院副院长 钟胜
技术论坛主持人:华中科技大学网络空间安全学院副院长 陈凯
华中科技大学网络空间安全学院执行院长邹德清为本次技术论坛致辞。他表示,在当今数字化快速发展的时代,大模型技术已成为引领创新浪潮的关键力量。OpenHarmony 等系统软件在推动城市科技进步方面发挥着举足轻重的作用,不仅加速了数字城市的智能化进程,还促使我们深入思考如何在这一过程中保障系统的稳定性和网络的安全性。本次论坛旨在汇聚智慧、碰撞思想,期待各位专家学者能够分享在大模型时代系统软件领域的成果和经验,共同探讨如何更好地应对网络空间安全的挑战。让我们携手努力,共同推动OpenHarmony在大模型时代的创新发展,为构建安全、稳定、智能的数字城市贡献智慧和力量。
华中科技大学网络空间安全学院执行院长 邹德清
北京大学计算机学院教授、副院长郭耀在《面向大模型的泛在操作系统:挑战与展望》的报告中深入探讨了新一代信息技术背景下,大模型与泛在操作系统(Ubiquitous Operating System, UOS)的紧密关联。他指出,随着人机物融合泛在计算时代的来临,新型应用模式与场景对操作系统提出了更高的要求。在报告中,郭耀详细介绍了泛在操作系统的概念、架构与实例。他深入剖析了大模型对操作系统带来的技术挑战,并展望了大模型和操作系统结合的未来发展方向。
北京大学计算机学院教授、副院长 郭耀
中国科学院自动化研究所副总工程师、武汉人工智能研究院院长王金桥在《多模态大模型的发展与思考》的报告中深入探讨了多模态大模型在人工智能领域的突破与前景。他指出,近年来,随着大算力、大数据和AI算法的快速发展,以ChatGPT、GPT-4等为代表的人工智能大模型的成功标志着人工智能从以专用小模型训练为主的“手工作坊时代”迈入到以通用大模型预训练为主的“工业化时代”,成为新一代人工智能发展分水岭。王金桥详细分析了大模型的技术发展现状,能力涌现机理及其存在的问题。他深入介绍了多模态大模型紫东太初的研发历程、关键技术和当前进展等情况,以及知识增强的大模型方法,并探讨了大模型的行业应用和未来发展趋势。
中国科学院自动化研究所副总工程师、武汉人工智能研究院院长 王金桥
华为MindSpore架构师李政在《MindSpore端侧大模型部署助力OS智能化》的报告中提到,生成式AI大模型如ChatGPT正悄然改变人们工作和生活方式。当AI大模型与智能终端相结合,势必为用户带来前所未有的全新体验。然而,受限于终端设备的算力和存储,AI大模型在端侧的部署仍面临诸多技术挑战。在报告中,李政详细阐述了云端边全场景训推一体开源AI框架“MindSpore”的架构设计与功能特性,并进一步分享了MindSpore在大模型端侧部署及推理加速领域的相关探索与实践,展示了如何通过技术创新克服挑战,实现大模型在智能终端的高效部署。
华为MindSpore架构师 李政
上海交通大学助理研究员糜泽羽在《PowerInfer: 面向消费级显卡的大模型快速推理框架》的线上报告中介绍了生成式大语言模型(LLM)在创造性写作、高级代码生成和复杂自然语言处理任务方面的强大能力,并指出这些能力使得LLM受到了广泛关注。然而,由于消费级显卡的内存容量有限,因此本地部署大语言模型存在较大挑战。针对这一问题,糜泽羽提到“PowerInfer”作为面向消费级显卡的大模型快速推理框架,该框架利用大语言模型推理中固有的高局部性(神经元激活的幂律分布),设计了一种GPU-CPU混合推理引擎,减少了GPU内存需求和CPU-GPU数据传输,从而显著提升了大语言模型在本地部署环境上的推理速度。
上海交通大学助理研究员 糜泽羽
统信软件终端操作系统产线架构师李鹤在《deepin操作系统的大模型探索之旅》的报告中,分析了大语言模型在桌面操作系统的发展趋势和应用情况,介绍了deepin操作系统在大语言模型应用方面的研究,包括deepin操作系统的各个系统组件和应用软件,如智能助手、邮箱、浏览器、文件管理器、deepin IDE对在线大模型以及本地模型的应用情况。
统信软件终端操作系统产线架构师 李鹤
中国科学院信息工程研究所副研究员孟国柱在《面向软件开发的大模型安全评估与风险探讨》的报告中深入探讨了大模型在软件开发领域的应用及其带来的安全问题。他指出,随着大模型研究的快速发展,并逐渐应用于软件开发的多个领域,如代码的自动生成、功能补全、缺陷修复等。然而,与此同时,大模型的安全风险也逐渐凸显。孟国柱强调了训练过程的不可知性可能使大模型容易受到错误或缺陷代码的影响,“幻觉”问题使得生成的代码不可控,针对大模型的越狱攻击使模型的输出被劫持等风险。在报告中,孟国柱对大模型在软件开发领域的能力进行了全面评估,深入分析了存在的问题和潜在风险。他强调了应对大模型安全挑战的迫切性,并呼吁业界共同探讨有效的解决方案,以确保大模型在软件开发中的安全应用。
中国科学院信息工程研究所副研究员 孟国柱
华中科技大学网络空间安全学院副教授李珍在《大模型下的系统软件漏洞检测》的报告中探讨了深度学习技术驱动的系统软件漏洞检测的现状与前景。她指出,随着深度学习技术的发展,在数据驱动下,采用人工智能技术,自动学习漏洞模式以检测系统软件中的漏洞已成为一种趋势。然而目前方法存在系统软件可获得的漏洞代码数量少、样本中存在大量漏洞无关语句、漏洞行定位和漏洞类型预测准确率低等问题。李珍强调,大模型的出现为系统软件的智能漏洞检测带来了新的机遇。她在报告中分享了在大模型下系统软件漏洞检测方面的探索,包括大规模漏洞领域数据集构建、专家知识与数据驱动的融合、基于代码大模型的指令微调、大模型的攻击与防御等方面的研究。
华中科技大学网络空间安全学院副教授 李珍
北京邮电大学计算机学院副研究员徐梦炜在《端侧大模型和卫星操作系统》的报告中强调了边缘智能技术在用户隐私保护和低延时推理方面的优势。然而,由于神经网络模型(DNN)为代表的机器学习算法的参数量大、计算量大,在资源受限的边缘侧高效部署面临挑战。徐梦炜分享了团队在边缘智能系统软件方向的研究成果和思考,并探讨了在当前大语言模型(LLM)快速发展背景下边缘智能领域所面临的新要求和挑战。此外,徐梦炜还关注到低轨卫星星座的快速发展,并分析了构建新一代卫星操作系统所面临的挑战与机遇。他分享了团队在基于Rust语言构建开源卫星操作系统RROS过程中的尝试和早期成果。
北京邮电大学计算机学院副研究员 徐梦炜
武汉大学国家网络安全学院副研究员李霏在《大模型内容安全与价值观对齐》的报告中深入探讨了大模型内容安全的重要性及其与价值观的关联。他指出,以ChatGPT为代表的大模型技术引发了公众的广泛关注,并带来了诸多令人瞩目的应用。然而,由于大模型基于海量大数据进行训练,数据中存在的仇恨、歧视、暴力等不良内容可能被大模型所学习,进而在特定条件下生成具有社会危害性的言论,因此研究大模型的内容安全问题显得尤为重要。李霏从大模型的训练机理、潜在安全隐患、检测手段、价值观对齐等多个方面进行了详细阐述,他回顾了当前的相关工作和方法,梳理了大模型内容安全治理的技术方案,并强调了维护大模型内容安全与价值观对齐的重要性。
武汉大学国家网络安全学院副研究员 李霏
华中科技大学网络空间安全学院副研究员周威在《大模型辅助的物联网系统虚拟化技术及其安全应用》的报告中深入探讨了物联网系统在“万物互联”时代面临的安全挑战。特别是随着嵌入式系统广泛应用于物联网中,这些系统大多使用低级语言开发,普遍缺乏防御措施,因此存在大量安全漏洞等。同时,嵌入式设备硬件资源受限,难以在设备上直接应用模糊测试等传统自动化漏洞检测技术。周威指出,随着AI和大模型技术的飞速发展,如何利用这些先进技术构建虚拟化环境,以辅助实现自动化物联网系统与应用漏洞检测,已成为工业界和学术界关注的焦点。在报告中,周威分析了多种最新的AI与大模型辅助的嵌入式系统与应用虚拟化技术,并介绍了如何利用虚拟化技术实现快速、自动化的嵌入式系统与固件漏洞检测。
华中科技大学网络空间安全学院副研究员 周威
随着人工智能技术的不断突破,大模型已经成为推动操作系统创新的重要驱动力。结合大模型技术,操作系统不仅能更好地理解用户的需求和意图,提供更智能化的服务,还能推动操作系统向原生智能方向发展。展望未来,OpenHarmony将继续提升智能体验的竞争力,不断向原生智能演进,致力于构建一个面向万物智联世界的分布式全场景协同的开源操作系统基座与生态系统。大模型的崛起为操作系统带来了前所未有的机遇与挑战,只有不断创新,才能在变革中保持领先。