Intel Mini Hackathon—LLM线上技术挑战赛开赛啦!

LLM技术挑战是一项面向开发者和创新者的线上竞赛计划,旨在促进基于大语言模型(LLM)的创新应用和技术发展。参赛者将有机会开发基于指定大语言模型的应用,探索智能语音助手、聊天机器人、智能客服等领域的应用潜力。参赛团队根据评选标准要求,使用开源模型及推荐的软件部署解决方案,完成基于大语言模型应用的开发与部署。竞赛将评选最佳应用奖、最佳模型奖、早鸟奖等,鼓励参赛者在创新实践中展现创意和技术实力,共同推动大语言模型领域的发展和应用。

挑战赛时间:2024年5月13日 - 6月15日

参赛对象:大赛面向全社会开放,正在从事大模型相关研究和应用开发的企业技术人员、高校学生均可参赛,以团队为单位参赛,每队人数1-3人。

挑战赛内容

1.主题内容

使用指定大语言模型中的一种或多种,开发通用或特定领域专用的应用原型,并在基于英特尔的软硬件平台上部署并成功高效运行。

1)应用的种类包括但不限于:如智能语音助手、智能助理、聊天机器人、文字及图片生成、智能客服等。

2)推荐的开源大语言模型:作品可以是基于下列模型中的任意一个或多个,可同时使用其他适合的辅助模型。可以是原始发布的或经过微调后的模型。

  • 通义千问Qwen-7B-Chat
  • 智谱ChatGLM3-6B
  • 百川2-7B-对话模型
  • 百川2-13B-对话模型

3)推荐使用的部署及优化工具:

  • Intel® Extension for Transformers
  • OpenVINO™ Toolkit
  • Intel Extension for Pytorch
  • IPEX-LLM (Intel® LLM library for Pytorch)
  • xFasterTransformer

4)开发者在部署时,可使用下列硬件平台:

  • 魔搭社区提供的基于英特尔CPU的免费计算资源(参赛者可到魔搭社区,免费注册并申请使用基于英特尔可扩展处理器的云环境,利用notebook环境进行开发测试,请保存代码到本地);
  • 使用自备的基于英特尔CPU及ARC GPU的硬件硬件环境(如AI PC或台式机或服务器等);
  • 第三方云计算服务商提供的基于英特尔CPU的硬件环境。

2.作品提交

1)项目说明文档(包括方案介绍,技术特点,使用到的英特尔软硬件技术,成果说明和对照),文档格式不限,还可提供更多支持材料,如演示视频等。

2)作品代码打包附件。

3)如作品为部署的产品或方案,可将方案描述发布到 github, CSDN, 魔搭等公开网站上,发布的内容需包含使用的英特尔硬件,英特尔软件工具以及相关的实现代码(可为部分)。请提交方案链接。也可将方案展示在魔搭Space中,提交该Space的链接。

3.评价标准

1)创意和应用价值:

  • 创意性:作品的创新性和独特性,包括对大语言模型的应用创意和解决方案的独特性。
  • 应用价值:作品对特定领域的应用潜力,如健康服务、适老服务、教育等,以及对用户体验和问题解决的贡献。

2)技术实现和优化利用:

  • 技术特点和工具使用:作品中使用的技术特点和工具,包括是否有效地利用了英特尔的开源软件优化工具(参见推荐使用的部署及优化工具)。
  • 性能和效率:作品部署和运行在相应英特尔软硬件环境上的性能和效率,包括项目对模型推理速度、资源利用率和计算成本等方面的优化。

3)实现质量和完成度:

  • 完成度:作品的实现程度和完成情况,包括功能实现、用户界面设计等方面。
  • 代码质量:作品的代码稳定性、结构清晰度等,确保方案的可维护性和可扩展性。

参赛流程

参赛收获

1.专家指导

作品将有机会得到英特尔技术专家的指导,答疑解惑,助力参赛选手提升专业技能。

2.就业推荐

表现优异的团队或个人有机会获得就业推荐。

3.丰富的奖品

参赛报名

扫描下方二维码填写团队报名表,工作人员会在报名截止(5月30日)后通过您报名时预留的邮箱与您取得联系,沟通作品提交事宜。

更多学习资料

1.使用魔搭社区云环境步骤:

通过登录并使用魔搭平台及注册时关联阿里云账号获得的免费CPU云计算资源,启动Jupyter Notebook或相应环境镜像进入相应的项目部署环境。根据相应模型的部署文档,确认或完成运行环境的准备,并在导入Notebook及相应模型后,完成模型的直接部署,或根据部署文档中的模型优化方式在完成模型低精度量化或格式转换后进行部署。利用Notebook环境进行开发测试,请注意保存代码到本地。

2.推荐使用的部署及优化工具:

3.大语言模型的微调:

https://www.bilibili.com/video/BV1Wu4y1c794

4.使用Intel 大模型推理达到40倍加速:

https://www.bilibili.com/video/BV1nu4y137JT

5.大语言模型的4bits量化神器GPTQ:

https://www.bilibili.com/video/BV1R94y1c7eC

6.CPU上运行图像生成:

https://www.bilibili.com/video/BV1HG411r7ZV

7.大模型剪枝技术:

https://www.bilibili.com/video/BV1gK4y1z7V4


  • 本站原创文章仅代表作者观点,不代表SDNLAB立场。所有原创内容版权均属SDNLAB,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用,转载须注明来自 SDNLAB并附上本文链接。 本站中所有编译类文章仅用于学习和交流目的,编译工作遵照 CC 协议,如果有侵犯到您权益的地方,请及时联系我们。
  • 本文链接https://www.sdnlab.com/26508.html
分享到:
相关文章
条评论

登录后才可以评论

SDNLAB君 发表于24-05-14
0