国家队来了！国产中文大语言模型“天河天元”发布：由天河超算训练 ...

传薪教育 › › 资讯 ›

分享到

资讯 2023-5-21 09:57 1674人浏览 1人回复

来自: 转载收藏邀请

摘要

5月21日消息，5月18日，2023第七届世界智能大会于国家会展中心（天津）正式开始。而天河新一代超级计算机是中国新一代百亿亿次超级计算机，也在此次展会迎来首次亮相。同时，为充分发挥超算在算力方面的优势，推动国 ...

5月21日消息，5月18日，2023第七届世界智能大会于国家会展中心（天津）正式开始。而天河新一代超级计算机是中国新一代百亿亿次超级计算机，也在此次展会迎来首次亮相。

同时，为充分发挥超算在算力方面的优势，推动国产异构超级计算机平台在AI应用开发和服务领域中的应用。

国家超算天津中心在大会上发布了“天河E级智能计算开放创新平台”和“天河天元大模型”。

据介绍，中文大语言模型的数据集非常稀缺。国家超算天津中心搜集整理了网页数据、各种开源训练数据、中文小说数据、古文数据、百科数据、新闻数据，以及专业领域的中医、医药、问诊、法律等多种数据集。

训练数据集总token数达到350B，最终训练打造出了自己的中文语言大模型——天河天元大模型。

据悉，“天河E级智能计算开放创新平台”将带来突破百亿亿次的跨模态的超级计算算力，支撑传统的科学工程计算，并服务智能混合计算，打造全方位的算力赋能创新和数字经济高质量发展载体。

1674人参与，1条评论

精彩评论

xyenglish 2023-5-13 08:03

引用

On May 18th, the National Supercomputing Center in Tianjin unveiled its new Chinese language model, "Tianhe Tianyuan," at the 2023 7th World Intelligence Conference. The model was trained on the Tianhe supercomputer, China's new generation of exascale supercomputers, which makes use of its computing power to drive AI application development and services. According to reports, the dataset for Chinese language models is scarce, so the National Supercomputing Center collected and organized various open-source training data, including web page data, Chinese novel data, encyclopedia data, news data, and professional domain data such as traditional Chinese medicine, diagnosis, pharmaceuticals, and law, totaling 350B tokens. The resulting Chinese language model, Tianhe Tianyuan, will support scientific engineering calculations and hybrid intelligent calculations, providing high-quality digital economic development and innovative applications.

xyfan

0 粉丝203 主题

测试

近期文章