秒变AI算法专家,还完全免费!这个国际开源AI平台真香
智东西(公众号:zhidxcom)作者 | ZeR0编辑 | 漠影
智东西5月10日报道,近期,一个规模化AI模型生产平台在Github悄然上线。
这个平台叫AI SUITE – YMIR(中文名:挖米匠),能以无代码开发方式,实现数据管理、数据挖掘、模型训练、模型验证等功能。
由于各功能均已开源,你既可以用这个平台高效训练出AI模型,也可以按需任意修改代码,并且无论是个人使用或商用,都完全免费!
其核心发起人阵容亦相当吸睛,有多位知名国际AI大牛,包括:云天励飞首席科学家王孝宇;美国硅谷NEC实验室媒体分析部主管、UCSD教授,印裔科学家Manmohan Chandraker;前谷歌、亚马逊、Snap机器学习研究员,硅谷初创公司Heali联合创始人、首席AI官,法裔科学家William Brendel等等。
▲云天励飞首席科学家王孝宇(图左),印裔科学家Manmohan Chandraker(图中),法裔科学家William Brendel(图右)
王孝宇告诉智东西,有多家美国科技巨头公司的首席AI官担任这个开源项目的顾问。
此前,YMIR主要发起人撰写的论文《YMIR: A Rapid Data-centric Development Platform for Vision Applications》已被国际顶级机器学习会议NIPS 2021收录。
▲YMIR论文
除了大牛云集外,在上手试用YMIR平台后,智东西的感受是,对于有一定编程基础的开发者而言,这个平台绝对会带来生产力的飞跃。
曾经TensorFlow、PyTorch等开源框架,掀起了AI开发普及的盛世,那么如今这些国际AI大牛发起的开源AI基础软件平台,又能带来哪些改变?
相比此前已有的AI模型开发平台,YMIR有哪些独特优势?它通过怎样的核心技术,来满足在真实业务场景中大批量生产模型的需求?
带着问题,智东西联系到了YMIR平台的几位发起人和核心研发成员,挖掘其背后的技术真经。
YMIR项目链接:http://www.viesc.com/Github传送门:https://github.com/IndustryEssentials/ymirYMIR论文链接:https://arxiv.org/pdf/2111.10046.pdf
为什么国际AI科学家们,要联合发起这样一个开源AI模型生产平台?
云天励飞首席科学家王孝宇是YMIR平台的核心发起人之一,据他回忆,发起YMIR的初衷,是希望通过开源AI系统能力,让每一家企业都能拥抱AI,加速AI产业化、平民化。
未来AI会渗入各行各业,AI能力或AI思维将会成为一个从业者需具备的基本素质,但因资源有限,每个企业都招聘很多博士去做AI开发是不现实的。
这也是YMIR核心发起团队的共识:加速AI普及,一定需要一个开源平台,来帮助AI企业低门槛、高质量地完成AI开发。
▲YMIR主页
就像40年前,使用电脑是一项专业技能,而随着Windows操作系统、Office办公软件等工具地发展,如今基本受过高等教育的人都会使用电脑。
AI亦是如此,要从早期过程不标准化、对人才专业度要求高的“快糙猛”研发方式,过渡到大规模应用于各垂类行业阶段,搭建系统性能力平台至关重要。
“业内 虽然已有不少开源项目,但还缺少针对算法研发全流程工作的产品级开源工具。”王孝宇说。
AI算法开发是一整套专业研发环节的组合,包括数据标注、计算框架、神经网络设计、数据挖掘设计等等。这些工作通常需要AI专业的硕士或博士通过编程进行每个环节的设计,并手动将这些环节连接起来形成一整套研发流程。
如果缺乏开源易用的工具,那么高质量的AI研发就只能是“专家的事”。
YMIR团队对国内外的模型生产工具做过详细调研,他们发现,这些工具的开发多由科学家或科研人员主导,缺乏对产业认知,无法真正解决业界痛点。
“算法的研发是持续的过程。”王孝宇说,“根据我们的经验,第一次训练的模型是百分之百不能满足业务需求的,你必须在客户现实的场景中去迭代模型,才能达到业务所需的目标。”
但当前许多模型生产工具都是“一次性”、“理想化”的,训练一遍就不再动了,等模型被用到实际场景,很可能出现偏差。
而YMIR项目由一帮有丰富产品经验的AI算法开发人员参与,他们将此前的经验以数据、流程等可视化的形式沉淀积累,通过流水线流程设计,让AI开发的工作效率飞速转起来。
“以前这么多人可以干一件事情,现在这么多人可以干十件事情,效率更高。”王孝宇说。
无论是小型AI公司,还是有AI开发需求但缺少AI研发人才的企业,都能免费使用这一开源平台,针对目标场景,训练出满足需求的专用AI模型。
据YMIR核心研发成员胡文泽博士透露,一些AI芯片公司也在投入人力向YMIR提交代码,从而批量化生产模型,满足研发芯片期间测试特定算法的需求。
这样一来,高精度AI模型开发,不再只是AI专家的独享技能。
视频加载中…
▲YMIR团队分享的一个简短背景介绍视频
智东西试用后,感觉YMIR极易上手,整个过程无需敲入代码,只用进行鼠标点击或拖拽,每个步骤都有清晰的指引,而且可视化显示界面很方便用户对数据和模型的管理和查看。
YMIR采用项目制管理设计,覆盖了典型AI模型开发过程中端到端的全流程步骤,通过将训练流程标准化和可视化,为数据处理、模型训练、模型评估、模型迭代等业务需求提供一站式服务。
下面我们展示YMIR系统的几个主要用户界面。
在使用YMIR前,你需要先准备好数据集,并安装好英伟达驱动环境,然后就可以进行数据集导入了。
▲界面1:数据集导入
需注意的是,当你导入带标注文件的数据集时,要确保标注类型属于系统已有的标签列表,否则需先进入标签管理界面,添加自定义标签。
完成该任务后,页面会指引进入数据标注步骤。
YMIR支持使用开放的LabelFree标注工具,提供有一键标注服务,对数据集大小、用户数量、项目数量等均无限制。你也可以外接其他标注工具。
▲界面2:LabelFree数据标注
胡文泽告诉智东西,经过其内部测试,YMIR可支持数百万级数据规模的目标检测任务。
深度学习训练需要对大量的数据进行标注,如果全部由人工进行标注,人力和时间成本都很高。
而YMIR平台采用主动学习的方法,通过挖掘、标注和重训练的循环,比将全部数据标注后再训练的方法更加高效,减少了对低质量数据的标注成本。
下图所示是数据挖掘界面。
▲界面3:数据挖掘
在AI模型开发周期中,模型迭代占据90%以上的时间,而数据迭代是模型迭代的关键部分。
YMIR提供的数据集版本管理功能,能自动生成数据集版本,并记录每次对数据集的操作,完整追踪数据集的迭代,对有大量数据挖掘的研发非常友好。
在模型训练界面,你可以清晰地看到训练进度以及一些关键参数。
▲界面4:模型训练
每次模型训练后,YMIR还可以对模型结果进行验证,即通过可视化方式查看模型在真实图片中的表现。如果达到预期,即可下载模型;如果需继续使用该模型挖掘,则可进入下一轮的“挖掘-标注-训练”循环,直至达到预期效果。
▲界面5:模型验证
YMIR以模型与数据集的迭代为核心目标来设计,一套流程走下来,不仅能针对业务场景持续提高模型性能,还能提高开发效率,降低研发门槛。
YMIR核心开发者黄轩介绍,过去用传统研发方式,大概至少需1个月迭代1次数据和模型,现在用YMIR平台1周就能迭代2次。
以前经验丰富的AI算法工程师才能完成的工作,现在,只要具备计算机操作知识,你就能用YMIR平台实现类似的高精度模型结果。
为什么YMIR在降低操作门槛的同时,能确保没有在产出模型质量上做妥协?
我们将在下一章节做进一步解读。
针对不同应用场景,YMIR如何做到发挥稳定地训练出高精度模型?
这主要得益于YMIR采用的数据处理方式。
YMIR是一个数据驱动的AI训练平台,与模型驱动的训练方式相比,在面对具体任务时,往往能更为快速地在目标场景中,迭代出高精度的AI模型。
模型驱动的显著特征是当模型足够准确时,其结果在绝大多数情况下可达到预期甚至取得最优。但在实际应用中,即使对一个具体任务进行精确实验室建模,其也极难在应用场景中达到预期。
而数据驱动的方式,是让模型在数据中不断校验调优,最终得出符合预期需求模型的过程。
这解决了业界的一个主要痛点:模型需要持续迭代。
早在2015年,机器学习泰斗、斯坦福大学教授吴恩达(Andrew Ng)就在演讲中提到“公司的壁垒不是算法,而是数据”。
他认为,要打造一款AI产品,需要让算法利用足够的数据,使得产品运行起来,然后通过产品来获取用户,用户再提供更多的数据……周而复始。
吴恩达预言,在未来的AI研发中,数据迭代带来的性能提升,将大大超过模型架构本身的演进带来的性能提升。
而YMIR的核心理念,便是依靠产品级模型生产流水线平台,以主动学习、数据驱动方式,让更多不具备专业知识和经验的人参与到算法开发中,从而加速AI技术和应用的繁荣。
▲一个典型的YMIR工作流程
YMIR平台先用少量已标注数据训练出一个初始模型,再用该模型从海量数据中挖掘出对优化模型最有利的数据,然后仅针对这些高质量数据进行标注,实现对原本的训练数据集进行高效扩充。
接着,该平台使用更新后的数据集再次训练模型,如此循环往复,模型的质量就会不断提升。
由于YMIR各功能都是开源的,你可以将自己开发的工具对接到YMIR平台提供的开放API,也可以按照自己的想法修改代码,包括数据存储、模型训练、标注工具、可视化界面等等。
据了解,YMIR也参与了云天励飞获得2021年吴文俊人工智能科技进步一等奖的项目,是实现模型快速迭代平台的关键组成。
YMIR核心开发成员向智东西透露,目前已有超过20家机构申请试用YMIR平台。
边际成本是未来十年AI行业的竞争核心要素。目前,AI模型通用性低导致的项目碎片化、交付效率低是行业的普遍痛点。未来高效率、低成本边际成产AI算法将成为行业的竞争焦点。
而拥有流程化、一站式、开放设计、无代码、开源免费五大特点的YMIR平台,对推动AI模型生产更加高效低质的目标,起到积极的推进作用。
总体来说,YMIR平台的使用门槛很低,采用RPA流程化思维设计,一站式覆盖AI模型生产的整个生命周期,支持无代码开发,不需要使用者具备专业AI技能,并且个人、企业均可免费使用不受限。
有编程基础的开发人员,不妨申请试用,也可以参与到这个国际开源社区中交流,或许能被启发或贡献一些新的想法,助力优化AI模型生产流程。
YMIR试用申请地址:https://github.com/IndustryEssentials/ymir#12-apply-for-trial
无需写代码!可一键生成前后端代码的开源工具
作者 | HelloGitHub-小鱼干
来源 | HelloGitHub(ID:GitHub520)
JeecgBoot 是一款基于代码生成器的低代码开发平台,零代码开发。JeecgBoot 采用开发模式:Online Coding 模式-> 代码生成器模式-> 手工 MERGE 智能开发,帮助解决 Java 项目 70% 的重复工作,让开发更多关注业务逻辑。
它引入了 No Coding 概念:在线表单配置(表单设计器)、移动配置能力、工作流配置(在线设计流程)、报表配置能力、在线图表配置、插件能力(可插拔)…
开发环境
-
语言:Java 8
-
IDE(JAVA):IDEA/Eclipse 安装 lombok 插件
-
IDE(前端):WebStorm 或者 IDEA
-
依赖管理:Maven
-
数据库:MySQL 5.7+ & Oracle 11g & Sqlserver 2017
-
缓存:Redis
-
基础框架:Spring Boot 2.1.3.RELEASE
-
持久层框架:Mybatis-plus_3.1.2
-
安全框架:Apache Shiro 1.4.0,Jwt_3.7.0
-
数据库连接池:阿里巴巴 Druid 1.1.10
-
缓存框架:Redis
-
日志打印:logback
-
其他:fastjson、poi、Swagger-ui、quartz、lombok(简化代码)等
-
Vue 2.6.10、Vuex、Vue Router
-
Axios
-
ant-design-vue
-
webpack、yarn
-
vue-cropper – 头像裁剪组件
-
@antv/g2 – Alipay AntV 数据可视化图表
-
Viser-vue – antv/g2 封装实现
-
eslint、@vue/cli 3.2.1
-
vue-print-nb – 打印
功能模块大屏PC 端手机端ipad端
GitHub 传送门:https://github.com/zhangdaiscott/jeecg-boot
点分享
无代码开发平台 有哪些?
国外的无代码开发平台可谓五花八门,但国内的无代码开发对我们来说可能普遍陌生,很多程序员甚至不屑甚至抵制无代码开发技术。我也认为没有代码只能完成一些简单的功能需求。复杂的功能需求无法完成,影响不大。当我实际使用这些平台时,我发现很多国内的无代码开发平台也非常方便。有效地提高了开发效率,一些非代码开发平台甚至可以完成复杂的功能需求。下面是一些不错的国内无代码开发平台。
我推荐企业使用无代码平台也有几大原因,它可以为企业带来以下好处。
1、缓解技术部门的压力。无代码的开发效率高,公司可以极快地解决内部需求。
2、避免技术人员的交接遇到问题。无代码平台不需要编写代码,避免了在传统的开发方式中,由于程序员离职,其他同事需要花费较多时间才可以了解理顺之前编写的代码的问题。
3、节省成本提高效率。无代码相对于传统开发或低代码的开发速度,可以说是远远超越后者。在竞争如此激烈的互联网市场中,争取到了时间。而且大大节省了人力、财力等成本。
4、与策略不会偏差。由于零代码平台可以使业务人员也参与开发,这样业务的策略方向和实现就不会发生偏差。
5、 便于调整。企业可以随时按照自己的想法进行调整,而不必思考时间和人力成本。
以下就为大家介绍几家国内比较好的无代码开发平台。
雀书是一个灵敏易用的使用构建平台,能够满足企业的个性化需求。随改随用是它们的灵活性,用户无需编程即可构建销售、办公自动化、生产等办理使用,帮助企业规范业务流程,促进团队协作,实现数据跟踪!快速灵活地建立业务管理系统、在线生成表单、填写数据,无需代码,大大提高了工作效率。
亮点:
1、手机端移动办公:在外也可以随时办公,提高企业办公效率;
2、多列布局:拖拉方式快速搭建表单,告别枷锁;
3、自定义流程:支持单人审批、多人会签、多人或签、处理链、逐级审批等多种审批方式,可通过规则引擎配置规则表达式,让流程引擎在运行时根据条件确定下一条分支;并且可以实现复杂的审批流转。
4、支持私有化:个性化定制应用,保护企业数据。
5、权限力度:根据不同的角色分配权限,并且能做到控制字段力度。
6、智能协同表格:像excel一样管理数据,团队协作共享表格,打破信息孤岛;
7、数据大屏:直观地看到数据情况;
界面:页面简洁大方,功能排布明确。
速融云一款面向业务主管的无代码应用搭建平台,可以搭建进销存、CRM、财务管理、项目管理、售后管理、排班管理等应用。支持业务表单设计、复杂业务流程设计、RPA 流程、数据实时报表、客户门户等功能;帮助中小企业低成本实现数字化。
亮点:
1、在线表单:有强大的跟踪能力,能够跟踪用户填写时的 IP 、所在地、浏览器、名称等,还可以根据渠道来区分具体的数据源。
2、BPM 流程引擎:有开始节点、结束节点、填写节点、审批节点、分支节点、跳转节点、自动操作节点等多种节点, 可以满足部分企业的需求。
3、BI 报表分析:流程表单,类似于聚合表数据工厂。
FileMaker是一个关于数据库的应用软件,它因易于使用且有不要求使用另外的第三方应用程序就能动态地为网页服务的能力而著称。FileMaker这款无代码开发平台,图形化界面设计精美(继承苹果产品的设计),对于新用户快速入门很有帮助。
亮点:
1、表格导入导出:用户也可以直接将Excel表格导入到FileMaker中,或手动创建字段,以此创建数据库表,实现个性化需求。
2、业务逻辑与界面层整合:一次性开发即可在移动设备,云端,本地环境等多平台使用。
3、数据库共享:可以一次管理多个数据库,以及数据库自动备份、日志记录文件管理、用户登入状况管理等;客户端共享。
跨平台一致性方面,FileMaker做的并不是很完美。例如使用iPhone更新一个库存,界面的布局混乱且不一致,没有桌面版本那么实用。企业有定制化需求,但时间紧、资金有限,FileMaker是一个不错的选择。
想要找到合适自身业务需求的无代码平台还需自己亲身试用才能知道,今天小编的分享就到这了,我们下期再见。
本文作者及来源:Renderbus瑞云渲染农场https://www.renderbus.com
文章为作者独立观点不代本网立场,未经允许不得转载。