“不是任何云都能支撑这个流量。中国有两朵云,一朵是阿里云,一朵叫其他云。”11月11日晚,阿里巴巴集团CTO不久前,行癫(张建峰)表示。
除了云,要深入了解阿里的武功路数,就必须知道每一个花名背后的武器和绝技。11月18日,徐卿、观涛、鸣嵩、日照、楚霸、孤星、龙现、行易、镭明在阿里举行“双11 背后的技术力量”在沙龙活动中,这九位阿里技术大牛展示了路数,全面解读了双十一背后的武功秘籍。
整个天猫的营业额为2684亿,零订单峰值达到54.4万笔/秒。这是华山论剑的结果。
自主研究数据库POLARDB和OceanBase分别处理8700万、6100万/秒峰值请求,每秒实时计算峰值25.5计算平台单日处理1亿笔970PB数据、智能物流12亿等……2019阿里巴巴在年双11期间打破了许多技术纪录。
核心交易系统100%迁移到云,第三代神龙服务器定义IT新的行业计算范式
双11闪亮的数字背后有一件重要的事情,那就是阿里今年将100%的核心交易系统转移到阿里巴巴的公共云上,这是前所未有的世界级挑战。
要实现100%的迁移,必须提到阿里云的神龙服务器。神龙架构负责人徐卿(张献涛)介绍,“神龙服务器是阿里云近三年来投入巨大资源开发的新一代适合云计算架构的服务器,具有高弹性、高稳定性和高性能的能力。”
阿里云从2016年开始投资相关研发,之一代龙云服务器于2017年10月发布。三年内,阿里云从自主芯片开发到自主设备 Hypervisor、最后,神龙服务器龙服务器,打开芯片、软件、服务器硬件之间的断层,云计算行业性能和资源零损失首次实现。
阿里云智能基础产品事业部 张献涛(徐卿)
阿里云为什么要开发这样的神龙服务器?
徐卿说,在过去的十年里,整个服务器的架构没有太大变化。因此,在云计算中,甚至在整个云计算中IT系统层面,业界面临着性能损失等历史遗留问题。
根本原因是芯片、服务器和软件制造商之间没有太多的协作,缺乏顶层设计,每个领域,每个厂商都想把自己的事情做得很强,但是做强之后,可能无助于提高整个系统的效率,这是我们能感受到的。
从这个角度来看,我们需要改变、创新和改进整个计算架构,以提高整体计算效率,这是阿里做神龙的初衷。
阿里云为什么这么做?
“当规模达到一定程度时,你会真正感觉到这是一个需要解决的问题。当你将来只有10台、20台甚至200台和2000台服务器时,资源仍然不满意。在这种情况下,你没有太多的动力投资数亿元来解决这样的问题,今天,阿里巴巴云的整体规模让我们面对这个问题,解决这个问题。”徐卿解释道。
徐卿认为,神龙今天正在定义IT新的行业计算范式,它不仅可以实现阿里巴巴云100%的核心系统,解决虚拟化性能和资源成本,还可以实现软硬件的完美整合。它的综合性能在许多业务场景中超过了物理机器的性能。
说到物理机,徐卿还介绍了第三代神龙架构,它可以提供非常高的性能,“我们 *** 的性能每秒2500万PPS转发,这是行业标杆的5倍,存储性能实际上达到了100万IOPS,这是行业标杆的三倍,所以有了这样的东西之后,我们就承担了双11大促销业务,其实性能比物理机高很多。。”
“当然,最终,我们仍然认为云是云IT集大成者,真正的云计算厂商有责任也有义务引导今天软硬件方面的一些创新,回馈未来的IT为技术变革奠定基础。”旭卿表示。
AliNLP平台授权700多个核心业务,客户服务AI搭载KAN-TTS70%的技术问题
阿里也为语音和视觉方向做好了准备。达摩院实验室雷鸣介绍了阿里的客户服务AI和视觉AI。
这是基于阿里巴巴真正 *** 人员的声音定制的 *** *** AI,基于今年发布的新一代语音合成技术——KAN-TTS技术,该技术可使语音合成效果接近现场录音97%。阿里巴巴可以将整个定制周期压缩到20天,录音周期约为2天,有效减轻了人工客户服务的负担。
这种AI它会完全取代人工客户服务吗?事实上,这种AI不是完全替代人工,而是人工跟踪AI协同工作。AI常规问题可以解决,剩下的30%需要人工 *** 解决。这是一种更好的人机协作模式。
从数据来看,阿里巴巴AI每天调用1万多亿次,服务全球10亿人,日处理图像10亿张,日处理视频120万小时,日处理语音55万小时,日处理自然语言5000亿句。
达摩院在自然语言处理、智能语音、视觉计算等领域获得了40多项世界之一名。同时,自然语言处理SQuAD在机器阅读评价中,精确阅读率首次超过人类,智能语音入选MIT Technology Review2019年全球十大突破性技术。这些技术在双十一的贡献有以下三个方面。
首先是自然语言处理,通过AliNLP *** 、天猫、盒马、国际化等数十个平台BU700多个核心业务。双十一重点支持阿里妈妈、阿里云、小蜜、菜鸟、新零售、天猫精灵等23家业务方,双十一当天在线调用量超过11亿。
其次是 *** AI,阿里小蜜承担了 *** 天猫平台97%的在线服务需求,相当于转换8.5今年,阿里小米推出了一些新功能,包括直播小米、基于图片的智能问答和多样性文本生成。此外,阿里小米不是单向能力,而是综合语音、语言、视觉、翻译等能力,小米与用户的互动已经朝着文本、图像、语音等多模式发展。
在视觉方面,拍淘日处理图10亿张,今年双十一,视觉AI对拍立淘进行了技术升级,从一图一物到一图多物。比如之前只识别一个元素,今天全身穿着一次性识别,这个技术在计算机视觉领域的顶级会议上。ICCV 2019年赢得冠军。
飞天大数据平台和飞天大数据平台AI,以技术实现商品和消费者更优匹配
AI它不仅有助于商品识别、客户服务和客户之间的沟通,而且大数据和最重要的消费关系AI的支撑。
阿里云智能计算平台事业部研究员关涛(关涛)表示,从商业的角度来看,双十一的挑战是商品和消费者之间更优化匹配的问题,下降是大数据和AI能力挑战,
从数据来看,今年双11的数据量达到了970 PB,这大概是什么量级?央视所有电视剧和新闻节目的数据量为80 PB左右,对比,阿里巴巴通过大数据和AI技术分析是央视数据量的10倍以上。
这种数据能力背后的平台是什么?这是阿里巴巴十年前开始建立的飞行大数据平台。在双11中,阿里巴巴使用了一套完整的自主研发平台,包括10多万台大型服务器集群和10 数据中心10EB级别存储、每天千万级别的大数据和AI计算作业。
在AI关涛在后台介绍了流量计算系统。它是一个实时数据计算系统。通过实时计算模式,可以给系统、商家和消费者非常实时的数据能力。流量计算系统可以实时计算AI预测,支持商家的商业决策。据统计,90%的实时推荐给商家的智能决策将在去年2018年双十一期间被商家采用。
支持实时计算的系统层次TPS、每天在线实时运行超过1万级,每天处理超过10 Trillions of Records,包括实时分析、实时预警、实时搜索、在线机器学习和广告推荐AI在做的。
此外,还有飞天AI通过处理音频和视频元素,平台不仅可以实现千人千面,还可以为同一产品提供上千种不同的视频封面。
20名工程师贷款3000亿元,网上商业银行计算能力、计算材料和算法,形成核心竞争力
新产品和商业决策的前提之一是资金到位,涉及网商银行的业务。
“其实网商银行大家可能都不太熟悉,去之前也不知道自己在做什么。”蚂蚁金服网商银行研究员楚霸说。
网商银行成立于2009年,原名阿里 *** 。10年后的今天,网商银行贷款总额为3000亿元,由20名算法工程师完成。楚霸认为,“20我认为科技是更大的英雄。”
能够完成这样一个业绩的网商银行,褚霸却笑称其为“傻子银行”,“因为 *** 业务实际上是一家银行,而不是技术,我们是一个技术整合器,前几个介绍这些技术是我们很好地整合到今天的系统中。”
但事实并非如此“傻子”,网商银行在引进云延伸等新技术方面其实是走在前面的。
还有实时反欺诈技术,可以达到1%或更低的不良率。从金融风险来看,行业不良率为5%。“因为今天我们有各种各样的大数据,AI计算能力和优秀的算法工程师可以将这些算法、材料和算法串联起来,形成核心竞争力。”楚霸解释道。
在交易中,记录交易数据库是或缺的重点之一POLARDB不容忽视。
阿里云智能数据库事业部资深技术专家曹伟(鸣松)介绍了阿里巴巴数据库的发展历史。之一阶段是使用IOE,使用Oracle;2015年和2016年开始自主研发POLARDB,今年100%上云,阿里的所有核心交易、库存等业务都将使用POLARDB以及我们的生态,物流云都在POLARDB今年支持双十一。
鸣嵩介绍说,2010年我们去做了IOE从2013年开始,我们将把这件事全部做好Oracle系统下降,换成AliSQL,我们今年做到了POLARDB,而POLARDB今年双十一达到每秒8700万次的峰值TPS,我们在它背后VLDB、SIGMOD、ICDE上发表的创新技术。
IOT实现数字化、智能化的仓储物流
而在物在流动领域,我们看到的包裹包含了什么看不见的技术。
双11包裹量从1.52亿到今年的12.981亿,增长了8倍左右,然后双11包裹的签约时间点从9天到今天,我们只需要2.4一个包裹的交付可以在一天内完成。
“整个双11今年备货量足以填满1000个鸟巢或16000个鸟巢A380飞机。到目前为止,菜鸟已经成立了大约六年,这六年其实已经把科技塞进了未来的每一个毛细血管。”北京菜鸟技术中心资深技术专家陈刚(花名:行易)说。
首先,在包裹产出中,即仓库。“菜鸟”用三种技术实现数字化,即IOT技术、自动化技术和智能算法保证了数字化和智能化的存储能力。
比如每年双十一,仓库都会招很多临时工,但由于业务熟练程度的问题,临时工培训和熟练完成工作需要很多时间,而今年IOT技术就包含了一个lemo设备,临时工可以在几分钟内学会如何操作,临时工可以在一天内达到99%的熟练度。
11月12日,阿里巴巴董事长兼CEO张勇在仓库里用了5分钟Lemo,他亲自点击了一些订单,并在10分钟内完成了整个工作流程。
目前,菜鸟在全国的自动化装配线已超过5000公里,自动化设备比去年增加了50%以上。无锡还有一条机器人生产线,就在驿站“秒取快递”技术上,自助可以刷脸取快递等一系列。此外,电子面单利用率超过99%,大大降低了整个中国的物流成本。
绿色数据中心,开放式 *** 架构,RDMA高性能 *** 、弹性跨域访问和自主研发数据平台5项绝技
以上大部分技术都需要基础设施的支持。在基础设施人眼里,什么是双十一?
阿里云智能基础设施波(花名:龙现)谈到阿里云智能基础设施事业部,“我们认为双十一是华山论剑,阿里无疑是世界之一。但我们认为所有的武术都不是一天练习的,创新的内功和赋能武器是我们在华山顶端获得的利器和基石。”
阿里是怎么练内功的?这取决于阿里绿色数据中心的一项创新技术液冷服务器,该技术于2016年推出。1.0版本,现在是2.0,阿里已经做了大规模的部署。今年的双十一,液冷技术可以将每万笔交易的功耗降低到2度左右。如果所有交易都在液冷上实现,双11当天可节省约15万度电。
目前,阿里巴巴数据中心已遍布200多个国家和地区。这种广泛分布的数据中心被视为易筋经肋骨,是驱动阿里所有商业行为和商业流量的基础,它不仅可以支持双十一的峰值,还可以提供灵活的服务。此外,液冷技术将在不久的将来开源。
练完内功再看屠龙宝刀,也就是阿里的自研服务器,它可以优化阿里巴巴的应用场景,促进产业生态的发展。龙现在专注于存储场景AliFlash,它已广泛应用于存储场景中。通过硬件创新与软件技术的结合,阿里现在实现了软件一体化的协同设计,在性能和功能上取得了突破。
在阿里百万级服务器规模背后,如何充分利用资源?龙现说道,“在我们自己的数据中心,我认为极端的弹性和自动化是我们能够支持如此大规模的服务器的最重要原因之一。”
还有被龙现比作倚天剑的自研交换机,自主交换机是阿里在 *** 领域的重大技术创新,其实就是 *** 界IOE,它承担了大部分的核心流量和 *** 流量,可以让每个人都感觉不到 *** 的减速或“晃动”,让双11平滑过去。
另外,RDMA *** 也是关键技术,今年,云盘和核心数据库的核心交易量在去年的基础上发展了三倍。所有这些都是阿里巴巴在数据中心 *** 上做的几项突出工作。
太极拳也包含在供应链中。“众所周知,太极拳是静态制动的。在企业层面,它更注重人的协调。从集团决定在双11上使用神龙到上线只有两个月,供应、备货和测试都非常紧张。然而,供应链的同事帮助供应链制造商优化资源共享,通过优化库存和流程,大大改善了供应链的交付,取得了令人满意的效果,有效地支持了双11云的目标。”龙现解释道。
综上所述,支持云上双十一硬核基础设施,江湖、绿色数据中心、开放式 *** 架构、RDMA高性能 *** 、弹性跨域访问和自研数据平台。
未来,我们将继续拥抱开源和云原生技术,以技术效率提高商业效率
在过去十年电子商务发展的背后是技术实力的可持续发展。电子商务的发展给技术带来了巨大的挑战。技术的突破和变革也支持了电子商务业务规模的不断扩大和业务场景的拓宽。
阿里巴巴淘技术部高级技术专家洪海(花名:孤星)表示,我们经历了从集中到分布式、从集中到分散的系统架构,从私有云到混合云,今天全面进入阿里巴巴云公共云的过程。在业务快速发展的过程中,技术人员面临的问题,更大的挑战来自双11,在这一巨大的商业盛况背后,是层层技术的突破。
多年来, *** 、服务器、存储等基础设施发生了翻天覆地的变化。微服务、容器化、数据库等一系列基础技术和框架的不断演变,带动了电子商务技术在搜索、个性化推荐、视频互动、新闻等应用领域的支持和连接。
阿里人面前解决了业务规模增长的技术瓶颈后的成本问题。为此,电子商务开始尝试混合云架构,在短时间内租用云机扩展容量,形成云单元。另一方面,它利用离线大数据集群和在线集群的错误高峰互补,形成了混合布技术。在这个阶段,我的容器技术发展迅速,Pouch容器和Sigma调度系统已成为整个资源管理调度的基石,支持数百万容器的管理和运行。通过这一系列手段,有效控制了计算双11峰值资源的成本。
在成本问题之后,阿里在神龙服务器、云灵活性、秒扩容技术、云集成研发的帮助下,实现了更高效、更开放的效率。
最后,孤星说,“未来,我们将继续拥抱开源、云本土技术和云。通过提高技术效率,提高业务效率,开放生态,创造新业务。”
作者:温柔的猫主人
本文为云栖社区原创内容,未经允许不得转载。
根据Motherboard购买的几组数据,一家定位数据公司正在出售与访问提供堕胎服务的诊所有关的信息,包括计划生育设施,显示访问这些地点的人群来自哪里,他们在那里停留了多长时间,以及他们随后去了哪里。 在泄露的最高法院意见草案中, Alito法官表示,法院准备废除罗伊诉韦德案的裁决,该案是数十年来为...
Facebook正面临一场世界各地隐私法规“海啸”,这将迫使该公司大幅改变处理用户个人数据的方式。根据外媒获得的一份从Facebook泄露的文件,Facebook这场“劫难”的根源在于,他们自己都搞不清楚用户数据的用途和去向。 这份泄露的文件是由Facebook广告和商业产品团队的隐私工程师去...
在现在跟黑客直接对抗之时,美国政府官员正在为另一个更长期的威胁做准备:攻击者现在正在收集敏感的加密数据并希望他们能在未来的某个时候将其解锁。这种威胁来自于量子计算机,它的工作方式跟我们今天使用的经典计算机非常不同。 它们使用的不是由1和0组成的传统比特,而是可以同时代表不同数值的量子比特。量子计算...
SushiSwap 首席技术官表示,该公司的 MISO 平台近日受到了软件供应链的攻击。SushiSwap 是一个社区驱动的去中心化金融(DeFi)平台,方便用户交换、赚取、借出、借用和利用加密货币资产。今年早些时候,Sushi 的最新产品 Minimal Initial SushiSwap Off...
Google的安全研究人员对NSO集团的一个零点击iMessage进行了深入研究,并揭示了该公司攻击的复杂性。Google Project Zero(零点项目)指出,ForcedEntry零点击漏洞–它已被用来针对活动家和记者–是“我们所见过的技术中最复杂的漏洞之一”。 另外,它还说明了NSO集团...
美国Broward Health公共卫生系统近日披露了一起大规模数据泄露事件,影响到1357879人。Broward Health是一个位于佛罗里达州的医疗系统,有三十多个地点提供广泛的医疗服务,每年接收超过60000名入院病人。 该医疗系统在2021年10月15日披露了一起网络攻击事件,当时一名...