派财经_色哟哟一区_聚焦数字经济内容服务平台

大數據時代的新命題:誰在滿足中國企業的實時性需求?

產業家思杭2024-01-24 13:20 數字產業
從540億元到1286億元——這是中國通信標準化協會大數據技術標準推進委員會在2023年做出的一份預測報告。報告指出,未來五年,中國數據庫行業在未來五年會從一個百億級市場跨越成為千億級市場。

站在今天的十字路口,國內數據庫行業已然呈現出新的拐點。而在各種新趨勢和新技術的到來,鏡舟也正在基于自己開源社區加商業化閉環,共同加速數據庫行業的發展和規范。

從540億元到1286億元——這是中國通信標準化協會大數據技術標準推進委員會在2023年做出的一份預測報告。報告指出,未來五年,中國數據庫行業在未來五年會從一個百億級市場跨越成為千億級市場。

圖片

2022-2027年中國數據庫市場規模及增速,來源:CCSA TC601

從數據庫行業的過往經歷來看,全球數據庫的發展共經歷過兩次熱潮。80年代,關系型數據庫的理論突破和技術創新是全球數據庫行業迎來的第一波熱潮;緊接著,步入21世紀后,從PC互聯網到移動互聯網的發展,則又衍生出更多的數據庫應用場景。

而當時間快進到最近兩年,中國的數據庫行業似乎也在迎來一輪新熱潮。

在新的數字經濟環境之下,企業數字化按下加速鍵的同時,線下線上的邊界被進一步稀釋。從線上購物到線上會議,再到線上營銷活動等等,新的變化不僅衍生出了如Zoom、騰訊會議等線上場景的“現象級應用”,也誕生出更多的數據分析場景。

站在時代發展的角度,這種新變化是伴隨著5G、云計算、大數據和AI等多種技術共同出現的。在IDC的預測中,“到2025年,全球近30%的數據需要被實時處理?!倍@也正是OLAP分析型數據庫近年來快速增長的客觀原因。

而另一組數字則是,預計到2024年,中國分析型數據庫的市場規模將達到521億元人民幣,復合增長率為27.8%。

圖片

來源:IDC

“OLTP已不能滿足終端用戶對數據庫查詢分析的需要”。1993年OLAP剛被提出之時,提出者“關系數據庫之父”埃德加·科德就闡明過這樣的觀點。

一個更通俗易懂的理解是,OLTP用于處理基本日常的事務處理;而OLAP則支持處理復雜的分析決策操作,查詢結果也更為直觀。在企業數字化加速到來的同時,OLAP分析型數據庫的需求也被越發放到臺前。

鏡舟,正是這條賽道的參與者之一。

在過去的幾年時間里,鏡舟和其“實時數倉”等產品愈發頻繁地出現在數據庫主流市場視野內,也成為了一眾企業在數據庫側的首選。

就當下而言,數據庫應該如何選擇?伴隨著企業對于數據即時性越發高要求的需求出現,中國企業到底需要怎樣的數據庫?

數據爆炸的十字路口,迎接變化

“從線下到線上,不僅導致了數據量級的變化,在企業內部,數據使用習慣也在發生變化?!辩R舟科技客戶成功負責人孟慶歡告訴產業家。在如今時代洪流的沖擊下,一個客觀事實是,數字經濟時代所帶來全新的商業驅動模式,正在倒逼企業加速完成數字化轉型升級。

以金融行業為例,在個人小額信貸場景下,一個在2024年已經不再發生的現象是,客戶親自去線下的銀行網點,填寫申請表,再等待銀行完成征信信息對比,最后才能收到由銀行經過多重審核后發放的消費貸額度。

如今的情況是,打開網銀APP,填寫完基本資料后點擊申請,不到一分鐘就可以收到來自銀行的貸款額度發放。

從線下銀行網點到線上網銀APP,過去幾天才能完成的事情,如今已經縮短到幾分鐘,甚至幾秒鐘。但與之相對應的變化則是,在線上金融場景中,數據量級正在從之前的“天”級別變為“秒”級別,時效性得到大幅提升的同時,對數據庫的要求也在提升。

同樣的情況也出現在零售等行業。

一個零售行業里的共識,線上銷售渠道的布設是必行之路,其意味“信息差被網絡填平,數量差被快遞填平”。然而,這種布局意味著也同樣意味著零售業要面臨多種線上渠道的涌入,比如淘寶京東拼多多、微信抖音視頻號等等。

這種渠道的分散化所帶來的是數據的繁雜多元。從真實情況來看,如果說過去企業的習慣是查看一個月的銷售額,以及各個渠道的售賣情況,以此對商品進行判斷,再做出新的銷售決策。然而,在多種線上渠道涌入的背景下,如今數據分析的觸角則來自四面八方,時間更是會橫跨多個時間緯度。

而在這個背景下,除了固有的數據數量之外,還有一個最難被攻克的環節:“用戶畫像分析”。實際上,這個“明星詞匯”近年來已經被金融、零售、游戲和汽車等行業中口耳相傳。

以百草味為例,在雙十一、雙十二等大型活動期間,企業需要將優惠券、紅包或者抽獎等促銷放置在不同時間點靈活發放,以達到最好的促銷效果。

但對于商家來說,如何找到準確的時間、精準的用戶群進行發放,其需要依托于渠道產生的實時數據指標,來進行用戶畫像分析。

這不是一件容易的事情。在一個企業內部,一個用戶基于不同的渠道往往可能擁有上百甚至上千個標簽,而在線上渠道接入后,標簽的量級更是被無限放大。因此,如果想要面向用戶進行足夠精準的營銷推薦,其對底層數據庫就有極大的要求,不僅需要處理大批量的數據,更要滿足時效性、實時性。

實際上,在如今快速變化的大環境下,不論是金融場景下的高數據要求,還是零售等場景中的類似用戶畫像分析的需求,都是如今企業內部對數據庫新要求的一個縮影。

那么最好的選項在哪里?

數據庫里的「鏡舟樣本」:速度與穩定

2022年,鏡舟科技面向金融行業發布了數據庫解決方案。

作為數字化轉型的代表,金融企業開始從“外需”向“內求”轉變,通過降本增效的方式來提升自身盈利能力。同時,在數字化建設方面,金融企業受互聯網影響,越來越偏向電商和零售化,利用企業背后積攢的大數據做驅動成為業務發展的必需。這使得金融企業不得不做到“既要又要”——既要穩定,又要速度。

以證券企業的用戶經營平臺為例,其需要收集和整合大量來自不同來源的數據,例如用戶畫像、用戶行為等數據,為業務運營人員提供快速的自助分析能力。這種能力使得證券在財富營銷、資產管理等場景下能夠更好地理解和滿足其用戶的需求,從而提升用戶滿意度和忠誠度。

另外,銀行內部員工的績效分析平臺也需要數據的驅動??冃I務明細數據、指標、考核方案均需要 T+0 的分析時效,來讓管理層及業務員工實時查詢經營數據并進行分析,了解存貸款、理財等一系列業績完成情況,同時也要支撐績效情況按不同顆粒度進行同比、環比復盤,賦能企業的經營管理。

這不是一件容易的事情,其背后考驗的是數據庫的查詢性能,對數據量和實時性的要求十分高。

鏡舟給出的解題思路是“向量化引擎+CBO查詢優化器+智能索引”——從數據存儲、到數據加工計算再到數據查詢,進行全方位的極速再造。

可以理解為,基于“向量化引擎+CBO查詢優化器+智能索引”三者的疊加,企業可以更好地歸攏和整理內部的數據,不論是通過向量搜索還是智能索引,都可以加速對數據的篩查和分析,進而加速對數據的調用和處理,盡快反饋到前端。

這正是鏡舟的優勢之一。但從更大的視角來看,鏡舟對企業的價值還不僅于此,其更為被市場認可的是其“實時數倉”解決方案。

實時數倉是在從事后延伸至事前事中的背景下應運而生的能力,相當于從T+1的模式升級為T+0的模式。

傳統的實時數倉需要依賴許多外部組件來搭建,體系搭建相對分散、難調度,鏡舟的做法是則在此基礎上添加了新的All in One模式,即數據的接入、處理和分析都在一個相對獨立的體系里完成,保證整個體系的獨立性。同時,為了更好地強化上次的數倉能力,鏡舟在底層還專項構建了湖倉一體的能力,使數據使用模式和接入方式更加統一。

實際上,這也恰是如今鏡舟“連接大數據與價值”slogan所對應的布局。

在這種強產品力背后,外界對鏡舟的認可也更在企業成長層面——即開源社區與商業化主體形成的“雙擎驅動”。

鏡舟科技CEO孫文現告訴產業家,在百度做統計系統福爾摩斯的時候,后臺使用的是MySQL。當時幾乎每周都要進行一次大規模數據恢復,否則第二天數據就丟了?!坝幸淮闻芘蝿找璩咳c之前把所有數據全部跑出來,否則數據丟失就會讓客戶看不到后臺效果,引起投訴?!彼硎?。

后來孫文現和團隊共同設計了百度的第一個OLAP。而StarRocks開源產品,即新技術架構下的OLAP,也正是誕生于孫文現在百度的這段“反恐24小時”的經歷。一個關于StarRocks的時間線是,2020年5月,StarRocks產品正式問世;2022年,StarRocks正式捐獻給了Linux基金會。

簡單來說,鏡舟的數據庫產品脫胎于StarRocks開源社區,但又不止于StarRocks。兩者的關系是相互促進、相互成就。

能看到的是,在如今StarRocks開源社區內部,不僅有鏡舟,也更有阿里云、攜程、騰訊、小紅書等重要參與方和貢獻者。實際上,由于開源社區的用戶量極大,其迭代速度也十分快。對此,孟慶歡告訴產業家,“迭代節奏平均來看是,兩周一個小版本,一個月一個大版本。”

而對于鏡舟商業化主體,為了保證其穩定性,其商業化版本則是在StarRocks已經成熟的版本上進行迭代升級,構建出更適配企業服務市場的產品和方案。

鏡舟提出的湖倉一體新架構也來源于StarRocks,并在此基礎上添加了災備管理能力和數據權限管理能力,來保證企業用戶在數據系統運行中的數據安全和資產管理保障。再比如用戶畫像分析的需求,則也是鏡舟依托于StarRocks的大量用戶基礎,總結出的用戶痛點,并凝結出更為具體的解決方案,幫企業解決痛點。

此外,鏡舟基于StarRocks開源產品所做出更進一步不僅在產品,也更在對具體的場景和需求服務能力側。

第一點改造是效率上的提升。這涉及到了開源產品與商業化產品的本質區別,前者更注重性能和功能層面的基本能力,比如實時數倉和查詢性能;而后者則更強調企業的降本增效。

對此,鏡舟推出了可視化開發運維平臺,幫助用戶完成產品監控、運維升降機、告警監控管理及集群健康狀態巡檢等等。將這些功能做成可視化的界面,這是對于客戶來說更能夠降本增效的功能。

第二點改造則是針對數據安全方面。對于集團型企業而言,其業務線較多,數據的使用模式也更為復雜。所以,鏡舟在數據安全層面給出的解題思路則是,對于數據權限的管控。比如A部門的數據,B部門與C部門不能查詢。這種數據加密維度的特殊需求則需要企業版來補齊。

另外,開源社區為鏡舟所提供的大量用戶基礎,其附加價值除了行業Know-how,也更有生態的價值。

對于一家數據庫企業而言,它所需要打通的是紛繁復雜的上下游系統。而開源社區所能帶來的好處則是,通過開源的開放性,與開源社區里用戶相關聯的上下游企業,都更有可能發展成鏡舟生態圈里的企業。

以BI為例,帆軟、SmartBI、永洪BI,以及銀行和零售行業經常使用的觀遠BI都已經成為了鏡舟生態里的合作伙伴。作為一家商業化的數據庫公司,在新的環境下,鏡舟正在憑借開源社區的積累和商業化改造,為數據庫行業提供一個新樣本。

數據資產入表,和大模型的下一步

在2023年度十大科技名詞中,大模型位居榜首,數據要素也名列前三。而在種種新的技術變革之下,數據庫行業是否將迎來新的拐點?

首先是火熱了一年的大模型,今年以來,AI Agent和AIGC等技術都是上層應用賽道里的關鍵詞;而底層技術的變革總是要來得相對慢一些。在數據庫行業,一個可預見性的趨勢是AI+BI+DI。

實際上,更準確的說,這種趨勢并非出現在大模型時代,在更早之前它就是數據庫行業里的一個暢想。但由于技術不夠成熟,導致這種暢想并未實現。

具體而言,在AI、BI與DI三者的結合中,AI的這部分能力由大模型廠商來提供相應的能力;數據庫廠商提供的能力則在底層的數據處理分析上。其中,DI相當于一個接受數據加工請求的平臺;BI則是將這些數據分析結果用可視化的方式呈現出來。

只是在大模型時代,AI可以更好地理解用戶意圖,再基于底層強大的數據計算加工能力,即可實現更加絲滑、低成本的數據分析體驗,將底層數據庫的加工和分析結果在BI上呈現出來。

在鏡舟的觀察中,這種趨勢現如今已經可以成為現實,并計劃在未來一年內落地。實際上,這種模式的落地不僅是站在AI大模型新時代的風口之下,也更是在市場的期盼之下。

然而,也正是在AI+BI+DI模式的驅動下,數據庫行業將更加重視公有云模式。一方面是考慮到成本因素,另一方面則是數據使用模式的靈活度。

在大模型時代,公有云模式已經被各大云廠提升到重要的戰略地位。而在數據庫企業,公有云模式也將成為一種新的趨勢。一個較為客觀的觀察是,在全球數據庫市場中,云數據庫的市場份額近兩年也得到了大幅提升。不僅如此,近兩年的云數據庫占比已經超過本地部署的數據庫。

圖片

來源:CCSA TC601

此外,在2023年度的科技關鍵詞中,數據要素也將在數據庫行業發揮更重要的角色。不僅如此,隨著2024年數據資產的入表,也更將催化數據庫行業走向新的發展高度。

在國家數據局發布“數據要素X”行動方案中明確提出推動將滿足資產確認條件的數據資源,計入資產負債表無形資產或存貨,推動數據資產化。而相關部門發布的規定也將于2024年1月1日正式施行。

在鏡舟科技客戶成功負責人孟慶歡看來,“數據資產入表是行業內的一個里程碑事件。未來,企業會越來越重視數據層面、資產層面的建設。過去粗放式的數據使用模式,在外部更強的監管要求下,也會朝著精細化的模式進行升級。相對應的,數據建設和治理在企業內部會變得更加合理?!?

更具體地來看,數據資產在企業內部相當于一個“底座”的作用。而之所以數據資產被提到了一個更重要的位置,一部分原因也是希望充分發揮數據共享機制帶來的紅利。

而在整個數據共享機制的構建中,一個最常見的問題是數據孤島的存在。

這也正是前文所說,由于企業內部為了解決多個問題所構建的多個技術棧,而在不同組件下產生的數據割裂現象。一旦數據割裂的現象出現,整個數據共享的機制也就被破壞了。

對此,鏡舟所采取的湖倉一體新架構則也正是用于解決數據割裂的問題。具體來講,數據湖的能力可以將用戶的數據底座統一起來,比如將A、B、C三個部門的數據統一起來,從而達到數據共享的效果。

而在湖倉一體技術架構基礎上,數據也可以以各種格式存在于數據湖里,通過湖倉一體的分析來支撐企業對于數據使用的不同訴求,進而更有質量地構建自身的數據資產。

站在今天的十字路口,國內數據庫行業已然呈現出新的拐點。而在各種新趨勢和新技術的到來,鏡舟也正在基于自己開源社區加商業化閉環,共同加速數據庫行業的發展和規范。

【本文為合作媒體授權派財經轉載,文章版權歸原作者及原出處所有。文章系作者個人觀點,不代表派財經立場,轉載請聯系原作者及原出處獲得授權。有任何疑問都請聯系(paicaijing314@126.com)。
免責聲明:本網站所有文章僅作為資訊傳播使用,既不代表任何觀點導向,也不構成任何投資建議?!?/div>

猜你喜歡

主站蜘蛛池模板: 知企服务-企业综合服务(ZiKeys.com)-品优低价、种类齐全、过程管理透明、速度快捷高效、放心服务,知企专家! | 专业音响设备_舞台音响设备_会议音响工程-首选深圳一禾科技 | 杭州中策电线|中策电缆|中策电线|杭州中策电缆|杭州中策电缆永通集团有限公司 | 【孔氏陶粒】建筑回填陶粒-南京/合肥/武汉/郑州/重庆/成都/杭州陶粒厂家 | 阴离子_阳离子聚丙烯酰胺厂家_聚合氯化铝价格_水处理絮凝剂_巩义市江源净水材料有限公司 | 粉末冶金-粉末冶金齿轮-粉末冶金零件厂家-东莞市正朗精密金属零件有限公司 | 广域铭岛Geega(际嘉)工业互联网平台-以数字科技引领行业跃迁 | 大流量卧式砂磨机_强力分散机_双行星双动力混合机_同心双轴搅拌机-莱州市龙跃化工机械有限公司 | 贵州科比特-防雷公司厂家提供贵州防雷工程,防雷检测,防雷接地,防雷设备价格,防雷产品报价服务-贵州防雷检测公司 | PE拉伸缠绕膜,拉伸缠绕膜厂家,纳米缠绕膜-山东凯祥包装 | 防爆鼓风机-全风-宏丰鼓风机-上海梁瑾机电设备有限公司 | 翰墨AI智能写作助手官网_人工智能问答在线AI写作免费一键生成 | LOGO设计_品牌设计_VI设计 - 特创易 | 破碎机_上海破碎机_破碎机设备_破碎机厂家-上海山卓重工机械有限公司 | 气动隔膜泵厂家-温州永嘉定远泵阀有限公司 | 净化车间_洁净厂房_净化公司_净化厂房_无尘室工程_洁净工程装修|改造|施工-深圳净化公司 | 干粉砂浆设备_干混砂浆生产线_腻子粉加工设备_石膏抹灰砂浆生产成套设备厂家_干粉混合设备_砂子烘干机--郑州铭将机械设备有限公司 | 硬齿面减速机_厂家-山东安吉富传动设备股份有限公司 | 石栏杆_青石栏杆_汉白玉栏杆_花岗岩栏杆 - 【石雕之乡】点石石雕石材厂 | 磁粉制动器|张力控制器|气胀轴|伺服纠偏控制器整套厂家--台灵机电官网 | 皮带机-带式输送机价格-固定式胶带机生产厂家-河南坤威机械 | 无锡不干胶标签,卷筒标签,无锡瑞彩包装材料有限公司 | 礼至家居-全屋定制家具_一站式全屋整装_免费量房设计报价 | 鲁尔圆锥接头多功能测试仪-留置针测试仪-上海威夏环保科技有限公司 | 大米加工设备|大米加工机械|碾米成套设备|大米加工成套设备-河南成立粮油机械有限公司 | 走心机厂家,数控走心机-台州博城智能科技有限公司 | 石英粉,滑石粉厂家,山东滑石粉-莱州市向阳滑石粉有限公司 | 低噪声电流前置放大器-SR570电流前置放大器-深圳市嘉士达精密仪器有限公司 | 集装箱箱号识别_自重载重图像识别_铁路车号自动识别_OCR图像识别 | 真空搅拌机-行星搅拌机-双行星动力混合机-广州市番禺区源创化工设备厂 | 骨灰存放架|骨灰盒寄存架|骨灰架厂家|智慧殡葬|公墓陵园管理系统|网上祭奠|告别厅智能化-厦门慈愿科技 | 论文查重_免费论文查重_知网学术不端论文查重检测系统入口_论文查重软件 | 临时厕所租赁_玻璃钢厕所租赁_蹲式|坐式厕所出租-北京慧海通 | 盘式曝气器-微孔曝气器-管式曝气器-曝气盘-斜管填料 | 郑州市前程水处理有限公司 | 苏州工作服定做-工作服定制-工作服厂家网站-尺品服饰科技(苏州)有限公司 | 洛阳防爆合格证办理-洛阳防爆认证机构-洛阳申请国家防爆合格证-洛阳本安防爆认证代办-洛阳沪南抚防爆电气技术服务有限公司 | 质构仪_鱼糜弹性仪-上海腾拔仪器科技有限公司 | 大型低温冷却液循环泵-低温水槽冷阱「厂家品牌」京华仪器_京华仪器 | 除尘布袋_液体过滤袋_针刺毡滤料-杭州辉龙过滤技术有限公司 | 高楼航空障碍灯厂家哪家好_航空障碍灯厂家_广州北斗星障碍灯有限公司 | Copeland/谷轮压缩机,谷轮半封闭压缩机,谷轮涡旋压缩机,型号规格,技术参数,尺寸图片,价格经销商 CTP磁天平|小电容测量仪|阴阳极极化_双液系沸点测定仪|dsj电渗实验装置-南京桑力电子设备厂 |