2016年11月26日，由美图主办的第3期美图互联网技术沙龙在厦门举行。本期沙龙以“大数据架构与实践”为主题，美图高级技术经理卢荣斌和腾讯开发工程师赵诗远作为嘉宾，向参与沙龙的150多位高端人才分享了在“大数据道路上”的实践经验和总结，并就大数据产品应用和数据平台建设等领域的专业问题进行交流。 美图：大数据平台架构演进与实践大数据无疑是当下最火热的话题之一， …
大数据技术框架
来源公众号：方案经理 …
最近跟朋友交流，公司正在为大数据技术选型烦恼，主要是不同的团队基于不同的诉求，要求结果不一样。比如说有从稳定性考虑，有从维护性考虑，有从使用便利性考虑，也有从成本考虑，还有从团队能力模型考虑的。不管哪种维度，理由说起来都对，然后决策时，大佬们的出发点如果不一样，就会陷入僵局。对应目前的公司，其实大同小异、问题如出一辙。我们先看看基础大数据平台选型时，针对以上 …
选编:悟道方案网 …
最近几年，数据中台概念的热度一直不减。2018 年起，马蜂窝也开始了自己的数据中台探索之路。数据中台到底是什么?要不要建?和数据仓库有什么本质的区别?相信很多企业都在关注这些问题。作者：马蜂窝技术团队; 来源：帆软软件一、马蜂窝数据仓库与数据中台数据中台到底是什么?要不要建?和数据仓库有什么本质的区别?相信很多企业都在关注这些问题。我认为数据中台的概念非常接 …
车联网大数据平台是指利用车联网技术采集、处理、存储和分析大量汽车相关数据的系统，以支持各种车联网应用。其核心是建立一套高效的数据管理和分析系统，以满足各种场景下的数据处理需求。下面将介绍车联网大数据平台的架构设计。一、数据采集层数据采集层是车联网大数据平台的基础，它主要负责从各种传感器、设备和系统中采集数据，并将数据进行处理和存储。其中包括以下几个方面的内容 …
近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难 …
前言本文是对Java程序员面试中常见的微服务、网络编程、分布式存储和分布式计算等必备知识点的总结，包括Spring 原理及应用、Spring Cloud原理及应用、Netty网络编程原理及应用、ZooKeeper原理及应用、Kafka原理及应用、Hadoop原理及应用、HBase原理及应用、Cassandra原理及应用、ElasticSearch原理及应用、 …
本文从大数据的整体架构出发，分层介绍了不同组件的应用场景。可以对大数据的初学者提供一定的参考。以下为集群架构图：该架构自下而上分为3层，分别是数据采集层，数据存储和处理层，应用层。下面分层介绍下各层组件的大致用法。1.数据采集层数据采集分为了实时采集和批量采集，实时采集主要通过Kafka和Spark Streaming，批量采集则用Datax，Sqoop，S …