在江燕公司,搜索功能并不是那么受重视,没有专门的搜索产品,这三名工程师也不是专门做搜索的,搜索只是他们的兼职任务而已。
即便如此,他们也能意识到这份清单上面的技术价值,这绝对是可以颠覆国内搜索领域的先进技术,可以省去大量研发资金和时间。
“谷歌的老三驾马车gfs、apreduce和bigtable,新三驾马车affee、pregel和drel。前者是云计算和大数据的奠基石,后者更是近两年引领发展潮流的技术。”潘星说道。
庄丁宁等人闻言有点纳闷,谷歌的云技术不是不行吗,怎么他们的三驾马车又成了云计算和大数据的奠基石和潮流趋势?
曲风看出他们眼中的疑惑,主动解释道“谷歌是云计算和大数据的引领者,只是因为某些原因,在市场应用方面反而不如我们和亚马逊了。”
庄丁宁明白过来,说道“原来如此,这么说来他们所谓的搜索技术也是基于云计算和大数据的,只是应用方向跟我们不一样。”
曲风说道“可以这样理解。”
这个东西解释起来很麻烦,曲风没有时间给他科普。
谷歌的老三驾马车
gfs是一个可扩展的大型数据密集型应用的分布式文件系统,该文件系统可在廉价的硬件上运行,并具有可靠的容错能力,该文件系统可为用户提供极高的计算性能,而同时具备最小的硬件投资和运营成本。
其实这就是云计算的雏形了,所以说谷歌才是云计算的引领者。
apreduce是一种处理大型及超大型数据集并生成相关执行的编程模型。
其主要思想是从函数式编程语言里借来的,同时也包含了从矢量编程语言里借来的特性。基于apreduce编写的程序是在成千上万的普通pc机上被并行分布式自动执行的。
table是一个为管理大规模结构化数据而设计的分布式存储系统,可以扩展到pb级数据和上千台服务器。
谷歌很多项目使用bigtable存储数据,这些应用对bigtable提出了不同的挑战,比如数据规模的要求、延迟的要求。bigtable能满足这些多变的要求,为这些产品成功地提供了灵活、高性能的存储解决方案。
bigtable看起来像一个数据库,采用了很多数据库的实现策略。
但是bigtable并不支持完整的关系型数据模型,而是为客户端提供了一种简单的数据模型,客户端可以动态地控制数据的布局和格式,并且利用底层数据存储的局部性特征。
bigtable将数据统统看成无意义的字节串,客户端需要将结构化和非结构化数据串行化再存入bigtable。