marklogic之如何使用marklogic数据库对数据进行实时处理

芝麻糊 阅读:18 2024-09-07 23:24:14 评论:0

我正在尝试评估 marklogic 对数据的实时处理。早些时候,我使用 kafka 和 storm 实时处理数据,并在处理后插入到数据库中。我是 marklogic 的新手,所以任何人都可以告诉我 marklogic 中有什么可用的东西,我可以使用它来实时处理数据,并在获取数据后对其进行处理,然后将其插入到 marklogic 数据库中。

请您参考如下方法:

MarkLogic 具有极高的可扩展性,并具有触发器、警报和 CPF 等功能,您可以为其构建逻辑来决定如何处理传入的内容。但有一些注意事项可以帮助您入门:

MarkLogic 是一种无共享架构,因此每个节点上的 CPU 和 HTTP 服务器都是独立的,因此在考虑如何平衡传入消息时必须牢记这一点。

MarkLogic 也不流式传输到磁盘。

MarkLogic 可以通过一个很棒的 HTTP 客户端连接,但我不相信有任何开箱即用的功能可以将内容附加到打开的连接(这与为什么它也没有 ftp 功能有关,我相信).


所以,我指出了这些项目,以便您了解您正在处理一个不同类型的系统。所以方法是不一样的。事实上,通过使用预提交触发器或仅基于 http 的应用程序与反向查询等超快速功能相结合,并设计您的解决方案以匹配 MarkLogic 的工作方式,处理大量数据以进行实时处理可能是一个出色的解决方案。我参与了一个大型实现,MarkLogic 正在愉快地接收和处理来自上游 WebSphere 消息代理的大量消息。一些消息在内部处理,而另一些则传递给 Splunk 和其他系统。


我以高层次的方式回答了你的问题,因为它并没有真正提出一个详细的问题——而 MarkLogic 是一个大型、强大的解决方案,你确实需要自己对其进行概述。如果您有时间,可以参加涵盖基础知识的为期 1 天的免费培训类(class),这将使您更好地了解产品并根据需要对其进行评估。

顺便说一句:MarkLogic 的所有培训都是免费的。这是基础类(class)的链接:http://www.marklogic.com/training-courses/marklogic-fundamentals/这个也可以用你自己的时间(自定进度)


标签:数据库
声明

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

关注我们

一个IT知识分享的公众号