A verdade do momento (Artigo) por CRISTOVAM BUARQUE, senador

Dirigentes petistas perderam o sentimento da realidade, a noção da verdade.O jornalista Fernando Gabeira publicou neste jornal, no dia 25, artigo sob o título "O momento da verdade", onde mostra que, ao não aceitar a condenação de Lula pela Justiça, o PT demonstra seu divórcio entre a imaginação política dos militantes e a verdade do sentimento da nação. 
Não houve, como esses dirigentes esperavam, um levante popular contra a Justiça. Porque não há uma causa em jogo. Trata-se apenas de manter ou não o Lula na disputa presidencial, sem um rumo diferente para o Brasil.O que há de mais grave é que o PT não entendeu a gravidade do momento: não reconhece seus erros, não percebe que o mundo real aposentou a falsa verdade entranhada nas mentes dos seus militantes. Depois de quase duas décadas, as falsas narrativas - da "ascensão da classe média pela Bolsa Família", do "salto científico pelo Ciência Sem Fronteiras", da "revolução educacional pelas vagas na universidade" - transformaram-se em realidades alternativas, que não apenas criaram narrativas, mas se acreditam nelas.A tragédia brasileira é não poder contar com o imenso potencial do PT e do Lula, porque eles perderam o sentimento da realidade, a noção da verdade, a credibilidade das propostas e o patrocínio de um novo rumo para o Brasil. E isso se deve por terem abandonado propostas de economia eficiente, sociedade justa, civilização sustentável, política ética. Perderam o vigor transformador que apresentavam, passando a acreditar na imagem de verdade que criaram para justificar o poder pelo poder, inclusive de que o Temer seria ótimo presidente se a Dilma tivesse algum problema que a impedisse de continuar seu mandato.O povo não foi à rua para atacar a Justiça porque não vê uma causa por trás do PT ou de Lula. Em 1964, foi preciso usar tanques e soldados para impedir o povo de ir à rua pela legalidade e pelas reformas em marcha lideradas por Goulart. Hoje, o impeachment foi feito dentro da legalidade, o substituto foi escolhido pelo PT; o partido ficou 13 anos no poder, sem deixar qualquer reforma em marcha, apesar da expansão de programas assistenciais ameaçados pela inflação e recessão.O povo não foi para a rua na semana passada porque não viu causa transformadora para defender e pela qual lutar; além de perceber no PT um partido condenado eticamente sob fortes evidências de corrupção na Petrobras, fundos de pensão etc., com indícios de benefícios injustificados, remunerações superfaturadas, compra de apartamento na praia e sítio de lazer.A incapacidade para ver a realidade está impedindo o Brasil de beneficiarse do que ainda sobrevive no PT, inclusive aqueles que não se corromperam pelo poder ou por dinheiro com falsas narrativas. O Brasil ganharia muito se eles fizessem uma autocrítica e pedissem desculpas ao país pelos erros cometidos. Seria a verdade do momento para ajudar o Brasil a enfrentar o arriscado futuro próximo, que está ameaçado pelos desastres que cometeram.
Fonte: O GLOBO - RJAutor: CRISTOVAM BUARQUE

x

DIMENSÃO INFORMACIONAL DO SINFOTER, por AACallai

(Ensaio de 2015 na preparação de normas para regulamentar o Sistema de Informações Operacionais Terrestre - SINFOTER)

Dimensão Informacional é o conjunto de indivíduos, organizações e sistemas que são utilizados para coletar, processar, disseminar, ou agir sobre a informação. Incluem tomadores de decisão, indivíduos e organizações. Os recursos incluem os materiais e sistemas utilizados para obter, analisar, aplicar ou divulgar informações. Os decisores e sistemas automatizados a utilizam para observar, orientar, decidir e agir (OODA) de acordo com as informações, sendo, portanto, o principal ambiente de tomada de decisão. Busca-se normatizar os processos de interação e integração, determinando coordenações na dimensão informacional e suas perspectivas física, cognitiva e lógica, que garantam o funcionamento eficaz do SINFOTER.

1.  PERSPECTIVA COGNITIVA

O SINFOTER deve permitir ao comandante adquirir e manter o adequado nível de consciência situacional (CS) para a tomada de decisões oportunas, nas diversas circunstâncias do ambiente operacional, para a expedição de ordens e para o controle da execução destas, por intermédio do seu estado-maior. Destaca-se a relevância do entendimento da situação pela autoridade, muito influenciado pela própria experiência de combate e do emprego dos recursos tecnológicos, porque CS é o cenário mental, que conjuga fatores de tempo e de espaço reais, na mente do decisor.

Fig. 1 – Representação do ciclo da informação operacional     Fonte: 4ª SCh/COTER

2.     PERSPECTIVA LÓGICA

O papel a ser desempenhado pelos softwares da Família de Aplicativos de Comando e Controle da F Ter (FAC2/FTer) processando as informações tramitadas no Sistema de Comunicações do Exército (SICOMEx) será primordial para o domínio da dimensão informacional do SINFOTER, propiciando o acompanhamento das operações pelos diversos comandos desdobrados e de seus elementos subordinados, até dois escalões abaixo, para eficácia do comando e controle. Quando estas operações ocorrerem em ambiente interagências, a necessária coordenação das operações será proporcionada pelo software “integrador” junto às agências nas esferas municipal, estadual e federal, contribuinte da FAC2/FTer no nível correspondente.

Fig. 2 - Visão da perspectiva lógica com foco no Cmt                 Fonte: o autor

3.     PERSPECTIVA FÍSICA

O Sistema de Tecnologia da Informação do Exército – SITIEx – possibilitará que o conhecimento obtido pelo SINFOTER seja cifrado e transmitido, entre os Centros de Operações (COp) e Centros de Coordenação das Operações (CCOp), usando modernos e seguros protocolos de dados para divulgação em tela comum de situação (common picture) nos CCOT e no CC2FTer no QGEx em Brasília.

Fig. 3 - Perspectiva física de emprego do software integrador                   Fonte: CDS. 

Roubo do século

O maior ataque cibernético norte-coreano foi realizado em setembro de 2016, quando a rede

interna do comando militar sul-coreano foi infectada por um vírus informático. O Ministério da

Defesa da Coreia do Sul confirmou a informação só em maio passado. Durante o ataque foram

roubados cerca de 235 gigabytes de dados militares, uma quantidade equivalente a 15 milhões de

páginas de documentos.

Os hackers norte-coreanos conseguiram inserir um código malicioso no software fornecido pela

empresa de segurança informática do Exército da Coreia do Sul, comunicou Lee Cheol-hee,

advogado do Partido Democrata da Coreia do Sul. (Resenha Ciber 14 de outubro de 2017)

(Tradução automática do Google)

Coréia do Norte suspendeu os planos de guerra de Seul: relatório

Os hackers de informática norte-coreanos roubaram centenas de documentos militares classificados da Coréia do Sul, incluindo planos operacionais detalhados em tempo de guerra envolvendo seu aliado dos EUA, disse um relatório nesta terça-feira.

Rhee Cheol-Hee, legislador do partido democrático no governo, disse que os hackers entraram na rede militar do sul em setembro passado e ganharam acesso a 235 gigabytes de dados sensíveis, informou o jornal Chosun Ilbo.

Entre os documentos vazados, estavam os Planos Operacionais 5015 para uso em caso de guerra com o Norte e incluindo procedimentos para ataques de "decapitação" contra o líder Kim Jong-Un, o jornal citou Rhee.

Rhee, um membro do comitê de defesa do parlamento, não pôde ser contatado para comentar, mas seu escritório disse que havia sido citado corretamente.

O relatório vem em meio a grandes receios de conflito na península coreana, alimentado pelas ameaças continuadas do presidente dos EUA, Donald Trump, de ação militar contra Pyongyang para dominar suas ambições de armas.

Em seu último tweet durante o fim de semana, Trump reiterou que os esforços diplomáticos com a Coréia do Norte falharam consistentemente, acrescentando que "apenas uma coisa funcionará".

Citando o ministério de defesa de Seul, Rhee disse que 80 por cento dos documentos vazados ainda não foram identificados.

Mas o plano de contingência para as forças especiais do Sul foi roubado, disse ele, bem como detalhes sobre exercícios militares conjuntos anuais com os EUA e informações sobre principais instalações militares e usinas elétricas.

Um porta-voz do ministério se recusou a confirmar o relatório, citando questões de inteligência.

Em maio, o ministério disse que a Coréia do Norte havia pirateado a intranet militar de Seul, mas não disse o que havia vazado.

Pyongyang possui uma unidade de especialistas em combate cibernética treinada de 6.800 pessoas, de acordo com o governo sul-coreano. Foi acusado de lançar ataques cibernéticos de alto perfil, incluindo o hacking em 2014 da Sony Pictures.

A história de Chosun Ilbo foi o segundo relatório terça-feira de ciberataques relacionados com militares na Ásia-Pacífico.

O governo da Austrália disse separadamente que um contratante de defesa não identificado havia sido pirateado e uma "quantidade significativa de dados" roubada.

Houve 47.000 incidentes cibernéticos nos últimos 12 meses, um aumento de 15% em relação ao ano anterior, disse o ministro da segurança cibernética Dan Tehan em Canberra ao lançar um relatório do Cyber ​​Security Center.

O contratado da defesa foi explorado através de um servidor voltado para a internet, com os criminosos virtuais que utilizam o acesso administrativo remoto para permanecerem em sua rede, segundo o relatório.

O jornal australiano informou que o hacker estava baseado na China, mas Tehan disse à Australian Broadcasting Corporation que "nós não sabemos e não podemos confirmar exatamente quem era o ator".

http://www.securityweek.com/north-korea-hacked-seouls-war-plans-report

Alocução do aluno mais antigo do CCOM/ESAO de 1991

Sr TC Meirelles, instrutor-chefe do CCOM/ESAO, Srs Majores, Cap Instrutores, Senhoras e Senhores.

No dia 15 de fevereiro deste ano, o Curso de Comunicações da EsAO, na pessoa de seu Instrutor-Chefe, o Sr TC Meirelles, nos apresentou nesta mesma sala, os melhores votos de "Boas Vindas" e algumas diretrizes específicas da Arma.




Naquela oportunidade, sua auspiciosa tarefa de treinar conosco o exercício do comando, habilitando-nos a exercer as funções de oficial superior, pareceu-me inatingível em virtude das poucas exigências por ela formuladas: “Brio profissional, lealdade, coerência e competência”. Nessa ocasião, sentíamos grande prazer em rever os amigos e em estabelecer nova amizades, particularmente com os oficiais das Nações Amigas. Havia no ar uma natural apreensão causada pelo desconhecimento das atividades a que nos submeteriam, e porque cada um de nós deixava de ser o capitão “fulano de tal”, para assumir o papel de simples aluno, dentre os 319 matriculados para o Aperfeiçoamento em 1991.




De lá, para cá, muita coisa aconteceu!




Poderia desfraldar um imenso rol de números, de cada uma das 1600 horas/aula, nas 40 semanas de instrução, a fim de satisfazer a curiosidade estatística e dimensionar aos psicólogos o tipo de “stress” por nós enfrentado. Porém, não o faço, porque ninguém melhor que os nossos familiares para testemunharem que agimos com brio profissional, cada qual fazendo o que deveria ser feito. Houve sacrifícios e palavras que jamais serão esquecidas:




-”Agora não, que o papai está estudando”




-”Só vamos jantar fora querida, quando sair o pagamento”.




Estamos certos de que todos os integrantes do curso, na esfera de suas atribuições, igualmente se sacrificaram. Seja na preparação, seja na execução dos trabalhos escolares foi notória a vontade de se fazer bem feito, apesar das restrições de recursos por que passou a Força neste ano.




A despeito destas dificuldades, procuramos com lealdade aos nossos superiores e companheiros, atingir os objetivos a que nos propusemos. O ambiente salutar que aqui encontramos, junto com a camaradagem estabelecida por todos, orientou o esforço a ser despendido e hoje somos vencedores.




Não somente por sabermos agora a doutrina de emprego da Guerra Eletrônica e das Comunicações nas Operações Aeromóveis, mas principalmente porque, da prática da persuasão, desenvolvida nas discussões em grupo, nasceu um novo capitão, mais confiante em si mesmo e que não tem medo de ideias. Tem coerência naquilo que pensa e no que faz, crê no futuro do Exército e da Nação brasileira, e procura colocar o nome das Comunicações no lugar que lhe é devido.




Estejam certos, senhoras e senhores, que o Hollywood colocado em nosso bolso, representa a almejada competência, atingida pela maturidade profissional que ora desfrutamos. O Exército espera muito de cada um de nós e não vamos pois, nos furtar a essa responsabilidade: a de conduzir homens, com dignidade e respeito, aos objetivos estipulados, até com o sacrifício da vida. Essa atitude de brio, exige lealdade, pois nem sempre os objetivos coletivos coincidem com os individuais. A coerência é uma condição para a liderança militar, como também o é, a competência.




Está claro, Sr TC Meirelles, que sua exigência, na primeira reunião do ano, que me pareceu a princípio singela, é na verdade o azimute que norteará as nossas carreiras, por mais diversificadas que sejam a partir de hoje. Peço a Deus que nos dê a mesma humildade e ponderação ao repassarmos estes ensinamentos a nossos subordinados.




Finalizo agradecendo a todos que direta ou indiretamente contribuíram para que o “grande dia” acontecesse. É chegada a hora da despedida, quando todos nós nos colocamos à disposição do CCom/EsAO, ciente de que poucos terão a honra de recebê-los em suas Unidades no próximo ano. Contem com nosso respeito e admiração. Aos oficiais das Nações Amigas, votos de feliz regresso e que o Criador permita se utilizarem dos conhecimentos aqui adquiridos exclusivamente para fins de exercícios. Suas experiências, com certeza muito acrescentaram em nosso aperfeiçoamento. Aos companheiros da turma de 1991, desejo as bênçãos do Senhor em suas vidas, junto a seus familiares, na esperança de cruzarmos antenas dentro em breve.




Sejam felizes!

Alairto A Callai Cap Com Tu 80

Cientistas indicam qual será principal arma do século XXI - CIÊNCIA E TECNOLOGIA 08:37 17.06.2017(atualizado 08:47 17.06.2017)

Novas armas superpotentes do século XXI não serão bombas atômicas ou termonucleares, mas sim sistemas de inteligência artificial com autoaprendizagem, que já hoje estão sendo desenvolvidos pelos países líderes mundiais, acha Jean-Christophe Bonis, futurólogo francês.

 "Nelson Mandela escreveu em 1995 que a arma principal do século XXI será a informação, que substituirá armas nucleares e outras armas de destruição em massa do século XX. Mas, na minha opinião, tal arma serão sistemas de inteligência artificial, pois para funcionar, ao invés de bomba atômica, não precisam nem de urânio, nem de usinas, nem outras coisas difíceis de receber, mas somente de silício e eletricidade", afirmou o cientista francês na conferência de imprensa, dedicado ao festival de ciência e tecnologia Kaspersky Geek Picnic. 

Como nota o futurólogo, é impossível monitorar a criação de sistemas de inteligência artificial tal como a Agência Internacional de Energia Atómica e outras organizações controlam a presença de urânio, plutônio e outras substâncias nucleares perto das instalações secretas do Irã ou da Coreia do Norte. Por isso será extremamente difícil ou até impossível prever o desenvolvimento de tal armamento. 

"Os políticos e representantes das forças de segurança da França, Israel e muitos outros países negam estarem desenvolvendo tais sistemas para travar a guerra cibernética. Não podemos verificar a veracidade destas afirmações. Mas, eu acho que estão de facto desenvolvendo estas tecnologias, sendo este o objetivo estratégico principal para a maioria dos grandes países. Se já estão desenvolvendo estas armas, porque é que não as usam, então?" 

Os países-membros da OTAN consideram os ataques cibernéticos como equivalentes a assaltos físicos e se reservam o direito de reagir a tal ameaça com quaisquer meios, explicou vice-presidente da empresa de TI russa Kaspersky Lab, Anton Shingarev. Além disso, as armas cibernéticas podem prejudicar a própria parte atacante, pois as instalações industriais e militares modernas utilizam equipamento semelhante, que funciona de acordo com princípios parecidos e estão ligadas à mesma rede global. Ou seja, a vítima de ataque pode analisar os meios de ataque e responder de modo igual, o que torna inúteis tais ataques a nível governamental.

Resenha Cibernética domingo, 18/06/2017

https://br.sputniknews.com/ciencia_tecnologia/201706178667468-arma-principal-seculo-21/

Special Operations Forces and Conventional Forces Integration, Interoperability, and Interdependence - By Jason Wesbrock, Glenn Harned, and Preston Plous

http://cco.ndu.edu/PRISM-6-3/Article/1020999/special-operations-forces-and-conventional-forces-integration-interoperability/

[...]


Command and Control (C2) Relationships

“Command and control is an art, not a science. It is very personality dependent.”18 −General Joseph Votel, commander, SOCOM, December 19, 2014

On March 2, 2002, U.S. and Afghan forces conducted Operation ANACONDA to dislodge Taliban, al-Qaeda, and other extremist elements from the Shahikot Valley. Coalition forces encountered a much larger number of enemy than anticipated, and the ensuing battle resulted in the loss of eight U.S. service members. A number of C2 issues contributed to inefficient execution, including the transfer of operational control (OPCON) from the Joint Special Operations Task Forces (JSOTFs) to the conventional JTF despite a special operations/indigenous forces main effort, national and theater SOF operating under separate chains of command, and the failure to include the Joint Force Air Component in the planning process until two days before the operation.

Improper or confusing command relationships can compromise a mission; conversely, effective C2 relationships can achieve unity of effort. For SOF, the JSOTFs have proven their worth during deployments throughout the last 15 years, forming the basis for SOF C2 at the tactical level. JSOTFs usually are built around the core of a U.S. Army Special Forces Group, commanded by a colonel. Because SOF had no operational level headquarters below the theater special operations commands, JSOTFs often were pressed into service as operational-level C2 structures. They often, however, lacked the staff, experience, and rank structure to function well at the operational level. At times, this resulted in the misuse of SOF and a lack of synergy between SOF and CF. When it became evident that SOF needed a more robust C2 capability in Afghanistan, SOCOM established Combined Joint Special Operations Task Force-Afghanistan (CJSOTF-A), in 2011 as a general/flag officer command to exercise OPCON of both national and theater SOF, and to facilitate the operational level integration of SOF and CF actions. A second SOJTF now performs similar functions in Iraq, but both remain temporary organizations. Recognizing the need for a permanent structure, the Army converted the First Special Forces Command Headquarters into a deployable 2-star organization that can serve as the core of a SOJTF. This new organization provides an operational level capability, but its existence does not mean a SOJTF will always command special operators and their CF partners, even when SOF are the main effort.

Confusion and disagreement often arises regarding who should retain OPCON of SOF.19 This disagreement causes uncertainty as to where I-3 efforts should occur and where processes should be institutionalized. Services that develop and field JTF-capable headquarters20 often believe the JFC should exercise OPCON over all subordinate forces in order to maintain unity of command. From the SOF perspective, command relationships must be purposeful. As one SOF general officer stated, “Integration does not mean CF absorbing SOF. Sometimes unity of effort is just as good as, or better than, unity of command.”21 SOCOM believes theater special operations commands (TSOCs) should retain OPCON of SOF, allowing the TSOCs to approve mission and task organization changes, as well as reallocate SOF assets to support higher-priority tasks. SOCOM believes JFCs should exercise tactical control (TACON) of SOF, allowing them to direct and control SOF actions within the JFC’s operational area. This “OPCON versus TACON” argument remains unresolved; it is perhaps so mission-dependent that it should remain open.

Many in the conventional force question whether unity of effort and supported/supporting command relationships are adequate for unified action. This includes giving SOF OPCON or TACON over CF assets. While cases in which CF units are attached to a SOF command do exist, as in village stability operations, a general resistance to SOF exercising OPCON or TACON over CF remains.22 The nature of CF and SOF command structures contributes to this resistance. SOF C2 tends to be very lean, agile, and flexible, without much excess capacity. CF C2 tends to be robust, capable, and resilient, but it is also slower to respond to changing situations. According to one senior CF leader who recently returned from Afghanistan, this results in some SOF leaders viewing the CF as too slow; conversely, some CF leaders view SOF as “cowboys” who are incapable of true joint C2. Absent a trusted personal relationship, these perceptions inhibit the assignment of units to each other’s formations, hampering and complicating cooperation.

Every senior leader interviewed for the Chairman’s SOF-CF I-3 study stressed the importance of personal relationships.23 Whether forged in battle or formed through interactions during training and education, these longstanding connections reduced resistence toward integration and enhanced cooperation. U.S. Army and U.S. Marine Corps leaders were particularly impressed with the positive effects trusted relationships had on enhancing communication and leveraging each other’s capabilities. Senior leaders also understand that as combat operations decrease, the opportunities for developing trusted relationships will decrease as well unless the services and combatant commands are proactive in developing and supporting them in other venues.

Liaison elements help mitigate the lack of trusted relationships, and a general consensus exists that SOF liaison elements at CF headquarters play a critical role in SOF-CF I-3.24 Since 2001, the number and size of SOF liaison elements expanded from a few personnel in key areas to encompass CF organizations and interagency partners. These SOF liaison elements facilitate communication, maintain trust, and bolster relationships. While CF liaison elements to SOF headquarters also play a role, many participants thought SOF liaison components in CF organizations provide adequate communication and kept both headquarters informed of the other’s operations. Despite their utility, liaison officer positions often are not authorized on manning documents, and they may become the first positions to be cut as personnel authorizations decrease.

[...]

Conclusion

“Special Operations Forces and Conventional Forces partners must continue to institutionalize integration, interdependence, and interoperability.”31
−General Joseph Votel, commander, SOCOM, January 27, 2015

SOF-CF I-3 is the glue that holds these two elements of the joint force together, making it more effective and efficient in nearly any situation. This integration has never been more effective, but institutionalization has not kept pace. Failure to institutionalize I-3 will create significant challenges for the future joint force.

The DOD has not completely lost the initiative, and unique processes are not required to preserve the integration developed during the past 15 years. DOD leadership can mitigate many of the institutionalization shortfalls by changing some of the ways the department trains, educates, and resources the joint force. In this context, the services endorsed implementation of 23 recommendations from the SOF-CF I-3 Study Report, several of which are already being put into practice. For example, SOF-CF I-3 is now defined in Joint Publication 3.05-1 “Unconventional Warfare;” the Joint Staff J7, in concert with SOCOM, is identifying and/or developing appropriate Universal Joint Tasks; and the Office of the Secretary of Defense is taking steps to identify funding levels needed to preserve SOF-CF I-3 gains during joint exercises.

The state of SOF-CF I-3 is as dynamic as the operational environment. The roles of SOF and CF will continue to evolve as the joint force adapts to the changing operational environment. While the joint force stands at a time of unprecedented success in integrating SOF and CF, we will pay a heavy price in blood and treasure if we fail to preserve this progress. PRISM

Bigdata in the context of Enterprise Data Warehouse - por Mahendra Kumar

Publicado em 8 de janeiro de 2015https://www.linkedin.com/pulse/bigdata-context-enterprise-data-warehouse-mahendra-kumar


Internet is full of articles on what is big data. For this post, I will focus on big data in the context of Enterprise data warehouse.

Enterprise data warehouses have been around for a long time. Many companies have made huge investments in building enterprise data warehouses. They bring many benefits such as integration and standardization of data from multiple sources, access to historical data, pre-aggregation, OLAP, isolation of analytics load from OLTP and so on so forth. Big data technologies bring benefits such as distributed storage and parallel processing of large volume of unstructured data. Large volume of unstructured data can be cheaply stored on HDFS and processed using map reduce and spark frameworks.

Here are some areas where big data technologies can augment traditional data warehousing :
Organizations are looking at gathering newer types of data such as social media feeds, public data, web logs, opinions, reviews, etc. These newer sources of data provide valuable insights about organization's customers, products and service offerings.
With the advent of Internet of things, massive volumes of data is being generated by connected wearables, sensors, automotives, smart home devices, etc. Organizations are looking to capture and process this data in real-time to become more efficient and proactive. Some organizations are using real time data feeds for timely fraud detection.
BI has evolved beyond simple reporting and analytics. Organizations are making use of deep machine learning algorithms to better understand their customers and come up with product recommendations or service offerings. More data (coupled with a good approach) yields better predictions and recommendations.

There are also use cases where big data technologies are being considered for improving existing warehousing processes and performance :
ETL : Most warehousing solutions employ ETL for loading data into the warehouse from variety of operational data sources. ETL is also used for change data capture. With ETL, data is first transformed before being loaded into warehouse. Most ETL tools require separate hardware, which can be expensive. Alternate approach is to first load data directly and then run transformations in the database engine itself. Since hadoop provides cheap storage and processing, it can be used to dump raw data directly into hdfs and then transformations applied directly on the data in hdfs by running either map reduce or spark jobs.
ODS : The volume of transactional data gathered by enterprises is increasing, putting pressure on batch window available to process the data. Warehouse practitioners are used to providing operational data stores to provide access to more recent data. ODS increases the cost and yet do not provide real-time insights. Hence, organizations are looking at distributed messaging frameworks (such as flume and kafka) to ingest large volume of data in real-time.

While map-reduce and spark provides distributed processing framework, there are abstractions such as HiveQL, Spark SQL and pig for users familiar with sql and scripting. For real time processing, systems such as spark streaming and storm provide distributed, fault-tolerant processing of incoming streams.
Here is an architecture of a integrated Enterprise data warehouse with big data technologies :



The top portion of the architecture diagram shows a traditional BI system with staging database, ODS, EDW and various components of a BI system. The middle portion of the diagram shows big data technologies to handle large volume of unstructured data coming from social media, weblogs, blogs, etc. It contains storage components such as HDFS/HBase and processing components such as map reduce/spark. Processed data can be loaded into EDW or accessed directly using low latency systems such as Impala. The bottom portion of the diagram shows stream processing. It consists of messaging frameworks such as kafka or flume and real-time stream processing systems such as storm or spark streaming.

(Views expressed on this blog are mine and do not reflect opinion of Oracle corp.)