Estou trabalhando com uma grande quantidade de séries temporais. Essas séries temporais são basicamente medidas de rede que chegam a cada 10 minutos, e algumas delas são periódicas (ou seja, a largura de banda), enquanto algumas outras arent (ou seja, a quantidade de tráfego de roteamento). Gostaria de um algoritmo simples para fazer uma detecção outlier online. Basicamente, eu quero manter na memória (ou no disco) todos os dados históricos para cada série temporal, e eu quero detectar qualquer outlier em um cenário ao vivo (cada vez que uma nova amostra é capturada). Qual é a melhor maneira de alcançar esses resultados Estou atualmente usando uma média móvel para remover algum ruído, mas depois o que aconteceu Simples coisas como desvio padrão, louco. Contra todo o conjunto de dados não funciona bem (eu não posso assumir que as séries temporais estão estacionárias) e eu gostaria de algo mais preciso, idealmente uma caixa preta como: onde o vetor é a matriz de dois que contém os dados históricos e o valor de retorno é A pontuação de anomalia para o novo valor da amostra. Perguntou 2 de agosto 10 às 18:03 Sugiro o esquema abaixo, que deve ser implementável em um dia ou assim: coletar tantas amostras quanto você pode segurar na memória remover outliers óbvias usando o desvio padrão para cada atributo Calcular e armazenar a matriz de correlação E também a média de cada atributo Calcule e armazene as distâncias de Mahalanobis de todas as suas amostras Calculando a outguraza: Para a amostra única de que você quer saber a sua outorância: Recupere os meios, a matriz de covariância e a distância de Mahalanobis do treinamento Calcule a distância de Mahalanobis d Para a sua amostra Retorne o percentil em que d cai (usando as distâncias de Mahalanobis do treino). Esse será o seu resultado anormal: 100 é um outlier extremo. PS. Ao calcular a distância Mahalanobis. Use a matriz de correlação, não a matriz de covariância. Isso é mais robusto se as medidas da amostra variarem na unidade e no número. O Evento Exectivo Executivo representa a ocorrência de uma ocasião no mundo real que pode ter um efeito significativo no histórico de demanda. Identificar esses eventos e remover seus efeitos do histórico de demanda é essencial para alcançar previsões de boa qualidade. No pacote de aprimoramento 2 da demanda do SAP SCM 7.0, influenciar eventos sistemáticos e não sistemáticos podem ser modelados. Esses eventos são baseados em tipos de eventos que descrevem seu significado, regra de recorrência e comprimento em um tamanho de balde especificado. Promoções e planejamento de eventos tem os seguintes benefícios de negócios: em muitas indústrias especialmente bens de consumo, promoções e eventos têm um enorme impacto nos volumes de vendas. Essa funcionalidade ajuda a ajustar o histórico de vendas para obter dados históricos não promovidos para a previsão da linha de base. Ele fornece a habilidade do negócio para determinar a previsão com ou sem efeito de promoções. Visão geral funcional Existe uma funcionalidade existente de planejamento de promoção em APO DP para planejar promoções. A funcionalidade de geração de eventos difere com a funcionalidade de planejamento de promoção da seguinte maneira: na funcionalidade de planejamento de promoção existente no APO DP, você cria promoções em quantidade absoluta ou em porcentagem (por exemplo, de previsão) manualmente no livro de planejamento. Você escolhe as características para a promoção planejada e atribua-as às promoções. As promoções para períodos futuros podem ser recriadas usando padrões de promoção que ocorreram no passado. No entanto, nessa funcionalidade, a entrada que está armazenada na figura de chave de promoção é toda manual, seja ela definida em absoluto ou percentual. Os dados históricos também podem ser corrigidos considerando as promoções passadas e a correção atípica com base nas configurações do perfil de previsão. No entanto, esta correção baseia-se nas quantidades manuais armazenadas nas promoções. Por outro lado, a funcionalidade de geração de eventos automática explicada neste whitepaper permite que o sistema detecte automaticamente os valores atípicos e as variações dos dados históricos com base no conceito do tipo de evento. No tipo de evento, você descreve seu significado, regra de ocorrência, duração e periodicidade. O sistema então identifica automaticamente o impacto de eventos em dados históricos com base em sua definição e as configurações para detecção de valores aberrantes e porcentagens de limiar explicadas neste documento. O sistema também pode estimar eventos futuros com base nos eventos históricos identificados. Ao contrário do planejamento de promoção existente, a geração de eventos de mudança de preço também pode ser modelada usando esta funcionalidade, em que o efeito de curto prazo da mudança de preço na demanda pode ser estimado pelo sistema. Descrição do processo e Diagrama de fluxo Os tipos de eventos definem o conceito de um evento. Por exemplo, se o Thanksgiving 2017 for um evento, o tipo de evento é Thanksgiving. Os tipos de eventos têm periodicidade (dia, semana ou mês) e duração definida. Você também pode especificar os períodos antes e depois da ocorrência do evento real onde a demanda é afetada. Os tipos de eventos também podem ser recorrentes, você pode definir a reocorrência do tipo de evento com base no seguinte: Uma definição de recorrência simples (por exemplo, o 15 de cada segundo mês) Um feriado de um calendário de férias (por exemplo, Natal) 8211 Isso é relevante Para mover eventos, por exemplo, Páscoa, que pode mudar de acordo com o ano. Os tipos de eventos podem ser atribuídos a catálogos de eventos. Os catálogos de eventos são basicamente os agrupamentos hierárquicos de tipos de eventos. Feriados Públicos dos EUA (Catálogo de Eventos) Ação de Graças (Tipo de Evento) Natal (Tipo de Evento) Os processos de planejamento que podem ser configurados para considerar tipos de eventos e catálogos de eventos são previsão univariada, detecção forçada e planejamento da demanda interativa. O efeito de curto prazo das mudanças de preços na demanda também pode ser modelado e pode ser usado para estimar o efeito das mudanças de preços planejadas no futuro. O diagrama de fluxo do processo abaixo mostra o processo de planejamento da demanda. A funcionalidade de geração de eventos influencia os processos destacados em caixas vermelhas. 1. Limpar dados históricos: nesta etapa do processo, os eventos são identificados a partir dos dados históricos usando a funcionalidade de geração de eventos. 2. Gerar Previsão de linha de base: a previsão de linha de base é gerada com base no histórico limpo do ponto 1. 3. Ajustes de previsão baseados nas Promoções: podem ser estimados eventos futuros que podem ser usados para ajustes de previsão. Considerações sobre o projeto Configuração do amplificador Os processos de planejamento que podem ser configurados para considerar tipos de eventos e catálogos de eventos são previsão univariada, detecção de valores aberrantes e planejamento da demanda interativa. Para usar a funcionalidade de evento automático, a função de negócios SCMAPOFORECASTING1 (SCM-APO-FCS, Eventos e Outliers, Causals, ABCXYZ Classification) deve ser ativada. Depois de ativar a função comercial acima, os códigos t adicionais relacionados à funcionalidade de eventos estão disponíveis no menu de acesso fácil do SAP: os diagramas abaixo mostram as etapas de configuração necessárias para configurar as funcionalidades de Detecção Outlier Automática e Geração de Evento e Geração de Evento de Preço: os diagramas abaixo Mostre a figura do histórico de eventos no livro de planejamento de demanda onde os eventos identificados automaticamente são escritos para limpar o histórico de vendas brutas. Para definir, editar e excluir eventos, tipos de eventos e catálogos de eventos: Planejamento e otimização avançados gt Planejamento de demanda gt Ambiente gt Lista de trabalho de planejamento de demanda Os tipos de eventos são atribuídos a catálogos de eventos para grupos hierárquicos: para configurar a forma como deseja que o sistema detecte eventos e estimule Eventos futuros, siga o caminho do menu abaixo na customização - Planejamento e otimização avançados gt Planejamento da Cadeia de Suprimentos gt Demand Planning (DP) gt Configurações Básicas gt Eventos e Outliers gt Configure Atendimento Outlier e Atribuições de Catálogo de Eventos Aqui você pode configurar as configurações como mostrado na Figuras abaixo: dentro dos perfis de detecção de outlier, você define os limiares inferior e superior em porcentagens para atribuir um tipo de evento específico a um outlier durante a detecção de outlier. No próximo nó, você define sua área de planejamento e níveis de planejamento no qual deseja que o sistema detecte eventos. Nota: Você pode definir apenas um nível de planejamento para uma área de planejamento. Os níveis de planejamento são definidos em um código t separado - Planejamento e otimização avançados gt Planejamento de demanda gt Ambiente gt Configurações atuais gt Especifique níveis de planejamento A figura abaixo mostra que o nível de planejamento é definido no nível de características do item do canal. Nota: quando você cria um nível de planejamento, verifique se a seqüência das características reflete uma relação hierárquica, do geral ao específico. Além disso, o nível de planejamento de promoção deve ser o último nível na definição do nível de planejamento. Períodos de detecção de Outlier: Aqui você especifica o número de períodos que você deseja que o sistema considere antes do período real quando calcula a média móvel do período8217s real durante a detecção de outlier. Os catálogos de eventos são atribuídos à área de planejamento no próximo nó: para configurar a geração de eventos futuros, você especifica o tipo de evento, o número de eventos históricos e o método de cálculo para estimar o efeito de eventos históricos em eventos futuros. Relatório Automático de Detecção Outrional e Geração de Evento Você usa este relatório para identificar o impacto de diferentes eventos na demanda histórica. O sistema procura por outliers na demanda histórica com base nas configurações definidas na customização. Depois de executar o relatório, você pode usar esses eventos identificados pelo sistema durante a previsão para estimar o impacto de eventos futuros. Além disso, você pode limpar o histórico dos impactos dos eventos durante a previsão. Planejamento e otimização avançados gt Planejamento de demanda gt Planejamento gt Promoção gt Relatório automático de detecção e geração de eventos e descobertas Na previsão, você pode especificar que deseja que o sistema considere os eventos criados pelo relatório de Detecção Outlier Automática e Geração de Evento. Isso significa que o sistema remove os efeitos dos eventos do histórico que serve de base à previsão. Você também pode configurar a previsão para que o sistema estima as ocorrências futuras de tipos de eventos com base no valor médio de eventos passados do mesmo tipo. Na página do separador Perfil univariante, na área da tela Tipos de evento, selecione a caixa de seleção Estimar automaticamente. Pré-requisitos para a execução do relatório: Antes de executar o relatório de detecção de outlier automático, assegure o seguinte: Você atribuiu uma figura-chave para salvar o impacto de eventos e manteve o nível de promoção para sua área de planejamento. Uma vez que os efeitos dos eventos podem ser negativos ou positivos em relação ao histórico de vendas real, você deve permitir que o sistema armazene valores negativos nesta figura-chave. Você definiu um nível de planejamento na personalização. Você definiu as configurações em 8220Configuração de Detecção Outlier e Atribuições de Catálogo de Eventosrdquo, por exemplo, Perfis de detecção de outlier, atribuição de catálogo de eventos para a área de planejamento conforme mencionado na seção 2. Lógica de detecção de outliers O sistema leva o histórico de demanda no horizonte de tempo especificado como base para a detecção de valores aberrantes. Se uma certa combinação não tem um histórico no início ou no final do horizonte, o sistema ajusta o horizonte de detecção de valores abertos, removendo os períodos que não possuem dados históricos desde o início e do final do horizonte. O sistema calcula uma média móvel para o número de períodos configurados no Customizing e verifica se o período atualmente processado atinge o limite que você definiu no perfil de detecção outlier. O sistema processa os valores aberrantes por ordem de grandeza, o que significa que ele primeiro corrige o histórico para o período que tem o maior desvio. Esta iteração garante que os valores anormais que de outra forma distorçam a média móvel são tratados primeiro. Criação em massa de eventos Você usa este relatório para criar eventos por um período específico que seja no futuro ou no passado. Você pode criar um evento com os mesmos parâmetros para vários objetos de planejamento. Depois de executar o relatório, você pode usar os eventos que o sistema encontrou, durante a previsão para estimar o impacto de eventos futuros. Além disso, você pode limpar o histórico dos impactos dos eventos durante a previsão. Se a data do evento que você especificou reside no futuro, o sistema calcula os impactos do evento8217s com base nos eventos históricos do mesmo tipo. Se a data do evento que você especificou reside no passado, o sistema calcula os impactos do evento8217s a partir dos dados históricos. A data do evento é 27 de novembro de 2017 e você definiu o tipo de evento em baldes mensais. Na definição de ocorrência do evento, você define o efeito do evento 1 período anterior e 1 período após a data do evento real e a duração do evento real é de 1 período. Neste caso, o sistema gera o evento a partir de 1 de outubro de 2017, que dura três períodos. Estimativa de eventos futuros O sistema determina o impacto de eventos no passado para estimar os eventos no futuro. O sistema executa a estimativa futura de eventos sempre que você executa a previsão, ou crie ou elimine manualmente um evento histórico. O sistema estima eventos futuros se os seguintes pré-requisitos: Você manteve as configurações para a estimativa futura de eventos no Customizing Existem eventos históricos no sistema com base nos quais o sistema pode calcular eventos futuros. Você criou eventos no futuro horizonte que o sistema re - Estimativas durante a estimativa de eventos futuros ou selecionou a caixa de seleção Estimar automaticamente (estimar eventos recorrentes futuros automaticamente) nas configurações de perfil de previsão univariadas. Você especificou todas as outras configurações como mencionado acima na figura 1. Eventos de mudança de preço Os eventos de mudança de preço modelam o impacto de curto prazo das mudanças de preços na demanda. O sistema pode estimar os eventos de mudança de preço com base nas mudanças no valor-chave do preço. Por exemplo, a demanda pode aumentar diretamente antes de um aumento de preço, e cair diretamente após ele. No relatório Automático de Detecção Outonal e Geração de Eventos, você pode fazer com que o sistema crie eventos de mudança de preço no passado, com base nos dados históricos de preços e demanda. O sistema usa o efeito dos eventos de mudança de preço no passado para estimar o efeito de curto prazo das mudanças de preços planejadas no futuro e usa os resultados na previsão. Os seguintes são os pré-requisitos para usar a funcionalidade de detecção de mudança de preço: Configurações na Área de Planejamento: Configure as configurações de preço. Defina aqui o valor-chave do preço, o tipo de evento de mudança de preço e o limiar de mudança de preço. Para campo de tipo de evento de mudança de preço, você deve selecionar um tipo de evento não recorrente que você criou na lista de trabalho de planejamento de demanda. O balde que você usa para definir a duração do tipo de evento (por exemplo, semana) deve corresponder ao balde que você usa para detectar eventos de mudança de preço no relatório de Detecção Outlier Automática e Geração de Eventos. No campo Limiar de Mudança de preço, você especifica um valor limiar em porcentagem. O sistema detecta eventos de mudança de preço nos períodos em que há uma mudança (positiva ou negativa) no valor do preço em relação ao período anterior que é maior do que o valor limiar na porcentagem que você especifica. Configurações no Perfil de Previsão: O balde que você especificou no campo Indicador de Período do perfil de previsão mestre deve corresponder ao balde que você usa para detectar eventos de mudança de preço no relatório de Detecção Outlier Automática e Geração de Evento. Você deve especificar um perfil MLR no MLR para Univ. Fcst (perfil MLR para Previsão Univariada) do perfil de previsão univariada. O perfil MLR que você especificar deve conter o valor da tabela de preços na lista de variáveis independentes de MLR. Você pode especificar um limite de variação de preço no campo Limite de alteração de preço no perfil de previsão univariada. Se um valor é inserido aqui, ele substitui o valor definido nas configurações de previsão de área de planejamento descritas acima, para CVCs que tenham este perfil de previsão univariante atribuído. Durante o cálculo dos eventos de mudança de preço, o sistema aplica apenas a correção sazonal no caso de preencher o campo de Períodos do perfil de previsão univariada e o intervalo de tempo de detecção que você especificou para o Relatório Automático de Detecção Outrional e Geração de Evento contém pelo menos dois vezes mais períodos Como você especificou no campo Períodos no perfil de previsão univariada. Eliminação de eventos e tipos de eventos Você pode excluir eventos, tipos de eventos e catálogos de eventos usando qualquer uma das seguintes maneiras: De lista de trabalho de planejamento de demanda de Planejamento de demanda interativa Usando relatório: Excluir tipos de eventos com dependências Usando relatório: Extinção de massa de eventos Demonstração Cenário 1 : Criação em massa de eventos A figura abaixo mostra os dados históricos de um produto no livro de planejamento. Você vê que há uma demanda aumentada durante os períodos de Ação de Graças e Natal no ano de 2017. Criamos uma figura chave do evento no livro de planejamento para armazenar os eventos gerados. O programa cria o evento de 3 períodos, conforme definido no tipo de evento e com base nas configurações explicadas acima. No livro de planejamento, eventos são criados para o período W512017, W522017 e W012017. Eventos exibidos com identificação de promoção no livro de planejamento: Cenário 2: Estimativa de eventos futuros O sistema calcula os eventos futuros com base nos eventos históricos do mesmo tipo. Você especifica a data do evento no futuro no relatório para criação em massa de eventos. O cálculo do evento futuro baseia-se nas configurações definidas em 8220Configuração de Detecção Outlier e Atribuições de Catálogo de Eventos como descrito acima. Cenário 3: Detecção Outlier Automática e Geração de Eventos Na captura de tela abaixo, a detecção automática de eventos é executada para o tipo de evento 8220Thanksgivingrdquo. O evento é detectado e calculado pelo programa com base nas configurações de personalização em 8220Configuração de Detecção de Outlívio e Atribuições de Catálogo de Eventos, como descrito acima. Evento criado no livro de planejamento com ID da promoção: Cenário 4: Geração de eventos de mudança de preço O relatório automático de geração de eventos também pode ser usado para detectar e gerar eventos de mudança de preço, conforme explicado acima. Configurações necessárias para a detecção de eventos de mudança de preço: você define um tipo de evento de mudança de preço não recorrente e mantém as configurações de preço em configurações de previsão para área de planejamento. Crie um perfil de previsão MLR com o valor da chave de preço como variável independente e atribua este perfil MLR ao perfil univariado sob 8220Combinação com a seção MLRrdquo. Atribua o perfil MLR no perfil univariado: os eventos de mudança de preço são detectados e gerados com base nas mudanças no valor-chave do preço e no limite definido na área de planejamento ou no perfil de previsão. Limitações Você pode usar apenas 1 nível de planejamento por área de planejamento. Por exemplo. Se você especificar seu nível de planejamento como características do Produto-Canal-Mercado, você não pode usar outro nível de planejamento com características diferentes na mesma área de planejamento. Durante a previsão, apenas os eventos com o tamanho do balde relevante são considerados. Por exemplo. Ao prever em baldes semanais, os eventos com periodicidade semanal são considerados apenas. Não são permitidos baldes mistos na vista de dados em que os eventos devem ser usados. Os eventos de mudança de preço não podem ser criados manualmente. No entanto, estes podem ser excluídos. No planejamento interativo ou no relatório de criação de eventos em massa, não é possível criar eventos históricos fora do horizonte histórico do perfil de previsão atribuído. A característica do nível de promoção deve corresponder ao nível mais baixo das características que você usa em seu nível de planejamento. Ou seja, a característica do nível de promoção deve ser a última característica na seqüência característica do nível de planejamento. Quando o sistema cria vários eventos que se sobrepõem, apenas um evento obtém o valor de elevação total e todos os outros eventos que se sobrepõem a este evento receberão 0 ou um número muito pequeno para o valor de elevação. O evento identificado como sendo o mais importante obterá a elevação total. Conclusão A capacidade de identificar variações e outliers a partir de dados históricos é essencial para obter uma previsão de boa qualidade. A funcionalidade do evento a partir do SAP SCM 7.0 EHP2 pode ajudar a identificar essas variações com base nas definições do tipo de evento. A estimativa de eventos futuros também pode ser modelada com base nos eventos passados. O efeito de curto prazo das mudanças de preços na demanda também pode ser modelado e pode ser usado para estimar o efeito das mudanças de preços planejadas no futuro. Abreviaturas AcrônimosDeteção de Outliers em Dados de Sensores Baseados em Adaptive Moving Average Fitting Show abstract Hide abstract RESUMO: Para rede de uma rede de sensores IPv6 distribuídos com a idéia de descentralização, propomos um método de rede baseado no agente regional dinâmico. O método é baseado na arquitetura de duas camadas e elege dinamicamente o nó do agente regional quando a rede está sendo executada. Em seguida, propomos dois algoritmos para eleger o nó do agente regional, que são algoritmo eleitoral comum e algoritmo de eleição geral, e eles serão usados no ambiente diferente. Damos instruções detalhadas à condição de disparo e ao próprio algoritmo. Os resultados experimentais mostram que o método de rede proposto tem um bom desempenho no tempo de consumo necessário em redes, simplifica a complexidade da manutenção da rede. Instituto de Ciências da Computação, Informática Social e Engenharia de Telecomunicações 2017. Artigo Jan 2017 Energia Aplicada Jiye Wang Zhihua Cheng Jinghong Guo Mostrar resumo Esconder resumo RESUMO: Para o problema de flutuações de índice de grandes dimensões na falha complexa de máquinas rotativas e que o escopo correspondente é difícil determinar. Neste artigo, propõe um método de falha complexo de máquinas rotativas que combinou o método de moldagem sem dimensões e os mínimos quadrados. Esta implementação do método filtra e determina o escopo do índice adimensional. Ao fazer experiências com 8 tipos de dados de falha de rolamento de conjuntos rotativos petroquímicos, comparando quatro métodos de filtragem, o escopo do índice adimensional foi estabelecido e o texto combinou índice sem dimensão, respectivamente, com Kalman (EKF), a média ponderada, a média móvel, a Filtragem de métodos de mínimos quadrados. Artigo Maio 2017 Mostrar resumo Ocultar resumo RESUMO: Estratégias para aumentar o lucro de investimentos em mercados de futuros de petróleo bruto são uma questão importante para os investidores em financiamento energético. Este artigo propõe uma abordagem para gerar regras de negociação dinâmicas móveis em mercados de futuros de petróleo. Um cálculo de média móvel adaptativa é usado para melhor descrever as flutuações, e as regras de negociação podem ser ajustadas dinamicamente no período de investimento com base no desempenho de quatro regras de referência. Usamos algoritmos genéticos para selecionar regras de negociação médias dinâmicas dinâmicas ótimas de um grande conjunto de parâmetros possíveis. Nossos resultados indicam que as regras de negociação dinâmicas podem ajudar os comerciantes a obter lucros no mercado de futuros de petróleo bruto e são mais eficazes do que a estratégia da BH no processo de redução de preços. Além disso, as regras dinâmicas de negociação da movimentação média são mais favoráveis aos comerciantes do que as regras de negociação estática, e a vantagem se torna mais óbvia ao longo de ciclos de investimento longos. Os comprimentos dos dois períodos das regras de negociação média móvel dinâmica estão intimamente associados à volatilidade dos preços. As regras comerciais dinâmicas terão um excelente desempenho quando o mercado estiver chocado com importantes eventos relacionados à energia. Os conselhos de investimento são distribuídos e esses conselhos são úteis para os comerciantes ao escolher regras comerciais comerciais em investimentos reais. Artigo Set 2017 Lijun Wang Haizhong Um Xiaojia Liu Xuan Huang
No comments:
Post a Comment