Cloudera Liikkuvan Keskiarvon

Olen törmännyt tähän artikkeliin: joka mainitsee kuinka laskea liikkuvan keskiarvon käyttämällä Hadoopia. Huomaa, että kaikki KEY-tietueet on lajitettava ja pienennettävä. Oletetaan nyt, että tietyn KEY: n tietueet levitetään kaikkiin Mongo-klusterin sirpaleihin. Tällaisessa tapauksessa olisi mahdollista laskea liukuva keskiarvo, jonka ymmärrän, että Mongo kartuttaa karttaa kussakin solmussa. Ensisijainen vaatimus tämän ongelman ratkaisemiseksi on varmistaa, että kaikki kartan päästöt vähenevät yhdessä vähennysvaiheessa. Jos näin on, niin Mongo Map Reduce ei pysty koskaan ratkaisemaan tällaisia ​​ongelmia. Onko olemassa joitain peruskäskyjä? Myös miljardeja rivejä ja petattuja tietoja, miksi Hadoop Reduce - vaihe ei vaurioidu muistiin, koska sen on käsiteltävä vähintään useaa kartoitettua dataa. kysynyt 16. toukokuuta 13 klo 7:31 Voitteko selittää, miksi Hadoop ei kaatua muistiin tällaisesta laskennasta Ymmärtääkseni kaikki vähennys tapahtuu yhdellä solmulla, jossa kaikki KEY: n tietueet vähenevät. Tämän pitäisi johtaa valtavaan muistiin yläpuolella kyseisellä solmulla, koska siellä on oltava dataa. Miten Hadoop käsittelee tällaista valtavaa määrää tietoja ndash P. Prasad 16 toukokuu 13 at 8:29 Mielestäni, toisin kuin MongoDB, hadoop, kuten SQL kun käsitellä suurta liittymää, kirjoittaa asioita levylle ja lukea vain tarvittaessa Järjestelmä käyttää swapia tilapäisenä muistinpidikkeenä tietyissä asioissa todennäköisesti. MongoDB tekee lisää RAM: iin ennen kuin kirjoitat levylle sellaisenaan, se voi helposti pelastaa sen. Sammaye 16. toukokuuta 13 klo 8: 37Moving averages - Yksinkertaiset ja eksponentiaaliset liikkuvat keskiarvot - Yksinkertainen ja eksponentiaalinen Johdanto Siirtyminen keskiarvoista tasoittaa hintatiedot trendin jälkeisen indikaattorin muodostamiseksi. He eivät ennusta hintaosuutta vaan pikemminkin määrittelevät nykyisen suunnan myöhässä. Keskiarvojen siirtäminen viivästyy, koska ne perustuvat aiempiin hintoihin. Tästä viivästymisestä huolimatta liikkuvat keskiarvot auttavat tasaista hintakehitystä ja suodattaa melun. Ne muodostavat myös rakennuspalikoita monille muille teknisille indikaattoreille ja päällekkäisyyksille, kuten Bollingerin bändeille. MACD ja McClellan-oskillaattori. Kaksi suosituinta liikkuvaa keskiarvoa ovat Simple Moving Average (SMA) ja Exponential Moving Average (EMA). Näitä liikkuvia keskiarvoja voidaan käyttää trendin suuntauksen tunnistamiseen tai potentiaalisen tuen ja vastustason määrittämiseen. Tässä on kaavio sekä SMA: n että EMA: n kanssa: Simple Moving Average Laskelma Yksinkertainen liikkuva keskiarvo muodostuu laskemalla tietyn ajanjakson tietyn ajanjakson keskimääräinen hinta. Useimmat liikkuvat keskiarvot perustuvat sulkemiseen. 5 päivän yksinkertainen liukuva keskiarvo on viiden päivän summa suljettujen hintojen jaettuna viidellä. Kuten nimikin kertoo, liukuva keskiarvo on keskimääräinen, joka liikkuu. Vanhat tiedot hylätään, kun uusia tietoja tulee saataville. Tämä aiheuttaa keskimäärän liikkumisen ajan mittakaavassa. Alla on esimerkki viiden päivän liikkuvasta keskiarvosta, joka muuttuu kolmen päivän aikana. Liikkuvan keskiarvon ensimmäinen päivä kattaa vain viimeiset viisi päivää. Liikkuvan keskiarvon toinen päivä pudottaa ensimmäisen datapisteen (11) ja lisää uuden datapisteen (16). Liikkuvan keskiarvon kolmas päivä jatkuu pudottamalla ensimmäinen datapiste (12) ja lisäämällä uusi datapiste (17). Edellä olevassa esimerkissä hinnat nousevat asteittain 11: stä 17: een yhteensä seitsemän päivän ajan. Huomaa, että liukuva keskiarvo nousee myös 13: sta 15: een kolmen päivän laskentajakson aikana. Huomaa myös, että jokainen liukuva keskiarvo on juuri viimeisen hinnan alapuolella. Esimerkiksi ensimmäisen päivän liukuva keskiarvo on 13 ja viimeinen hinta on 15. Hinnat neljä edellistä päivää olivat alhaisemmat ja tämä aiheuttaa liukuvan keskiarvon viivästymiseen. Eksponentiaalinen liukuva keskiarvo Laskelma Eksponentiaaliset liukuvat keskiarvot vähentävät viivearvoa lisäämällä viimeaikaisiin hintoihin enemmän painoa. Viimeisimpään hintaan sovellettava painotus riippuu liikkuvan keskiarvon jaksoista. Eksponentiaalisen liukuvan keskiarvon laskemiseen on kolme vaihetta. Ensinnäkin laske yksinkertainen liukuva keskiarvo. Eksponentiaalisen liukuvan keskiarvon (EMA) täytyy alkaa jonnekin, joten yksinkertaista liikkuvaa keskiarvoa käytetään edellisen jakson EMA: ssa ensimmäisessä laskennassa. Toiseksi laske painotuskerroin. Kolmanneksi laske eksponentiaalinen liukuva keskiarvo. Alla oleva kaava on 10 päivän EMA. 10-jakson eksponentiaalinen liukuva keskiarvo on 18,18 painotus viimeiseen hintaan. 10-jaksoinen EMA voidaan kutsua myös 18,18 EMA: ksi. 20-portainen EMA soveltaa 9.52-punnitusarvon viimeiseen hintaan (2 (201) .0952). Huomaa, että lyhyemmän ajanjakson painotus on enemmän kuin painotus pidemmällä ajanjaksolla. Itse asiassa painotus laskee puoleen joka kerta, kun liukuva keskiarvo kaksinkertaistuu. Jos haluat meille tiettyä prosenttiosuutta EMA: lle, voit käyttää tätä kaavaa muuttaaksesi sen aikajaksoihin ja antamalla sen arvon EMA039s-parametriksi: Alla on laskentataulukon esimerkki 10 päivän yksinkertaisesta liikkuva keskiarvosta ja 10- päivän eksponentiaalinen liukuva keskiarvo Intelille. Yksinkertaiset liikkuvat keskiarvot ovat suoraviivaisia ​​ja vaativat vähän selitystä. 10 päivän keskiarvo yksinkertaisesti siirtyy uusien hintojen tullessa saataville ja vanhojen hintojen lasku. Eksponentiaalinen liukuva keskiarvo alkaa yksinkertaisella liukuvan keskiarvon arvolla (22.22) ensimmäisessä laskelmassa. Ensimmäisen laskennan jälkeen normaali kaava siirtyy. Koska EMA alkaa yksinkertaisella liukuva keskiarvolla, sen todellinen arvo ei toteudu vasta 20 sekuntia myöhemmin. Toisin sanoen excel-laskentataulukon arvo voi poiketa kuvion arvosta lyhyen katsauskauden vuoksi. Tämä laskentataulukko menee vain 30 jaksoa, mikä tarkoittaa, että yksinkertaisen liukuvan keskiarvon vaikutus on voinut jakaa 20 jaksoa. StockCharts laskee laskelmissaan vähintään 250 jaksoa (tyypillisesti paljon pidemmälle), joten yksinkertaisen liukuvan keskiarvon vaikutukset ensimmäisessä laskelmassa ovat täysin häipyneet. Lag Factor Mitä pidempi liikkuva keskiarvo, sitä enemmän viive. 10 päivän eksponentiaalinen liukuva keskiarvo houkuttelee hintoja melko tiiviisti ja kääntyy pian hintojen kääntymisen jälkeen. Lyhyt liukuva keskiarvo on kuin nopeusveneet - ketterä ja nopea vaihtaa. Sitä vastoin 100 päivän liukuva keskiarvo sisältää paljon aikaisempia tietoja, jotka hidastavat sitä. Pidempiä liikkuvia keskiarvoja ovat kuin valtamerialukset - letarginen ja hitaasti muuttuva. Se vie suuremman ja pidemmän hinnanmuutoksen 100 päivän liukuva keskiarvo muuttaa kurssi. Yllä oleva kaavio osoittaa SampP 500 ETF: n 10 päivän EMA: lla tarkasti seuraamalla hintoja ja 100 päivän SMA-hiontaa korkeammalla. Jopa tammikuun ja helmikuun pienentyessä 100 päivän SMA pitäytyi kurssilla eikä kääntynyt alas. 50 päivän SMA sopii jonnekin 10 ja 100 päivän liukuvien keskiarvojen välillä, kun on kyse lag-tekijästä. Yksinkertaiset ja eksponentiaaliset liikkuvat keskiarvot Vaikka selkeitä eroja on yksinkertaisten liikkuvien keskiarvojen ja eksponentiaalisten liikkuvien keskiarvojen välillä, ei ole välttämättä parempaa kuin toinen. Eksponentiaaliset liukuvat keskiarvot ovat vähemmän viivästyneet, ja siksi ovat herkempiä viimeaikaisiin hintoihin - ja viimeaikaisiin hinnanmuutoksiin. Eksponentiaaliset liikkuvat keskiarvot kääntyvät ennen yksinkertaisia ​​liikkuvia keskiarvoja. Yksinkertaiset liikkuvat keskiarvot puolestaan ​​edustavat todellista hintojen keskiarvoa koko ajanjaksolle. Sellaisina, yksinkertaiset liikkuvat keskiarvot saattavat olla paremmin sopivia tuki - tai vastustasojen tunnistamiseen. Keskimääräisen mieltymyksen siirto riippuu tavoitteista, analyyttisestä tyylistä ja aikataulusta. Chartisteiden tulisi kokeilla molempia liikkuvia keskiarvoja sekä eri aikajaksoja parhaimman sovituksen löytämiseksi. Alla oleva kaavio näyttää IBM: n 50 päivän punaisella SMA: lla ja 50 päivän EMA vihreällä. Molemmat huipentuivat tammikuun lopussa, mutta EMA: n lasku oli heikompi kuin SMA: n lasku. EMA nousi helmikuun puolivälissä, mutta SMA jatkoi maaliskuun loppua. Huomaa, että SMA nousi yli kuukauden kuluttua EMA: sta. Pituudet ja aikajaksot Liikkuvan keskiarvon pituus riippuu analyyttisistä tavoitteista. Lyhyt liukuva keskiarvo (5-20 jaksoa) sopii parhaiten lyhytaikaisiin suuntauksiin ja kaupankäyntiin. Keskipitkän aikavälin trendit kiinnostuneet kartografit valitsisivat pitemmät liukuvat keskiarvot, jotka voivat pidentää 20-60 jaksoa. Pitkän aikavälin sijoittajat mieluummin liikkuvat keskiarvot 100 tai useammalla kaudella. Jotkut liikkuvat keskipituudet ovat suosittuja kuin toiset. 200 päivän liukuva keskiarvo on ehkä suosituin. Sen pituuden takia tämä on selvästi pitkän ajan liukuva keskiarvo. Seuraavaksi 50 päivän liukuva keskiarvo on varsin suosittu keskipitkän aikavälin kehitykselle. Monet kartistit käyttävät 50 päivän ja 200 päivän liukuvia keskiarvoja yhdessä. Lyhytaikainen, 10 päivän liukuva keskiarvo oli melko suosittu aikaisemmin, koska se oli helppo laskea. Yksi yksinkertaisesti lisäsi numerot ja siirsi desimaalipisteen. Trendin tunnistus Sama signaali voidaan tuottaa käyttämällä yksinkertaisia ​​tai eksponentiaalisia liikkuvia keskiarvoja. Kuten edellä todettiin, etusija riippuu jokaisesta yksilöstä. Alla olevat esimerkit käyttävät sekä yksinkertaisia ​​että eksponentiaalisia liikkuvia keskiarvoja. Käsite liikkuva keskiarvo koskee sekä yksinkertaisia ​​että eksponentiaalisia liikkuvia keskiarvoja. Liikkuvan keskiarvon suunta välittää tärkeää tietoa hinnoista. Kasvava liukuva keskiarvo osoittaa, että hinnat ovat yleisesti kasvussa. Liikkuva liukuva keskiarvo osoittaa, että hinnat laskevat keskimäärin. Pitkän aikavälin nouseva keskimääräinen kasvu heijastaa pitkän aikavälin nousua. Pitkän aikavälin liukuva keskiarvo heijastaa pitkän aikavälin laskutrendiä. Yllä oleva kaavio näyttää 3M (MMM) 150 päivän eksponentiaalisella liikkuvalla keskiarvolla. Tämä esimerkki osoittaa, kuinka hyvin liikkuvat keskiarvot toimivat, kun suuntaus on vahva. 150 päivän EMA hylkäsi marraskuussa 2007 ja jälleen tammikuussa 2008. Huomaa, että tämän liukuvan keskiarvon suunta päinvastoin kesti 15. Nämä jäljessä olevat indikaattorit tunnistavat trendinmuutokset, kun ne esiintyvät (parhaimmillaan) tai niiden esiintymisen jälkeen (pahimmillaan). MMM jatkoi laskua maaliskuuhun 2009 ja nousi sitten 40-50. Huomaa, että 150 päivän EMA ei noussut vasta tämän nousun jälkeen. Kun se kuitenkin toteutui, MMM jatkoi edelleen seuraavien 12 kuukauden aikana. Keskimääräiset liikkeet toimivat loistavasti vahvoissa suuntauksissa. Kaksinkertaiset poikittaisliikkeet Kaksi liikkuvaa keskiarvoa voidaan käyttää yhdessä tuottamaan crossover-signaaleja. Rahoitusmarkkinoiden teknisessä analyysissä. John Murphy kutsuu tätä kaksinkertaisen crossover-menetelmän. Kaksinkertaiset risteytykset sisältävät suhteellisen lyhyen liukuvan keskiarvon ja suhteellisen pitkän liukuvan keskiarvon. Kuten kaikilla liikkuvilla keskiarvoilla, liikkuvan keskiarvon yleinen pituus määrittää järjestelmän aikataulun. Järjestelmä, joka käyttää 5 päivän EMA ja 35 päivän EMA, katsotaan lyhytaikaiseksi. Järjestelmä, joka käyttää 50 päivän SMA: ta ja 200 päivän SMA: ta, katsotaan keskipitkäksi, ehkä jopa pitkän aikaväliksi. Ylivoimainen ylitys tapahtuu, kun lyhyempi liikkuva keskiarvo ylittää pitemmän liukuvan keskiarvon. Tätä kutsutaan myös kultaiseksi ristiksi. Laskeva crossover esiintyy, kun lyhyempi liikkuva keskiarvo ylittää pitemmän liukuvan keskiarvon. Tätä kutsutaan kuolleeksi ristiksi. Keskimääräisten risteytysten siirtyminen tuottaa suhteellisen myöhäisiä signaaleja. Loppujen lopuksi järjestelmässä on kaksi jäljellä olevaa indikaattoria. Mitä kauemmin liikkuvien keskimääräisten jaksoiden määrä on, sitä suurempi signaalien viive on suurempi. Nämä signaalit toimivat hyvin, kun hyvä suuntaus kestää. Kuitenkin liikkuva keskimääräinen risteysjärjestelmä tuottaa runsaasti piiskahajaa ilman vahvaa kehitystä. Siinä on myös kolminkertainen crossover-menetelmä, johon kuuluu kolme liukuvaa keskiarvoa. Jälleen signaali syntyy, kun lyhyin liikkuva keskiarvo ylittää kaksi pidempää liukuvaa keskiarvoa. Yksinkertainen kolminkertainen ylitysjärjestelmä voi sisältää viiden päivän, 10 päivän ja 20 päivän liukuvien keskiarvojen. Yllä oleva kaavio osoittaa Home Depot (HD), jossa on 10 päivän EMA (vihreä viivakoodi) ja 50 päivän EMA (punainen viiva). Musta rivi on päivittäinen sulkeminen. Liikkuvan keskiarvon ylittävän käyttäminen olisi johtanut kolmeen luusahaukseen ennen hyvää kauppaa. 10 päivän EMA rikkoi 50 päivän EMA: n lokakuun loppupuolella (1), mutta tämä ei kestänyt kauan, kun 10 päivän siirtyi takaisin marraskuun puolivälissä (2). Tämä risti kesti pidempään, mutta tammikuussa (3) seuraava bearish-risteys tapahtui lähellä marraskuun marraskuun hintatasoja, jolloin syntyi toinen whipsaw. Tämä laskusuuntainen risti ei kestänyt kauan, kun 10 päivän EMA siirtyi takaisin 50 päivän päästä muutama päivä myöhemmin (4). Kolmen huonon signaalin jälkeen neljäs signaali esitti vahvan liikkeen, kun kalakanta nousi yli 20: een. Tässä on kaksi takeawaysia. Ensinnäkin, risteytykset ovat alttiita whipsaw. Hinta - tai aikasuodatinta voidaan käyttää estämään teräpaloja. Kauppiaat voivat vaatia crossoverin kestävän 3 päivää ennen toimintaansa tai vaatia 10 päivän EMAa siirtymään 50 päivän EMA: n alapuolella tiettyyn määrään ennen toimimista. Toiseksi, MACD: n avulla voidaan tunnistaa ja mitata nämä risteytykset. MACD (10,50,1) näyttää rivin, joka edustaa kahden eksponentiaalisen liikkuvan keskiarvon eroa. MACD muuttuu positiiviseksi kultaisen ristin aikana ja negatiiviseksi kuolleen ristin aikana. Prosenttihinnoittelua (PPO) voidaan käyttää samalla tavoin näyttää prosentuaaliset erot. Huomaa, että MACD ja PPO perustuvat eksponentiaalisiin liikkuviin keskiarvoihin eivätkä ne sovi yhteen yksinkertaisten liikkuvien keskiarvojen kanssa. Tässä kaaviossa näkyvät Oracle (ORCL), jossa on 50 päivän EMA, 200 päivän EMA ja MACD (50 200). Kahden 12 vuoden ajanjaksolla liikkuvuus oli keskimäärin neljä. Kolme ensimmäistä johtivat piiska - tai huonoihin kauppoihin. Jatkuva trendi alkoi neljännellä risteyksellä, kun ORCL kehittyi 20-luvun puoliväliin. Jälleen kerran liikkuvat keskimääräiset risteytykset toimivat hyvin, kun suuntaus on vahva, mutta tuottaa tappioita ilman suuntausta. Hintaverkostot Keskimääräisten siirtojen avulla voidaan myös tuottaa signaaleja yksinkertaisilla hintarajoilla. Nouseva signaali syntyy, kun hinnat ylittävät liikkuvan keskiarvon. Laskeva signaali syntyy, kun hinnat liikkuvat liukuvan keskiarvon alapuolella. Hintakriisi voidaan yhdistää suurempaan trendiin. Pitempi liikkuva keskiarvo asettaa äänen suuremmalle suuntaukselle ja lyhyempi liikkuva keskiarvo käytetään signaalien tuottamiseen. Yksi voisi etsiä nousevan hinnan risteyksistä vain silloin, kun hinnat ovat jo pitemmän liukuvan keskiarvon yläpuolella. Tämä olisi kauppaa sopusoinnussa suuremman kehityksen kanssa. Esimerkiksi jos hinta on yli 200 päivän liukuva keskiarvo, kartellit keskittyisivät vain signaaleihin, kun hinta siirtyy 50 päivän liukuvan keskiarvon yläpuolelle. Ilmeisesti siirto 50 päivän liukuvan keskiarvon alapuolella edeltää tällaista signaalia, mutta tällaiset laskusuuntaiset ristit jäisivät huomiotta, koska suurempi suuntaus on noussut. Laskeva raja yksinkertaisesti ehdottaa vetäytymistä suuremmassa nousussa. 50 päivän liukuvan keskiarvon yläpuolella oleva ristipäätös merkitsisi hintojen nousua ja suuremman nousun jatkumista. Seuraavassa kaaviossa näkyy Emerson Electric (EMR) 50 päivän EMA ja 200 päivän EMA kanssa. Varasto siirrettiin yllä ja pidettiin elokuussa 200 päivän liukuva keskiarvon yläpuolella. 50 päivän EMA: n alapuolella oli marraskuun alussa ja helmikuun alussa. Hinnat muuttuivat nopeasti 50 päivän EMA: n yläpuolelle ja antoivat nousevia signaaleja (vihreät nuolet) sopusoinnussa suuremman nousun kanssa. MACD (1,50,1) näkyy indikaattorissa vahvistaaksesi hintarajojen 50 päivän EMA: n ylä - tai alapuolella. 1 päivän EMA on sama kuin päätöskurssi. MACD (1,50,1) on positiivinen, kun sulku on 50 päivän EMA: n yläpuolella ja negatiivinen, kun sulku on 50 päivän EMA: n alapuolella. Tuki ja vastus Keskimääräiset liikkeet voivat myös toimia tukena nousussa ja vastustuksessa laskusuhdanteessa. Lyhyen aikavälin uptrend saattaa löytää tukea lähellä 20 päivän yksinkertaista liikkuvaa keskiarvoa, jota käytetään myös Bollingerin bändeissä. Pitkäaikainen uptrend saattaisi löytää tukea lähellä 200 päivän yksinkertaista liikkuvaa keskiarvoa, joka on suosituin pitkän aikavälin liukuva keskiarvo. Jos tosiasia, 200 päivän liukuva keskiarvo voi tarjota tukea tai vastustusta vain siksi, että sitä käytetään niin laajasti. Se on melkein kuin itse täyttävä profetia. Yllä oleva kaavio kuvaa NY Compositea, jossa on 200 päivän yksinkertainen liukuva keskiarvo vuoden 2004 puolivälistä vuoden 2008 loppuun. 200 päivän päivät tukevat useita kertoja ennakkomaksun aikana. Kun trendi päinvastoin käänsi kaksinkertaisen kannen taakse, 200 päivän liukuva keskiarvo toimi resistanssina noin 9500. Älä odota tarkkaa tukea ja resistenssitasoja liikkuvista keskiarvoista, erityisesti pitemmistä liikkuvista keskiarvoista. Markkinoita ohjaavat tunteet, mikä tekee niistä alttiita ylityksille. Tarkkojen tasojen sijasta liikkuvia keskiarvoja voidaan käyttää tuki - tai vastusvyöhykkeiden tunnistamiseen. Johtopäätökset Liikkeessä olevien keskiarvojen käyttämisen edut on punnittava haittoja vastaan. Keskimääräiset liikkeet ovat trendin jälkeisiä tai jäljessä olevia indikaattoreita, jotka ovat aina askel taakse. Tämä ei kuitenkaan välttämättä ole huono asia. Loppujen lopuksi trendi on ystäväsi, ja on parasta käydä kauppaa trendin suuntaan. Liikkuvat keskiarvot takaavat, että elinkeinonharjoittaja vastaa nykyistä suuntausta. Vaikka trendi on ystäväsi, arvopaperit vievät paljon aikaa kauppapaikkoihin, jotka tekevät liikkuvien keskiarvojen tehottomaksi. Kun trendi, liukuvat keskiarvot pitävät sinut sisään, mutta antavat myös myöhäisiä signaaleja. Don039t odottavat myydä ylhäältä ja ostaa alhaalta käyttäen liikkuvia keskiarvoja. Kuten useimmissa teknisissä analyysityökaluissa, liikkuvia keskiarvoja ei pidä käyttää yksinään vaan muihin täydentäviin työkaluihin. Chartistit voivat käyttää liikkuvia keskiarvoja määrittäessään yleisen trendin ja sitten käyttää RSI määritellä overbought tai oversold tasot. Liukuvien keskiarvojen lisääminen StockCharts-kaavioihin Keskimääräiset liukuvat arvot ovat SharpCharts-työpöydän hintapeitto-ominaisuus. Pinta-avattavasta valikosta Käyttäjät voivat valita joko yksinkertaisen liukuvan keskiarvon tai eksponentiaalisen liukuvan keskiarvon. Ensimmäistä parametria käytetään asettamaan aikajaksot. Valinnainen parametri voidaan lisätä, jotta määritettäisiin, mikä hintakenttä olisi käytettävä laskutoimituksissa - O avoimena, H korkealle, L matala ja C sulkeminen. Parametreja käytetään pilkulla. Toinen valinnainen parametri voidaan lisätä liikkuvien keskiarvojen siirtämiseksi vasemmalle (ohi) tai oikealle (tuleva). Negatiivinen luku (-10) siirtäisi liukuvan keskiarvon vasempaan 10 jaksoon. Positiivinen luku (10) siirtäisi liukuvan keskiarvon oikeaan 10 jaksoon. Useat liukuvat keskiarvot voidaan peittää hintaluettelosta yksinkertaisesti lisäämällä toinen päällysrivikko työpöytään. StockChartsin jäsenet voivat muuttaa värejä ja tyyliä erilaisten liikkuvien keskiarvojen erottamiseksi. Kun olet valinnut merkin, avaa Lisäasetukset napsauttamalla vihreää kolmiota. Lisäasetuksia voidaan käyttää myös liukuvan keskimääräisen peittokuvan lisäämiseen muihin teknisiin indikaattoreihin, kuten RSI, CCI ja Volume. Klikkaa tästä live-kaavalle, jossa on useita erilaisia ​​liukuva keskiarvoja. Liikkuvien keskiarvojen käyttäminen StockCharts-skannausten avulla Tässä on muutamia näytteenottosarjoja, joita StockChartsin jäsenet voivat käyttää erilaisten liikkuvien keskimääräisten tilanteiden etsimisessä: Härkä Moving Average Cross: Tämä skannaus etsii varastoja, joissa on nouseva 150 päivän yksinkertainen liukuva keskiarvo ja viiden päivän EMA ja 35 päivän EMA. 150 päivän liukuva keskiarvo nousee niin kauan kuin se on kaupankäynnin yläpuolella viisi päivää sitten. Nouseva risti esiintyy, kun 5 päivän EMA liikkuu 35 päivän EMA: n yläpuolella keskimääräisen äänenvoimakkuuden yläpuolella. Bearish Moving Average Cross: Tämä skannaus etsii varastoja, joissa putoava 150 päivän yksinkertainen liukuva keskiarvo ja laskeva indikaattoreiden raja EMA: n ja 35 päivän EMA: n välillä. 150 päivän liukuva keskiarvo putoaa niin kauan kuin se on kaupankäynnin alle viisi päivää sitten. Laskeva raja esiintyy, kun 5 päivän EMA liikkuu 35 päivän EMA: n alapuolella keskimääräisen äänenvoimakkuuden yläpuolella. Jatko-opinnäytetyö John Murphy'n kirjassa on luku, joka on tarkoitettu liikkuville keskiarvoille ja niiden erilaisille käyttötarkoituksille. Murphy kattaa liikkuvien keskiarvojen edut ja haitat. Lisäksi Murphy kertoo kuinka liikkuvat keskiarvot toimivat Bollinger Bandsin ja kanavapohjaisten kaupankäyntijärjestelmien kanssa. Rahoitusmarkkinoiden tekninen analyysi John MurphyCloudera Engineering Blogi Yksinkertainen liikkuva keskiarvo, toissijainen lajittelu ja MapReduce (osio 2), jossa sarakealue on kaikki sarakkeet tuosta päivämäärästä 29 päivään edeltävään. Nyt kopioi tämä kaava seuraaville kahdelle riville, päivämäärät 147342008148 ja 147332008148. Sinulla pitäisi olla arvot 14735.396148, 14734.5293148 ja 14733.5293148, jotka edustavat tämän synteettisen yahoo-kantatiedon 30 päivän liukuvaa keskiarvoa. Nyt, kun olemme perustaneet Excelin perusnäytteen, let8217s tarkastelee miten Simple Moving Average on R: ssä. Quick Primer Simple Moving Average - raporteissa R Aikasarjojen, erityisesti rahoitusalan, Kieli. R on: Ohjelmointikieli ja ohjelmistoympäristö tilastolliseen laskentaan ja grafiikkaan. Tilastotieteilijöille tilastollisten ohjelmistojen kehittämisen ja tietojen analysoinnin tosiasiallinen standardi. S-ohjelmointikielen toteutus yhdistettynä Scheme-malliin innoittamiin leksikaaliseen kontekstin semantiikkaan. Tällä hetkellä kehittämä R Development Core Team, mutta alun perin kehittivät Ross Ihaka ja Robert Gentleman Aucklandin yliopistossa, Uudessa-Seelannissa. Lataa R-binaari täältä ja asenna se paikallisesti (ne tukevat sekä linuxia että win32: ää). Kun olet asentanut, käynnistä R-konsoli ja pudota 147Packages148-valikko alas, missä on asennettava TTR-paketti. Valitse peili ja lataa tämä paketti. Lataa tämä paketti napsauttamalla 147Packages148-pudotusvalikkoa ja valitsemalla 147Load Package148. Etsi juuri asennettu TTR-paketti ja valitse se. Seuraavaksi lataa synteettiset varastotietoni projekteistani Github-tietokannasta, joka sisältää 33 synteettistä kantatiedostoa prosessoitavaksi. Jos haluat ladata tämän CSV-tiedoston R: ssä, meidän on asetettava työhakemisto napsauttamalla valikkokohtaa 147File148 ja sitten 147Change directory148. Pikavinkki: milloin tahansa käyttäjä voi kirjoittaa muuttujan nimen ja painaa Enter-painiketta näyttääksesi muuttujan sisällön. Nyt kun meillä on kaikki prep pois tieltä, let146s kirjoittaa yksinkertainen liukuva keskiarvo R: vaihtoa stocksymbol 160160160160160160date160 open160 high160160 alhainen close160160 volyymi adj. close 32160160160160 NYSE160160160160160160160160160160 AA 2008-02-03 38,85 39,28 38,26 38,37 11279900160160160160160 8,37 31160160160160 NYSE160160160160160160160160160160 AA 2008 -02-04 37,01 37,90 36,13 36,60 17752400160160160160 10,60 30160160160160 NYSE160160160160160160160160160160 AA 2008-02-05 31,16 31,89 30,55 30,69 17567800160160160160 30,53 29160160160160 NYSE160160160160160160160160160160 AA 2008-02-06 30,27 31,52 30,06 31,47160 8445100160160160160 31,31 28160160160160 NYSE160160160160160160160160160160 AA 2008-02-07 31,73 33,13 31,57 32,66 14338500160160160160 32,49 27160160160160 NYSE160160160160160160160160160160 AA 2008-02-08 32,58 33,42 32,11 32,70 10241400160160160160 32,53 26160160160160 NYSE160160160160160160160160160160 AA 2008-02-09 32,13 33,34 31,95 33,09160 9200400160160160160 32,9 2 25160160160160 NYSE160160160160160160160160160160 AA 2008-02-10 33,67 34,45 33,07 34,28 15186100160160160160 34,10 24160160160160 NYSE160160160160160160160160160160 AA 2008-02-11 34,57 34,85 33,98 34,08160 9528000160160160160 33,90 23160160160160 NYSE160160160160160160160160160160 AA 2008-02-12 33,30 33,64 32,52 32,67 11338000160160160160 32,50 22160160160160 NYSE160160160160160160160160160160 AA 2008-02- 13 32,95 33,37 32,26 32,41160 7230300160160160160 32,41 21160160160160 NYSE160160160160160160160160160160 AA 2008-02-14 32,24 33,25 31,90 32,78160 9058900160160160160 32,78 20160160160160 NYSE160160160160160160160160 160160AA 2008-02-15 32,67 33,81 32,37 33,76 10731400160160160160 33,76 19160160160160 NYSE160160160160160160160160160160 AA 2008-02-16 33,82 34,25 33,29 34,06 11249800160160160160 34,06 18160160160160 NYSE160160160160160160160160160160 AA 2008-02-17 34,33 34,64 33,26 33,49 12418900160160160160 33,49 17160160160160 NYSE160160160160160160160160160160 AA 2008-02-18 33,75 35 0,52 33,63 35,51 21082100160160160160 35,51 16160160160160 NYSE160160160160160160160160160160 AA 2008-02-19 36,01 36,43 35,05 35,36 18238800160160160160 35,36 15160160160160 NYSE160160160160160160160160160160 AA 2008-02-20 35,16 35,94 35,12 35,72 14082200160160160160 35,72 14160160160160 NYSE160160160160160160160160160160 AA 2008-02-21 36,19 36,73 35,84 36,20 12825300160160160160 36,20 13160160160160 NYSE160160160160160160160160160160 AA 2008-02-22 35,96 36,85 35,51 36,83 10906600160160160160 36,83 12160160160160 NYSE160160160160160160160160160160 AA 2008-02-23 36,88 37,41 36,25 36,30 13078200160160160160 36,30 11160160160160 NYSE160160160160160160160160160160 AA 2008-02-24 36,38 36,64 35,58 36,55 12834300160160160160 36,55 10160160160160 NYSE160160160160160160160160160160 AA 2008-02-25 36,64 38,95 36,48 38,85 22500100160160160160 38,85 9160160160160160 NYSE160160160160160160160160160160 AA 2008-02-26 38,59 39,25 38,08 38,50 14417700160160160160 38,50 8160160160160160 NYSE16016016016016 0160160160160160 AA 2008-02-27 38,19 39,62 37,75 39,02 14296300160160160160 39,02 7160160160160160 NYSE160160160160160 160160160160160AA 2008-02-28 38,61 39,29 38,19 39,12 11421700160160160160 39,12 6160160160160160 NYSE160160160160160160160160160160 AA 2008-02-29 38,77 38,82 36,94 37,14 22611400160160160160 37,14 5160160160160160 NYSE160160160160160160160160160160 AA 2008-03-01 37,17 38,46 37,13 38,32 13964700160160160160 38,32 4160160160160160 NYSE160160160160160160160160160160 AA 2008-03-02 37,90 38,94 37,10 38,00 15715600160160160160 38,00 3160160160160160 NYSE160160160160160160160160160160 AA 2008-03-03 38,25 39,15 38,10 38,71 11754600160160160160 38,71 2160160160160160 NYSE160160160160160160160160160160 AA 2008-03-04 38,85 39,28 38,26 38,37 11279900160160160160 38,37 1160160160160160 NYSE160160160160160160160160160160 AA 2008-03-05 37.01 37.90 36.13 36.60 17752400160160160160 36.60 Yllä olevan koodin pitäisi tuottaa yksinkertainen liikkuva keskiarvo, jota voimme tarkastella kirjoittamalla nimen e muuttuja 147sma148 tuottaa seuraavan tuloksen: 1160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA 21160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA160160160160160160 NA 33,52933 34,52933 35,39600 Koska ennen 30. päivänä ei ole riittävästi tietoa, joka tuottaa yksinkertaisen liukuvan keskiarvon perustuen asetettuun parametriimme, tuotetaan 147NA148-merkinnät. Nämä arvot vastaavat myös Excel-laskentataulukon arvoja. R: llä on myös mielenkiintoinen projekti, jota kutsutaan nimellä RHIPE, jolla on R-koodi Hadoop-klustereissa. Jos haluat tarkastella RHIPEä, käy sivustolla. Joten me katselimme, mikä yksinkertainen liukuva keskiarvo on ja miten me tuotamme sen Excelissä ja R. Molemmissa näissä esimerkeissä on mukana tietomäärä, joka on mielenkiintoinen mutta ei ole kovin hyödyllinen tämän päivän suurtiheyksisten aikasarja-ongelmien verkkotunnuksissa. Kun tietojoukko alkaa skaalata enemmän kuin yhden levyn tilaa, Hadoop tulee käytännöllisemmäksi. Kolmen osan blogisarjan viimeinen osa kertoo, kuinka Hadoop146s MapReducea käytetään laskemaan Simple Moving Average. Sitten kun olet ottanut mallikoodin etsimään pienen esimerkkitietokannan Simple Moving Average, siirrymme käyttämään tätä samaa koodia parantamaan kaikkien päivittäisten osakekurssien yli kolmekymmentä vuotta. 2 vastausta ldquo: ssa Yksinkertainen liikkuva keskiarvo, toissijainen lajittelu ja MapReduce (osa 2) rdquo Suuri opetusohjelma, kun aiot julkaista kolmannen osanCloudera Engineering Blogi Yksinkertainen Moving Average, Secondary Sort ja MapReduce (Part 3) Tämä on viimeinen pala kolmiosainen blogisarja. Jos haluat tarkastella tämän sarjan aiempia osia, käytä seuraavaa linkkiä: Aikaisemmin selitin Excelin ja R: n käyttämisen analyysityökaluina pienen sarjan osakekurssien yksinkertaisen liukuvan keskiarvon laskemiseksi. Tässä viimeisessä kappaleessa kolmiosainen blogisarjaan aion upottaa MapReducen avulla löytää pienen näytejoukon Simple Moving Average. Sitten näytän sinulle kuinka käytät samaa koodia, voit laskea jokaisen sulkimen osakekurssin Simple Moving Average - arvon vuodesta 1980. Down the Rabbit Hole Hadoopilla Edellä esitetyissä esimerkeissä tarkastelemme yksinkertaisen liukuvan keskiarvon laskemista suhteellisen pienestä tietomäärästä. Erilaisia ​​analyyseja varten excel ja R ovat erittäin tehokkaita työkaluja, mutta kun siirrymme kohti gigatavun, teratavu - ja petattatietomyymälöitä, törmäämme asioihin, joissa on tietoja paikkatieto, levyn nopeudet ja käsittelynopeudet. Näitä tekijöitä havainnollistaen voit tehdä myyttisen koneen, jolla oli yksi 1 petattitaustainen levy, joka toimi samalla tavalla kuin levyn nopeudet tänään. Tässä esimerkissä käytetään hyvin lukuarvoa 40 MBs. Sanotaan, että sen tehtävänä on skannata näitä tietoja ja tuottaa yksinkertaisen liukuvan keskiarvon, prosessori ei estä laskentaa ja voimme ylläpitää liikkuvaa ikkunanlaskentaa tietojen kautta täydellä 40 MB: lla. Oletetaan myös, että tiedot oli aiemmin lajiteltu ja että tarvitsemme vain suorittamaan sekventiaalisen tarkistuksen, mikä maksimoi datan läpimenonopeuden levyltä ja se voisi jatkuvasti toimittaa 40 Mt: n prosessointiputkelle. Perustuu Jeff Deansin 12 numeroon Jokainen insinööri pitäisi tietää dia Tämä on uskottava setup. Tällä läpäisyllä yksinkertainen keskimääräinen laskentamenetelmä, joka sisältää 1 petattua dataa, kesti noin 310 päivää. Useimmissa tilanteissa tämä operatiiviset kustannukset ajallaan eivät ole kohtuuttomia. Onneksi HDFS: n ja MapReducen mekaniikka lieventää näitä tekijöitä, jotta voimme tehdä ongelmasta lineaarisen ajan ja pääoman toiminnan, jotta voimme päättää niiden koneiden lukumäärän, jotka haluamme toteuttaa tehokkaasti tämän yksinkertaisen liikkuvan keskimääräisen skannauksen suorittamiseen. Yllä mainitussa yksinkertaisessa liikkuvassa keskimääräisessä esimerkissä olemme laiminlyöneet harkitsemaan seuraavia rajoitteita: Petattitaulun tallentaminen ei-myyttisiin laitteisiin. Lajitellaan petattitietoja. Laitteistovirheen huomioon ottaminen 310 päivän käsittelyajan kuluessa. Tyypillisesti aikasarjasovellukset tarvitsevat skannata tietoja jossain vaiheessa, mikä luo suuria vuoria kiipeämään, jos haluamme lähestyä aikasarjatietoja suurissa tiloissa nykyisissä järjestelmissä. Monen teratavun ja monen petatavun tietolähteet ovat näkyneet aikasarjojen verkkotunnuksessa päivittäin, mukaan lukien ja kaikilla näillä aloilla edellä oleva skenaario on todella todellinen haaste puuttua asiaan. HDFS ratkaisee yllä olevat tallennus - ja häiriötekijät, mutta mitä on lajittelu - ja käsittelyasioissa Suuret tietomäärät lajitellaan itsessään, ei ole triviaali ongelma, mutta se on lähestyttävissä MapReducen muutamien temppujen kanssa. Tarkastellaan todellista MapReduce-koodia, jonka voimme ladata ja koota ja valmistaa oma skaalautuva yksinkertainen liukuva keskiarvo ratkaista osa näistä kipupisteistä. Simple Moving Average in MapReduce MapReduce-sovellus koostuu tyypillisesti kahdesta toiminnosta: (olet arvannut sen) karttatoiminnolla ja pienennystoiminnolla. Java-ohjelmoinnin maailmassa luodaan karttaluokka ja vähennysluokka, joista jokainen perii menetelmiä, jotka ovat hyödyllisiä heidän kunnioittavissa tarkoituksissaan. Käytämme MapReducen ohjelmointimallia, koska se on rakennettu algoritmien rinnakkaisuusongelmien lieventämiseen ja skaalautuva rinnakkaisuus on suhteellisen kivuttomasti. Karttatoiminto voi sisältää koodin, joka suorittaa per-key-value - parinoperaation, mutta sen pääasiallinen looginen toiminta on ryhmitellä tietoja avainten avulla. Hyvin helpoin tapa ajatella karttatoimintoa on ajatella sitä loogisena projektiosuutena tietojen tai ryhmän lausekkeella. Pienennystoimintoa käytetään näiden ryhmien ottamiseen (erikseen) ja suorittamalla prosessi koko ryhmiteltyjen arvojen yli. Yhteisiä toimintoja vähennystoiminnoissa ovat: Yksinkertaisella liikkuva keskiarvoesimerkityksessämme emme kuitenkaan toimi nimenomaan arvon perusteella, emmekä tuota aggregoituja arvoja kaikissa arvoissa. Toimintamme kokonaisvaltaisessa mielessä sisältää liukuikkunan, joka suorittaa toiminnonsa tietylle osajoukolle kussakin vaiheessa. Meidän on myös otettava huomioon, että aikasarjatietojemme pisteillä ei ole taipumusta saavuttaa järjestyksen alenemista, ja ne on järjestettävä edellisissä jaksoissa. Tämä johtuu siitä, että useilla karttafunktioilla, jotka lukevat lähdetietojen useampia osuuksia, MapReduce ei aseta tärkeys - ja lajittelujärjestelmiin ryhmiteltyjä avainarvopareja. On olemassa skenaario, jossa olemme lajitelleet osioidut tiedot, mutta tämän esimerkin vuoksi aiottiin käsitellä puutarhaviljelyn lajittelemattomia aikasarjatietoja. Varmista, että voisimme suunnitella tämän MapReducen yksinkertaisen liukuvan keskimääräisen työn. Haluamme ryhmitellä yhteen kaikki varastot, jotka on sovitettu lähellä olevia arvoja yhteen, jotta voimme soveltaa yksinkertaista liikkuvaa keskimääräistä toimintaa lajitelluista aikasarjoista. Haluamme lähettää jokaisen aikasarjan avainarvoparin, joka on merkitty varastosymbolilla, ryhmittelemään nämä arvot yhteen. Vähennysvaiheessa voimme suorittaa tietojenkäsittelyn, tässä yksinkertaisen liukuvan keskiarvon. Koska tiedot eivät todennäköisesti tule vähennyslaskuun lajitellussa järjestyksessä, ne täytyy lajitella tiedot ennen kuin voimme laskea yksinkertaisen liukuvan keskiarvon. Yleinen tapa lajitella tietoja on ladata data muistiin tietorakenteessa, kuten kasassa, aivan kuten tavallisessa java-ohjelmassa. Tässä tapauksessa hyvää käytä Javas-prioriteettiluokan luokittelemaan tiedot. Meidän on myös harkittava tulevan aikasarjatietojen käyttämän muistin määrää lajittelun aikana, koska tämä on rajoittava tekijä siitä, kuinka paljon tietoja voimme lajitella. Tässä mallissa meidän on ladattava kaikki aikasarjatiedot ennen kuin voimme aloittaa käsittelyn ja jos lajitellun tiedon määrä ylittää käytettävissä olevan kokoa, meillä on ongelma. Esimerkki tästä toteutuksesta isännöi githubissa: Jos haluat suorittaa tämän koodin omalla Hadoop-klusterilla, lataa CDH Clouderasta ja aseta pseudo-hajautettu klusteri 8211, joka on yksittäinen Hadoop-solmu. Pseudo-hajautettu tila on loistava tapa kokeilla koodia Hadoopilla. Seuraavaksi lataa ja kokoa liikkuva keski koodi jar. Voit ladata koodin suoraan githubista (MacOSX: n kuoressa, linuxissa olevan ssh-päätteen ikkunassa tai MINGW32 for win32: ssä) we8217ll käyttää komentoa: Ensimmäinen passimme on kunnollinen ratkaisu, mutta Java Virtual Machine (JVM) kasan koko ja meillä on aikaa itse manuaalisesti lajitella tiedot. Muutama suunnittelumuutos voi ratkaista molemmat ongelmat hyödyntämällä MapReducen ominaisuuksia. Ensinnäkin haluamme tarkastella tapausta lajitella tiedot muistissa jokaisella vähennysventtiilillä. Tällä hetkellä meidän on varmistettava, että emme koskaan lähetä enemmän tietoja yhdelle pelkistimelle kuin muistiin sopivat. Näin voimme tällä hetkellä hallita tätä on antaa jokaiselle pelkistimen lapsi JVM enemmän kasaan ja ja edelleen jakaa meidän aikasarjan tietoja karttaa vaiheessa. Tässä tapauksessa wed osio myös ajan, katkaisemalla tiedot pienempiä ikkunoita aikaa. Toisin kuin tietojen edelleen jakaminen, toinen lähestymistapa tähän kysymykseen on antaa Hadoop lajittelemaan tiedot meille, mitä kutsutaan MapReducen sekoitusvaiheeksi. Jos tieto saapuu vähennyslaitteeseen jo lajitellussa järjestyksessä, voimme pienentää muistin jalanjälkiä ja pienentää silmukoiden lukumäärää datan kautta tarkastelemalla vain seuraavia N näytteitä kullekin yksinkertaiselle liikkuvalle keskiarvolaskennalle. Tämä tuo meidät tämän artikkelin ratkaisevaan osaan, jota kutsutaan sekoittajaksi toissijaiseksi lajittelijaksi. Lajittelu on jotain, jonka voimme antaa Hadoopille tehdäksemme ja Hadoop on osoittautunut varsin hyvänä lajittelemalla suuria määriä dataa, voittaen Grey Sort-kilpailun vuonna 2008. Käyttämällä sekundaarisen lajittelun mekaanikkoa pystymme ratkaisemaan sekä kasaan että lajittelemaan asiat melko yksinkertaisesti ja tehokkaasti. Käyttääksemme sekundaarista lajittelua koodissamme, meidän on tehtävä avain luonnollisen avaimen ja luonnollisen arvon yhdistelmästä. Alla olevassa kuvassa on kaavio siitä, miten tämä näyttäisikin visuaalisesti. Kuva-1: Komposiitti-avaindiagrammi Komposiittinäppäin antaa Hadoopille tarvittavat tiedot sekoitusvaiheen aikana suorittaa lajitella paitsi 8220stock-symbolilla8221, myös aikaleimalla. Luokan, joka lajittelee nämä komposiittipainikkeet, kutsutaan avaimen vertailijaksi tai tässä 8220CompositeKeyComparator8221. Avaimen vertailuryhmän tulisi tilata komposiittisavain, joka on luonnollisen avaimen ja luonnollisen arvon yhdistelmä. Seuraavassa on esimerkki kuvasta 2, jossa toissijaisen lajittelun abstrakti versio suoritetaan kahden kokonaislukuisen komposiittinäppäimen avulla. Kuva-2: CompositeKeyComparator lajittelu Komposiittinäppäimet (avaimet ovat kokonaislukuja). Alla olevasta kuvasta 3 nähdään realistisempi esimerkki, jossa komposiittinäppäimellä vaihdetaan varastosymbolijono (K1) ja aikaleima (K2, joka näkyy päivämääränä, mutta koodissa on pitkä ms). Kaavio on lajitellut KV-parit sekä 8220K1: varastosymbolilla 8221 (luonnollinen avain) että 8220K2: aikaleimalla 8221 (toissijainen avain). Kuva 3: CompositeKeyComparator komposiittipainikkeilla. Komposiittiavain, joka on nyt merkitty merkkijono-symbolilla (K1) ja päivämäärällä (K2). Kun olemme järjestäneet tiedot yhdistelmäavaimesta, meidän on nyt jaettava tiedot vähennysvaiheeseen. Alla olevasta kuvasta 4 nähdään, miten edellä olevan kuvan 3 tiedot on jaettu NaturalKeyPartitioner-osioon. Kuva 4: Natural-avaimen jakaminen NaturalKeyPartitionerin kanssa. Kun olemme jakaneet tietomme, vähennyslasit voivat nyt aloittaa tiedostojen lataamisen ja aloittaa sulautumisvaiheensa. Alla olevassa kuvassa 5 nähdään, kuinka ryhmävertailijaa tai NaturalKeyGroupingComparatoria käytetään varmistamaan, että vähennys () - puhelu näkee vain kyseiselle komposiittitielle tarkoitetun loogisesti ryhmitellyn datan. Kuva 5: Vertailijan ryhmittely yhdistämällä osiointitiedostot. Komposiittisavun jakajan ja ryhmittelyvertailijan tulisi harkita vain luonnollista avainta jakamiseen ja ryhmittelyyn. Alla on lyhyt kuvaus Simple Moving Average - koodista, jota muutetaan sekundaarisen lajittelun käyttämiseksi ja joka isännöi githubia. Jos ymmärrät, luokkien nimet vastaavat tarkasti edellä mainittujen kaavioiden terminologiaa ja Tom Whites Hadoopissa: Lopullinen opas (luku 8 MapReduce - ominaisuudet), jotta koodin ymmärtäminen olisi helpompaa. NaturalKey 8211, mitä normaalisti käytät avaimen tai ryhmän operaattorina. Tässä tapauksessa Natural Key on ryhmä tai varastosymboli, koska meidän on ryhmiteltävä mahdollisesti lajittelemattomia varastotietoja ennen kuin voimme lajitella sen ja laskea yksinkertaisen liukuvan keskiarvon. Komposiittinäppäin 8211 Avain, joka on luonnollisen avaimen ja luonnollisen arvon yhdistelmä, jonka haluamme lajitella. 5 vastausta ldquo Yksinkertainen liikkuva keskiarvo, toissijainen lajittelu ja MapReduce (osa 3) rdquo Viileä temppu split jako-osion kanssa. Sikäli kuin voin kertoa, että tämä toimii hyvin, kunnes sarja tulee äärimmäisen pitkäksi (mielestäni 30 vuoden tick-tason tiedot) 8211 tuntuu, että jakaminen aika voi olla hyvin hankala. Tiedätkö jotain sisäänrakennetulla tavalla kuin 8220overlapping partitioner8221, joka voi levittää samoja tietoja useille osioille, joita olen kokeillut kartoittajilla, jotka kopioivat arvot useiden avainten välityksellä, mutta ihmettelen, onko perinteisempää tapaa tehdä tämä. Evan, sinä olet kuollut tieton kokoina yhdessä avainalueessa. Olin samaa asiaa työskennellessäni NERC: n openPDC-projektissa: Yksi anturi voisi olla kirjaimellisesti miljardeja pisteitä hyvin lyhyessä ajassa, joten prototyyppityöpaikoilla me näppäimme asioita yhteen päivään (3.600.000 ms). monimutkaista versiota olisin käyttänyt päällekkäisiä aikavälejä niin, että karttaaja saisi riittävät tiedot viereisistä avainalueista kattamaan yhden ikkunan pituuden. Joten nyt sanon, että olet oikealla tiellä kaksoiskappaleilla. Tiedän, että tämä ei liity liikkuviin keskiarvoihin, mutta kuinka tarkka oli PDC: ssä käytetyn SAX-aikasarjan sovittaminen, jonka toteutin jotain tällaista (paitsi MapReduce API 2: n käyttämistä) ja vähennys () - toiminnon silmukkaan milloin tahansa. Seuraava () - menetelmää kutsutaan Iteratorilla, saamme uuden arvon, mutta avain myös tapahtuu ihmeellisesti. Pikemminkin yhdistelmäavaimen osa, jota ei käytetty luonnollisena avauksena (tämän esimerkin aikaleima) muuttuu. Tämä oli varsin yllättävää. Miten tämä tapahtuu Post navigation Adopting Apache Hadoop liittovaltion hallituksessa