Исторические данные по дельте

[ihaar]

в кабинете есть возможность скачать данные за 2012-2013 годы в текстовом формате, но за 14 год данных нет.
возможно данные не пользуются необходимым спросом, чтобы авторы ресурса имели мотивацию заниматься обновлениями
поэтому те, кому интересны и нужны эти данные, просьба откликнуться.

заранее благодарен

[deniss]

Исторические данные готовы:

В наличии 2012, 2013, 2014, 2015 и 2016 годы. 2016 год обновляется ежедневно во время межсессионного перерыва.

История по валютным фьючерсам: http://my.clusterdelta.com/files
История по индексам/металлам/энергоносителям/прочее: http://my.clusterdelta.com/files2

[ihaar]

спасибо.
два вопроса:
1. с какой частотой обновления и в какое время (интересуют дневки)?
2. будут ли доступны перманентные ссылки на файлы после приобретения подписки (для загрузки через планировщик)?

пс. промо файл не хочет распаковываться, комп ругается на битый архив

[deniss]

спасибо.
два вопроса:
1. с какой частотой обновления и в какое время (интересуют дневки)?
2. будут ли доступны перманентные ссылки на файлы после приобретения подписки (для загрузки через планировщик)?

пс. промо файл не хочет распаковываться, комп ругается на битый архив

1. Планировщик ежедневно запускает скрипт в 00:15 по Киеву (гмт +2)
2. примерно в том же виде, что и сейчас установлен на промо - то есть да, будут

у меня winrar 5.10 - на архив не ругается

[ihaar]

файлы качественные, спору нет. спасибо за проделанную работу.
единственное, ссылки на файлы неудобные, ничем кроме браузера не скачать. т.е. автоматизации скачивания планировщиком никак не поддаётся..
а нельзя ли какую-то ссылку попроще, прямее что ли?

[deniss]

файлы качественные, спору нет. спасибо за проделанную работу.
единственное, ссылки на файлы неудобные, ничем кроме браузера не скачать. т.е. автоматизации скачивания планировщиком никак не поддаётся..
а нельзя ли какую-то ссылку попроще, прямее что ли?

А какой планировщик?

На самом деле все просто: http://my.clusterdelta.com/getfile?f=6E&y=2014&p=15

после f - название фьючерса
после y - год
после p - таймфрейм в минутах (в наличии 1,5,15,60,240 и 1440)

могу попробывать сделать ссылку в формате: __my.clusterdelta.com/getfile/6E/2016/5

[ihaar]

пробовал и winautomation и automate
насколько успел почитать, то /getfile? это web запрос и с планировщиками плохо дружит
с прямой ссылкой, как вы предлагаете, думаю проблем не должно быть

[Slypax]

А какой планировщик?

На самом деле все просто: http://my.clusterdelta.com/getfile?f=6E&y=2014&p=15

после f - название фьючерса
после y - год
после p - таймфрейм в минутах (в наличии 1,5,15,60,240 и 1440)

могу попробывать сделать ссылку в формате: __my.clusterdelta.com/getfile/6E/2016/5

Добрый День, Очень здорово что всё таки дождались исторических данных, спасибо вам за труды. Если судить по промоссылке то такая ссылка действительно не подходит, планировщик не качает её, я тоже пробовал, вместо файла качается страничка - HTML файл. Сделайте пожалуйста ссылку попроще ,что бы можно было автоматизировать, вроде в XXI веке уже живём, пока смысла оплачивать нет. Спасибо

[ashkasem]

ваще отлично) спасибо)))

[ANDRII_1]

Спасибо автору за отличную работу!

[ashkasem]

приобрел пакет, но понятия не имею как пользоваться, может кто подскажет)))

[Diman.Orlov]

Поддерживаю: подскажите куда файлик *.csv приспосабливать для отображения данных через МТ4?
кэш индикаторов clusterdelta без расширений хранится..

[deniss]

файлы качественные, спору нет. спасибо за проделанную работу.
единственное, ссылки на файлы неудобные, ничем кроме браузера не скачать. т.е. автоматизации скачивания планировщиком никак не поддаётся..
а нельзя ли какую-то ссылку попроще, прямее что ли?


пробовал и winautomation и automate
насколько успел почитать, то /getfile? это web запрос и с планировщиками плохо дружит
с прямой ссылкой, как вы предлагаете, думаю проблем не должно быть

Господа,

по валютам сделал прямые ссылки - проверьте. Если подойдут - сделаю и для не-валют.

[ihaar]

не помогло. но я понял в чём проблема: сервер не авторизует ничего кроме браузера
пробовал дедовский метод из-под линукса
wget --user *** --password *** http://my.clusterdelta.com/data/2016/6e_m1440_20160101_20161231.zip
и он мне под этим именем скачивает код странички на которой предлагается залогиниться


Доступ только для авторизированных пользователей

Для доступа к этой странице необходимо указать в форму слева ("Данные пользователя") свое учетное имя и пароль, под котором Вы зарегистрированы на форуме {http://forum.clusterdelta.com}

...

ну и т.д.

даже не представляю как решать проблему .. (
может wget нужно запускать ещё с какой-то дополнительной опцией помимо указания логина/пароля? может кто шарит и подскажет

[deniss]

не помогло. но я понял в чём проблема: сервер не авторизует ничего кроме браузера
пробовал дедовский метод из-под линукса
wget --user *** --password *** http://my.clusterdelta.com/data/2016/6e_m1440_20160101_20161231.zip
и он мне под этим именем скачивает код странички на которой предлагается залогиниться
ну и т.д.
даже не представляю как решать проблему .. (
может wget нужно запускать ещё с какой-то дополнительной опцией помимо указания логина/пароля? может кто шарит и подскажет

упс... хм... вообще-то да, система же проверяет наличие доступа к файлам, а вгет этого дать не может. Вообщем я суть понял до конца, сейчас придумаю что-то .

[Slypax]

Может проще было индивидуальную ссылку сделать,чем доступ проверять?Как например сделано в облачных сервиса.

[ihaar]

или например запустить простой фтп сервер на хосте. доступ разрешать на основе логинов и оплат

[ihaar]

Есть ли новости?
Две недели копаю в сторону wget или curl плюс cookies и безрезультатно.
Даёт авторизацию только браузером.
Вижу выход только фтп.
Но уже ждать нет сил, честно говоря. Как же туго всё продвигается.. (

[ihaar]

победил
можно качать линуксовым wgetом
в два приёма

1. с первым файлом сохраняем куки с авторизацией

wget --cookies=on --keep-session-cookies --save-cookies=cookie.txt --post-data 'login_account=***&login_password=***&site_authorization=1' http://my.clusterdelta.com/путь_к_файлу_1

2. со всеми последующими файлами уже обращаемся к сохранённому файлу куки

wget --referer=http://my.clusterdelta.com/ --cookies=on --load-cookies=cookie.txt --keep-session-cookies --save-cookies=cookie.txt http://my.clusterdelta.com/путь_к_файлу_2...N

для скачивания всего комплекта можно объединить все ссылки в скрипт и запускать по расписанию
может чего и лишнее в опциях, но вроде работает. если кто упростит буду благодарен. у мну уже терпения не хвататет )

[ihaar]

теперь следующие вопросы ) :

1. в данных за 2013 год присутствуют файлики _cluster_ (больше нигде нет) - это в таком виде планируется добавить кластерные данные? если да, то супер.
жаль, только что фрейм заканичается на 60м. нельзя ли добавить все? или хотя бы днёвки

2. нельзя ли в дневные данные добавить колонку открытого интереса? чтоб уж для полного счастья )

[Kwadim]

Как использовать исторические данные, на сайте не нашел

[prokoppolo]

Как использовать исторические данные, на сайте не нашел

насколько я понимаю, исторические данные нужны тем, кто хочет протестировать робота или свою методику на истории

[Ranc]

Как использовать исторические данные, на сайте не нашел

Вобщем, выглядит так: подгружаете исторические данные в терминал и гоняете роботов на истории. Подгружайте нужные ТФ. Будьте внимательны со сдвигом времени. Он может отличаться. Также обращайте внимание на качество, бывают дырки или глюки.

[Alexey-fx]

Подскажите, пожалуйста, а как эти данные подгрузить в терминал? По объему, по дельте?
Что бы можно было потом протестировать.
И можно ли как-то сдвиг времени установить?

[FXrider]

Покупал данные пару лет назад. Сейчас не могу скачать ни свежие, ни старые. Нужно за свежие еще раз платить?

[deniss]

Покупал данные пару лет назад. Сейчас не могу скачать ни свежие, ни старые. Нужно за свежие еще раз платить?

Добрый день,

да, каждый год подписка на исторические данные сбрасывается.

[ihaar]

накопились вопросы

1. В общем архиве для инструмента (единый зип за весь год) присутствуют только файлики по дельте, а кластерных нет. Можно ли добавить в этот общий зип их тоже? чтоб уж был полный набор.

2. Всё-таки может есть возможность добавить колонку открытого интереса в какие-небудь дневные данные. Насколько я понимаю, судя по качеству данных используется серьёзный датафид, а в нём всегда есть open interest на днёвках. Это было бы полное и безоговорочное счастье )

[deniss]

накопились вопросы

1. В общем архиве для инструмента (единый зип за весь год) присутствуют только файлики по дельте, а кластерных нет. Можно ли добавить в этот общий зип их тоже? чтоб уж был полный набор.

2. Всё-таки может есть возможность добавить колонку открытого интереса в какие-небудь дневные данные. Насколько я понимаю, судя по качеству данных используется серьёзный датафид, а в нём всегда есть open interest на днёвках. Это было бы полное и безоговорочное счастье )

1. Сами кластерные файлы очень тяжелые. Будет большой размер файла.
2. Я посмотрю, есть ли он на дневках - если есть, то подумаю как можно было бы включить.

[ihaar]

долго не понимал в чём дело, не совпадали данные по дельте
и увидел что есть проблема в дневных данных
на примере файла 6e_m1440_20160101_20161231.csv

8979

по две строки на одну дату по пн,вт,ср,чт . и данные разные в обоих строках

проверил 4х часовики. там тоже проблема, дублируются строки в 22:00
какая-то ошибка в генераторе файликов

[ihaar]

и в кластерных данных некоторые уровни дублируются.
тоже странно, полагал что должно быть так:
есть бар высотой например 5 пунктов, кластерные данные должны выглядеть как пять строк с данными по каждому уровню. как они могут дублироваться?
наверняка тоже ошибка..

[Slypax]

Ау есть кто живой???? Что с ошибкой в файлах, кто нибудь может прояснить ситуацию, будет кто нибудь исправлять или как?

[ihaar]

что-то перестали работать личные сообщения, не даёт ничего написать, в том числе админу, что бы пожаловаться на проблему с сообщениями ))
(в папке входящие всего 4 сообщения, так что дело точно не в лимитах)

Денис, пишу здесь:

на новом скрипте ошибка вернулась. и ещё усугубилась похоже. даты не только дублируются, но уже и прыгают

9229

[prokoppolo]

по поводу сообщений в личку и капчи это временная мера

http://forum.clusterdelta.com/showthread.php/2333-Подозрительная-активность

Ваш вопрос переслал Денису

[deniss]

что-то перестали работать личные сообщения, не даёт ничего написать, в том числе админу, что бы пожаловаться на проблему с сообщениями ))
(в папке входящие всего 4 сообщения, так что дело точно не в лимитах)

Денис, пишу здесь:

на новом скрипте ошибка вернулась. и ещё усугубилась похоже. даты не только дублируются, но уже и прыгают

Привет

Проблему вижу, даты начали резаться в три ночи. Подумаю над тем, чтобы собирать данные из часовиков

[АСТРОНОМ]

Здравствуйте! Купил сегодня историю по фьючерсам. Не могу подгрузить историю в мт4. Где нибудь описана данная процедура? В этой ветке задавали уже такой вопрос, но ответа таки на него нет.

[deniss]

Здравствуйте! Купил сегодня историю по фьючерсам. Не могу подгрузить историю в мт4. Где нибудь описана данная процедура? В этой ветке задавали уже такой вопрос, но ответа таки на него нет.

Ответ был неоднократно. История по фьючерсам в файлах CSV изначально не создавалась для ее подгрузки в МТ4.

Это для исторических тестов для программистов больше.

[АСТРОНОМ]

Об этом красными буквами надо писать изначально там, где предлагается купить историю.

[АСТРОНОМ]

Ответ был неоднократно. История по фьючерсам в файлах CSV изначально не создавалась для ее подгрузки в МТ4.

Это для исторических тестов для программистов больше.

Я думаю будет правильно вернуть деньги. Зачислить на баланс, чтоб хотя бы пакет Standart продлить. Или Вы считаете по другому?

[deniss]

Я думаю будет правильно вернуть деньги. Зачислить на баланс, чтоб хотя бы пакет Standart продлить. Или Вы считаете по другому?

Никаких проблем. Я верну 12 дол на баланс, а Вы уже примете решение как ими распорядиться.

[АСТРОНОМ]

Никаких проблем. Я верну 12 дол на баланс, а Вы уже примете решение как ими распорядиться.

Спасибо большое за понимание!
Советую все таки красными буквами написать , что история для мт4 не предназначена.

[Alex2Andr]

Исторические данные очень полезны и нужны.
Просто нужно уметь ими пользоваться.
Торговые стратегии прогоняются на истории. Это важно.

[Hina]

А откуда данные берутся, кто поставщик если не секрет? Просто они "немного" кривоваты, мягко выражаясь.
Пример 6e m5 02.02.2015 1:05, open - 1.1317, high - 1.1315 (ниже чем open). При этом в кластерных данных на это же время отсутствуют данные по цене 1.1317. Таких примеров по каждому инструменту и по разным фреймам тысячи. И это из очевидных моментов.
Был вопрос по подгрузке данных в mt 4. Так вот подогнать формат этих данных в формат для mt4 в экселе – дело пяти минут. Просто mt4 не читает кривые данные, половина свечек просто срезается. И повторюсь, что это из очевидного. А сколько ещё косяков таких, которые не вычислить. Смысл таких данных и для чего их анализировать если эти цифры случайны и не имеют отношения к реальным историческим данным?

[deniss]

А откуда данные берутся, кто поставщик если не секрет? Просто они "немного" кривоваты, мягко выражаясь.
Пример 6e m5 02.02.2015 1:05, open - 1.1317, high - 1.1315 (ниже чем open). При этом в кластерных данных на это же время отсутствуют данные по цене 1.1317. Таких примеров по каждому инструменту и по разным фреймам тысячи. И это из очевидных моментов.
Был вопрос по подгрузке данных в mt 4. Так вот подогнать формат этих данных в формат для mt4 в экселе – дело пяти минут. Просто mt4 не читает кривые данные, половина свечек просто срезается. И повторюсь, что это из очевидного. А сколько ещё косяков таких, которые не вычислить. Смысл таких данных и для чего их анализировать если эти цифры случайны и не имеют отношения к реальным историческим данным?

Спасибо за фидбэк, будет чем заняться. Данные состоят из минуток и скорей всего они просто неверно склеиваются.

[Hina]

Спасибо за фидбэк, будет чем заняться. Данные состоят из минуток и скорей всего они просто неверно склеиваются.

Если данные склеиваются из минутных, то по минутным примеры:
6e_m1, 02.02.2015, OPEN_TIME 01:32-01:34; 1:36-1:38 по каждой свечке за этот период Open>Hihg
6e_m1, 04.02.2015 с 13:33 до 14:29 цена Open=Close= 1,1442. При этом за весь этот период цена Low>Open
Прикрепляю файл эксель (https://yadi.sk/i/V2eWD1c93FHeF7), там видны ошибки в данных 6e m1 за февраль 2015 (High<Open, High<Close, Low>Open, Low>Close)

[deniss]

Если данные склеиваются из минутных, то по минутным примеры:
6e_m1, 02.02.2015, OPEN_TIME 01:32-01:34; 1:36-1:38 по каждой свечке за этот период Open>Hihg
6e_m1, 04.02.2015 с 13:33 до 14:29 цена Open=Close= 1,1442. При этом за весь этот период цена Low>Open
Прикрепляю файл эксель (https://yadi.sk/i/V2eWD1c93FHeF7), там видны ошибки в данных 6e m1 за февраль 2015 (High<Open, High<Close, Low>Open, Low>Close)

Увидел, спасибо

[ihaar]

так а что, проект умер? за 2017 данных не будет?

[ihaar]

и вот ещё мысли.

если данные полюбому клеятся из минуток, то может имеет смысл упростить работу, т.е. оставить только минутки? те, кому эти данные нужны, уверен, способны склеить нужный фрейм самостоятельно.

и наверное не обновлять весь архив добавляя новые данные, а реально выкладывать только данные за день. иначе архив к концу года и нагрузка на канал разрастётся неоправданно.
имхо самым оптимальным вижу организацию в виде папки фтп с добавлением туда файликов. и доступ через логин пароль.

по результатам прошлого года и попыток работы с этими данными могу сказать лично мне вполне было бы достаточно минуток имеющих следующие данные:
contract, date, time, open, high, low, close, ask volume, bid volume, upticks*, downticks*
(* вроде айкюфид эти данные тоже предлагает)
и расклад по уровням тоже достаточно минуток.

имхо

[Dmitry556677]

Прошу уважаемую публику ответить - Где и в какой программе я могу применить и, без танцев с бубном, импортировать данные исторические CSV-файлы. Нужно просто посмотреть на график с объемом.

[deniss]

Прошу уважаемую публику ответить - Где и в какой программе я могу применить и, без танцев с бубном, импортировать данные исторические CSV-файлы. Нужно просто посмотреть на график с объемом.

Microsoft Excel

[Dmitry556677]

Microsoft Excel

это да, понятно. Но хотел бы увидеть свечной график и объем.

[deniss]

это да, понятно. Но хотел бы увидеть свечной график и объем.

В экселе есть тип диаграммы "Chart", а объем можно подогнать... ну вообщем это как один из вариантов.