#  Загрузка необходимых библиотек Python


import numpy as np
import pandas as pd


import pandas_datareader as pdr

import yfinance as yf


import matplotlib.pyplot as plt
from matplotlib import pyplot

import mplcyberpunk


from pandas.plotting import scatter_matrix

import seaborn as sns

from sklearn import preprocessing

from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import Normalizer
from sklearn.preprocessing import normalize


#for ARIMA
from statsmodels.tsa.arima_model import ARIMA
from statsmodels.graphics.tsaplots import plot_acf
from statsmodels.graphics.tsaplots import plot_pacf

import statsmodels.api as sm


# Для разлож временного ряда на компаненты
import pandas_datareader.data as web
import statsmodels.tsa.api as tsa

from pylab import rcParams

import itertools

import warnings

from scipy.stats import pearsonr, spearmanr

# sktime

from sktime.registry import all_estimators

from sktime.forecasting.base import ForecastingHorizon
from sktime.forecasting.arima import ARIMA
from sktime.forecasting.arima import AutoARIMA
from sktime.forecasting.var import VAR
from sktime.forecasting.varmax import VARMAX
from sktime.forecasting.ets import AutoETS
from sktime.forecasting.fbprophet import Prophet
from sktime.forecasting.naive import NaiveForecaster
from sktime.forecasting.bats import BATS
from sktime.forecasting.tbats import TBATS
from sktime.forecasting.theta import ThetaForecaster

from sktime.forecasting.model_evaluation import evaluate
from sktime.forecasting.model_selection import ExpandingWindowSplitter
from sktime.forecasting.model_selection import temporal_train_test_split

from sktime.forecasting.model_selection import (
   ForecastingGridSearchCV,
   ExpandingWindowSplitter)
from sktime.forecasting.compose import MultiplexForecaster
from sktime.forecasting.naive import NaiveForecaster
from sktime.forecasting.theta import ThetaForecaster
from sktime.forecasting.model_evaluation import evaluate


from sktime.utils import plotting
from sktime.utils.plotting import plot_series

from sktime.performance_metrics.forecasting import mean_absolute_percentage_error
from sktime.performance_metrics.forecasting import MeanAbsolutePercentageError


import pandas_ta as ta

import datetime as dt


import prophet

# Сегодня

today = pd.Timestamp.now().normalize()
# today = pd.Timestamp.now().to_period('D')

today

# yfinance

start_date = dt.datetime(2015,1,1)
end_date =  dt.datetime(2024,8,20)
test = yf.download(tickers = "GOOGL", start = start_date, end = end_date)

test

### array(['^IXIC', '^GSPC', 'ZC=F', 'HG=F', 'ALI=F', 'NG=F', 'PL=F', 'SI=F','GC=F', 'BZ=F', 'MTF=F'], dtype=object)

tickers = ['^IXIC', '^GSPC', 'ZC=F', 'HG=F', 'ALI=F', 'NG=F', 'PL=F', 'SI=F','GC=F', 'BZ=F', 'MTF=F']

df0 = pd.DataFrame()


for tic in tickers:
    df_temp = yf.download(tic, start=start_date)
    df_temp['Ticker'] = tic 
    df0 = pd.concat([df_temp, df0])

# Посмотреть:
df0

# Все тикеры:
df0['Ticker'].unique()

# переименование тикеров в норм значения по заданному словарю

dic = {'MTF=F': 'coal', 'BZ=F': 'brent', 'GC=F': 'gold', 'SI=F': 'silver', 'PL=F': 'platinum', 'NG=F': 'gaz',
        'ALI=F': 'aluminum', 'HG=F': 'cupper', 'ZC=F': 'corn', '^GSPC': 'SP', '^IXIC': 'NASDAQ'}

df0['Ticker'] = df0['Ticker'].replace(dic)

df0

# беру только столбец с ценой закрытия и сам тикер

df01 = df0[['Close', 'Ticker']]

df01

# Посмотреть. Сводная табл

df02 = pd.pivot_table(df01, index=df01.index, values=['Close'] , columns=['Ticker'])

df02

# убираю мильтиндекс из сводн табл
df02 = df02['Close']

df02

# Посмотреть
df02.info()

# создаю переменную с названием столбцов
col = df02.columns

col

# df только по углю
coal = df02[['coal']].copy()
coal

# coal.info()
coal.index

# удаляю Nan 
coal.dropna(how='any', inplace=True)

coal

# график за ближайшие дни
fig = plt.figure(figsize=(12, 4))

plt.grid(2)
plt.title('Стоимость тонны угля в $ за предыдущие дни')
plt.plot(coal['coal']['2023-05-01':])
# plt.plot(coal)


plt.xlabel("Период", fontsize = 10)
plt.ylabel("$", fontsize = 10)


plt.show()

# скользящие средние разных периодов 

coal_rol180 = coal.rolling(180).mean()
coal_rol90 = coal.rolling(90).mean()
coal_rol30 = coal.rolling(30).mean()

# график скользящих средних

fig, ax = plt.subplots(figsize = (12,4), dpi = 100)

# plt.figure(figsize=(12, 4))
plt.grid(1)
plt.plot(coal, label='Стоимость угля')
plt.plot(coal_rol180, label='Скользящая средняя 180 дней')
plt.plot(coal_rol90, label='Скользащая средняя 90 дней')
plt.plot(coal_rol30, label='Скользящая средняя 30 дней')
plt.title('Coal. Уголь в $ за тонну. Скользящие средние')

plt.xlabel("Период", fontsize = 10)
plt.ylabel("$", fontsize = 10)


plt.legend()
plt.show()

# Уголь в $. Полосы Боллинджера с заданной даты (за меньший период времени)

n = 30
date = '2021-01-01'

coal_d = coal[date:]
coal_ma = coal_d.rolling(window=n).mean()
coal_sd = coal_d.rolling(window=n).std()

coal_line1 = coal_ma + (2 * coal_sd)
coal_line2 = coal_ma - (2 * coal_sd)

# График
plt.figure(figsize=(12, 4))
plt.grid(1)
plt.plot(coal_d, label='Биржевая котировка')
plt.plot(coal_line1, label='Верхняя полоса')
plt.plot(coal_line2, label='Нижняя полоса')
plt.title(f'Coal. Уголь в $ за тонну. Полосы Боллинджера c {date} по {n}-дневному периоду')

plt.xlabel("Период", fontsize = 10)
plt.ylabel("$", fontsize = 10)

plt.legend()
plt.show()

# На графике полос Боллинджера смотрим на ... дописать

# привожу к месячным значениям
coal2 = coal.resample("M").mean().squeeze().dropna()
coal2

# декомпозиция временного ряда стоимости угля:

components = tsa.seasonal_decompose(coal2, model='additive')

ts = (coal2.to_frame('Original')
.assign(Trend=components.trend)
.assign(Seasonality=components.seasonal)
.assign(Residual=components.resid))

ts.plot(subplots=True, figsize=(14, 8));