Pythonの純粋仮想関数は引数の数適当に変えて実装してもOK

掲題の件、そういいうことです。 例えば適当に get() メソッドの引数を追加して実装しても from abc import ABCMeta, abstractmethod class Hoge(metaclass=ABCMeta): @abstractmethod def get(self): pass class Moge(Hoge): def get(self, x = None, y = N…

米国株式とUSDJPYの2020年1月1日からの相関構造

米国株式とUSDJPYの2020年1月1日からの相関構造 ドル円(USDJPY)が 0.6% で ダウ平均が2.8% くらいのリスク(標準偏差、日率) > 100*sd(df$`usdjpy=x`) [1] 0.6186612 > 100*sd(df$dji) [1] 2.842537 全体 library("dplyr") library("tidyr") library("str…

米国株式市場の2020年1月1日からの相関構造

R

米国株式市場の2020年1月1日からの相関構造 すげぇ強かった(おしまい) "^DJI" : ダウ平均 "^RUT": ラッセル指数 "^GSPC": S&P500 "^IXIC": ナスダック指数 再現用のCode library("dplyr") library("tidyr") library("stringr") library("tidyquant") libra…

特定の列だけ外して処理したい場合には . (dot) を名前に持つ列と lsを組み合わせると良い

R

株式会社ホクソエムの社長から教えていただいた。 いちいち dplyr::select なぞせんでもこうするだけで .y を除いた処理を実行できる。 > df <- data.frame( + x = 1:3, + .y = 2:4 + ) > df x .y 1 1 2 2 2 3 3 3 4 > ls(df) [1] "x"

dplyrでうっかり八兵衛にならないように !! を意識する

R

うっかりやっちまったのでメモっておく。 まず適当な data.frame() を定義する。 > df <- data.frame(x=sample(1:2, 10, replace=TRUE), y=sample(c("a", "b"), 10, replace = TRUE)) > df x y 1 2 a 2 2 b 3 2 b 4 2 b 5 1 b 6 1 a 7 2 b 8 1 b 9 1 b 10 2 …

set/list/dictあたりは内部で __str__ではなく __repr__ を呼んでいるっぽい

掲題の件、そういうことです。 __str__() だけ定義しておくと class Hoge(): def __init__(self, x): self._x = x def __str__(self): return "Hoge({})".format(self._x) ちゃんと出てくれない。 > x = {Hoge(1), Hoge(2)} > print(x) {<__main__.Hoge object at 0x109fb7880>, <__main__.Hoge object at 0x109fb78e0>} 一方、 __repr__</__main__.hoge></__main__.hoge>…

SBI証券の手数料プランはスタンダード/アクティブプランのどちらを選ぶべきか?

俺はSBI証券を使っているのだが、その手数料プラン(アクティブ or スタンダード)をどっちにするのかあまり真面目に考えてこなかったので、真面目に考えたい。 俺の俺による俺のためのデータサイエンスだ。 さて、国内株式の手数料を教えてくださいのページ…

データフレーム(data.frame)を一行ずつ処理したい

R

ナウく書きたい。 rmap でもいいけど、以下のように purrr::pmap() が良さげ。 > head(iris, 3) %>% + purrr::pmap_dfr(function(...) { + df_row <- tibble(...) + print(df_row) + df_row + }) # A tibble: 1 x 5 Sepal.Length Sepal.Width Petal.Length P…

Noneと''を除去したい

filterにNone食わせれば良いみたい >>> x = ['', None, 'Hoge', 'Hage'] >>> list(filter(None, x)) ['Hoge', 'Hage']

乱れた列を揃えたい(主にSQL用途)

create table hoge ( hoge string hageeeeeeeeeeee int moge string ) を create table hoge ( hoge string hageeeeeeeeeeee int moge string ) のように揃えたいときは、↑を一旦適当なファイルに突っ込んでおいて、column するといい $ column -t -s $' ' <filename></filename>

ggplot2の軸とかに数式を使いたい

expression 使えばよろし。 library("mmetrics") df <- gsummarise(iris, Species, metrics = define(y=sum(Petal.Width))) ggplot(df, aes(x = Species, y = y)) + geom_bar(position = "dodge", color="black", stat="identity") + labs(x = expression(al…

特異値分解の検算

R

すぐ忘れる。 svd関数の戻り値をxとして x$u %*% diag(x$d) %*% t(x$v) で元通り。 > b <- array(rnorm(10), dim=c(5,2)) > b [,1] [,2] [1,] -0.5036082 -1.218417405 [2,] -0.7905285 1.331412278 [3,] 0.8311744 -0.147847237 [4,] -0.8628976 0.68170753…

ある関数のデフォルト引数がある引数のみを、そのデフォルト引数とともに抜く

例えばここにこんな関数があったとする。 f <- function(x, y = 100, args = list()){ y } そしてこの関数のデフォルト引数がある引数のみを、そのデフォルト引数とともに抜きたいと思うことがある、俺にはある。 こういう処理をしてくれる関数 get_default_…

各大グループにおいて、各小グループの値がどの程度の割合を占めているのかを出す

R

昔、 r-wakalangで教えてもらったがメモってなかった話なのでメモっておく。 こういうデータ df があった時に > df <- data.frame( + big_group=rep(letters[1:2], 30), + small_group=rep(1:3, 10), + value=runif(30) + ) > head(df, 10) big_group small_…

データ増やした時の標準誤差の減り具合

掲題の件、これはふつー「1/√データ数」ですが、適当にデータとして0だけ突っ込んでいったらどうなるんじゃいと思ってやってみたら大体似たようなもんだった。 理論的な話はあとで考える。 > size_unit <- 10^3 > x <- c() > y <- c() > for (i in 0:9){ + …

各Bin・Cellに同じ数だけデータが入っているHistgramを作る

R

調べた感じ引数ではやれなそうだったので、やむなく quantile 関数で対応することにした。 > x <- rnorm(1000) > tmp <- hist(x, breaks=quantile(x, c(0, 0.2, 0.4, 0.6, 0.8, 1))) > tmp $breaks 0% 20% 40% 60% 80% 100% -3.4892322 -0.9159784 -0.265114…

PythonのRequestsライブラリのデフォルトの証明書のパス

ここで requests/utils.py at c501ec986daa4961cd9dee370b5d45ff2e524b37 · requests/requests · GitHub 設定されてて、こいつは調べると requests/certs.py at c501ec986daa4961cd9dee370b5d45ff2e524b37 · requests/requests · GitHub にあるように certif…

Spark DataFrameに新しい列を追加する

下記のようにUDF使うか, mapでDataFrameごと新しくするか、なのか? import spark.implicits._ import org.apache.spark.sql.functions._ // Example data val df = Seq( (1, 2), (3, 4), (5, 6) ).toDF("x", "y") // Define function val hoge = udf({(x: I…

sum_{i=1}^{N}(標準正規分布×標準正規分布) = 標準正規分布×自由度Nのカイ分布

なんでこうなるかの数式の証明はまだ読み切れてないんだが、とりあえずコード書いて検算したのとLINKのメモ。確かにヒストグラムがほぼほぼ重なる… #自由度とサンプルサイズ df <- 10 size <- 10^4 # 標準正規分布×自由度dfのカイ分布(カイ二乗分布に従う乱…

rlangと戯れて気が付いたこやつとの私的正しい付き合い方

掲題の件、Tidy Evalというかrlangパッケージを、下記の記事をはじめいろいろ使いこなそうと試行錯誤してきた。 いい加減、俺なりの楽なやり方が見つかったのでまとめておく。 eval(parse(text=...))をモダンに書きたい - My Life as a Mock Quant 全ての引…

”関数の引数になってる変数名を取得する”を新旧の書き方で書く

前も書いた気がするんだが一応。 rlangのほうがモダンなやつ > f1 <- function(x){rlang::expr_text(rlang::enexpr(x))} > f2 <- function(x){deparse(substitute(x))} > a <- 123 > f1(a) [1] "a" > f2(a) [1] "a"

パッケージ開発中に依存パッケージインストールするにはdevtools::install_deps()

とりあえず開発してるPackageをRStudioあたりで開いておいて、以下を叩けばOKだって。 devtools::install_deps(dependencies = TRUE) なるほどね~ - https://www.rdocumentation.org/packages/devtools/versions/1.13.6/topics/install_deps

DataExplorer packageでデータを大雑把に把握する

R

「データを大雑把にとらえるために何も考えずにこれに突っ込む」みたいな感じで使えてよい。 あと、BLOG移転したい。(パッケージは別途インストール済として)たった↓だけのコードで library("DataExplorer") create_report(iris) こういう結果がでる。repo…

あれば環境変数からとる、なければGlobal環境からとる

R

掲題の件がやりたいので、こんな関数をかいた。 get_from_env_or_global_env <- function(x){ if(Sys.getenv(x) != ""){ Sys.getenv(x) } else if(exists(x)){ eval(parse(text = x), envir=.GlobalEnv) } } #環境変数からとる > get_from_env_or_global_env…

bitFlyer LightningのAPI経由でRからBitcoinを買う

R

すっかり放置していたbitFlyer LightningのAPIをRから使う - My Life as a Mock Quantの続き。 POST系のメソッドをやろうとして昔失敗して放置していたのだが、なんか今日やったらうまくいった。 こんなんでRからBitcoinを指値で発注できます(そして2018年6…

ワンライナー(1行)でYAMLを捌いてpretty print

こんなん python -c 'import yaml,sys;print(yaml.dump(yaml.load(sys.stdin)))' < hoge.yml

Batch処理用のCodeの書き方

適当な.jlファイル(hoge.jl)に対して cd("path-to-source-code") push!(LOAD_PATH, pwd()) workspace() ... great code... と三行程度のおまじないを書いたうえで、 julia> include("path-to-souce-code/hoge.jl")するのが楽そうか。 workspace()はなんかモ…

N個の独立な一様乱数(-1, 1)の和の標準偏差は1/3√N

手計算で確認&ボケ防止にRでチェック。 sizes <- 2**(1:15) y <- numeric(length(sizes)) for(i in seq_along(sizes)){ x <- numeric(10**3) for(j in seq_len(10**3)){ x[j] <- sum(runif(sizes[i], min=-1, max=1)) } y[i] <- sd(x) } plot(sizes, y) lin…

glue::glue()をちょっと便利に使う

R

glueパッケージのglue()は、いわばPythonでいう .format() を使えるようにするパッケージなわけで、以下のようにテンプレートの文字列 (ここでは"a is {a}" )を、その”傍にある”*1 変数で勝手に埋めてくれるので便利に使えるわけです。 > a <- 123 > glue::g…

Juliaでlogsumexp

何も考えずにできた。 function logsumexp(x) xmax = maximum(x) xmax + log(sum(exp(x - xmax))) end > x = [1,2,3,10] > log(sum(exp(x))) > logsumexp(x) > 10.001369815771387 Syntaxハイライトが効かないので、そろそろBLOG引越しの機運か。