はじめに

個人開発で「SalesCast」という無料の売上予測ツールを作っています。会員登録なし、コピペで使える、というシンプルさだけを売りにしてきたのですが、ふと思ったんです。

「精度の指標が足りて無い‼️」と。

感覚では「そこそこ当たってる」と思っていても、それを裏付ける数字を出したことは一度もありませんでした。なんとなく良さそうな雰囲気で無料ツールを使ってもらうのは、正直フェアじゃない気がしました。

そこで、実際の店舗の売上データを使って、SalesCastの予測精度を徹底的に検証してみることにしました。しかも、自分に都合の良い条件を選ばないように、かなり厳しめのルールを自分に課して。

SalesCastって何?

売上データを入れるだけで、将来の売上を予測してくれるWebツールです。登録不要、無料、その場で使えることだけにこだわって作りました。

https://salescast.mecharic.com/

どうやって検証したか

一番気をつけたのは自分に都合の良い比較にしないことです。具体的には:

本物の店舗データを使う:国内店舗の実売上(1,521日分)と、海外の小売チェーンが公開している実店舗データ(12店舗)の、両方の実データで検証しました。

同じ土俵で比較する:SalesCastだけがカレンダー情報(曜日・祝日)を知っていて、比較対象のARIMAやETSといった手法がそれを知らない、という不公平な比較にならないよう、情報量をそろえた上で2パターンの比較を行いました。

強い相手とも比較する:ARIMA・ETSのような古典的な統計手法、LightGBM・XGBoostのような機械学習、さらにAmazonが公開している時系列専用のAIモデルChronosや、Metaが公開しているProphetとも比較しました。

統計的に「誤差の範囲内」かどうかを厳密にチェックする:比較するモデルが多いと、偶然「勝った」ように見えてしまうことがあります。それを防ぐための統計処理(多重比較補正)もちゃんとかけました。

＃ 結果

画像参照お願いします 数値が小さい方が、誤差が少なく優秀です

正直に言うと期待以上の結果となりました

まず普段の時期は互角でした。ARIMAやETSといった昔からある手法とほとんど差がつきません。

差がついたのは急な変化が起きたときです。大型連休明けの反動減や、年末年始の急激な売上変動といった場面で、SalesCastは他の手法よりも誤差の広がりを抑えられていました。

詳細な検証レポートをこちらで公開しています。

https://salescast.mecharic.com/whitepaper

やってみて思ったこと

正直ここまで検証するつもりはありませんでした。最初は「軽く数字を出せればいいか」くらいの気持ちだったんですが、調べれば調べるほど「これって本当にフェアな比較か?」という疑問が次々出てきて、気づいたら何度も検証をやり直していました。

個人開発だとこういう地味な検証作業はつい後回しにしがちだと思います。でも無料でも使ってもらう以上は「なんとなく精度が良さそう」で終わらせずに、ちゃんと裏付けを示すことは大事にしたいですね

おわりに

SalesCastは今も無料で使えます。もし売上予測に興味があれば、一度試してみてもらえると嬉しいです。

https://salescast.mecharic.com/

検証の詳細はこちらから見られます。

https://salescast.mecharic.com/whitepaper

普段はXに居ます‼️改善要望などはこちらにお寄せください‼️

https://x.com/Mecharic_?s=11