UTALI

書き溜めておいた技術記事や旅行記のバックアップです。

Scala

TwitterはScalaを捨ててNode.jsに移ったそうです。

世界で最も大きなトラフィックを捌いているサービスの1つであるTwitterはそのバックエンドをScalaで独自開発したフレームワーク(Finagle)を採用していましたが、ここ数ヶ月の間にこれをNode.js(Express)に置き換えたそうです。

Scalaの開発環境 基本編 - SBT入門 - SBTのディレクトリ構成について

Scalaのプロジェクト管理ツール SBT のディレクトリ構成について解説します。 base/ build.sbt src/ main/ resources/ scala/ java/ test/ resources/ scala/ java/ lib/ project/ build.scala --- 以下は自動生成 --- target/ build.sbt SBTのプロジェクト…

Spark から MongoDB が使える? Mongo Sparkが面白い

github.com Scalaの分散処理フレームワークSparkからMongoDBが使えるという触れ込みのこのライブラリ Spark 1.6以上に対応しているそうです。 初期設定 SparkContextを作成する前にMongoConnectorの準備を完了する必要があります。 最低限必要な設定はmongod…

Scalaの開発環境 基本編 - SBT入門

sbtとは Scalaのプロジェクト管理ツールのこと、Simple Build Tool(シンプルなビルドツール)の略ですが、全然シンプルではありません。 sbtでできること パッケージの依存関係の自動構築・インストール、パッケージングを行う。単純にプロジェクトを起動する…

Apache Spark 入門 - ビックデータ解析のための分散処理フレームワーク - その実績も

Apache Sparkとは ビックデータ解析のための分散処理フレームワーク (adsbygoogle = window.adsbygoogle || []).push({}); 特徴 Hadoopなどと連携させてビックデータを解析することが得意 なぜSparkなのか? 有向非循環グラフを実行可能、複雑な処理を手軽に…

Scalaで'(java/lang/CharSequence.class)' is broken と出てしまった時の対処法

先日機械学習のスクリプトをScalaで動かしたときのことです。 $ java -jar example.jar example.scala このようなエラーが発生してしまいました。 error: error while loading CharSequence, class file '/Library/Java/JavaVirtualMachines/jdk1.8.0_102.jd…

ScalaのRPCフレームワーク - Finagle入門

元記事 FinagleはTwitterのRPCシステムです。このブログではその説明とコアデザインを説明していきたいとおもいます。FinagleのREADMEにはより詳しい詳細が書いてあります。Finagleはクライアントとサーバーの強固な関係を簡単に構築できるように設計されて…