normalian blog

I will introduce about Microsoft Azure, ASP.NET or Java EE

Windows Azure

How to create Hive tables via Ambari on Microsoft Azure HDInsight

As you know, HDInsight is powerful service to analyze, manage and process BigData on Microsoft Azure. You can create Hadoop, Storm, Spark and other clusters pretty easily! In this article, I will introduce how to create Hive tables via Amb…

How to copy comma separated CSV files into Azure SQL Database with Azure Data Factory

This topic introduces how to copy CSV files data into SQL Database with Azure Data Factory. At first, install SSMS from Download SQL Server Management Studio (SSMS) . After setting up SSMS, follow below step to copy CSV files data into SQL…

Create joined query result from Nikkei and DJIA using Spark APIs with HDInsight

In previous topic, I have introduced how to use Hive tables with HDInsight in How to use Hive tables in HDInsight cluster with Nikkei and DJIA. I will introduce how to use Spark APIs with HDInsight in this topic. requirements You have to c…

How to use Hive tables in HDInsight cluster with Nikkei and DJIA

As you know, Nikkei Stock Average called Nikkei and Dow Jones Industrial Average called by DJIA are both famous stock market indexes. We can get daily data of them easily from below sites. DJIA https://fred.stlouisfed.org/series/DJIA Nikke…

Data copy from FTP server to SQL Data Lake using Azure Data Factory

This topic introduces how to setup data copy from your FTP server to your SQL Data Lake using Azure Data Factory. This is really simple example, but you need some tips to setup even this simple example. How to setup FTP server on Microsoft…

Get started with Apache Storm on HDInsight for your jar files

HDInsight provides you to create Apache Storm clusters easily. Please read reference articles in this post if you don't know overview of Apache Storm. Create Storm Cluster on HDInsight Follow https://docs.microsoft.com/en-us/azure/hdinsigh…

Azure Container Service overview of Kubernetes for Java applications

Here is a sample architecture ACS Kubernetes. People sometimes confuse components of Container Services, because there are so many components such like Java, Docker Windows, private registry, cluster and others. This architecture helps suc…

How to update your Java application in ACS Kubernetes

This post is continuation of . Please read the post before this one if you haven't read it. I will show you how to update your Java application in ACS kubernetes in this post. Update your Java application - Run this section at your Windows…

What should you do when you got "Error response from daemon ... [::1]:53: read udp [::1]:33230->[::1]:53: read: connection refused"?

When I tried to run "docker login" command, I got below error. Error response from daemon: Get https://xxxxxxxx.azurecr.io/v2/: dial tcp: lookup xxxxxxxx.azurecr.io on [::1]:53: read udp [::1]:33230->[::1]:53: read: connection refusedI'm n…

How to deploy your Java applications into Azure Container Service

As you know, Azure Container Service(ACS) has some orchestrators such like DC/OS, Swarm and Kubernetes. In this post, you can get below knowledge. What's requirement to use ACS for Java How to make Java application Docker images How to pus…

Cognitive Services の Emotion API を利用する

AI 熱が過熱している昨今、Microsoft は Cognitive Services の各 API リリース&ブラッシュアップし続けている。REST API を直接利用するサンプルは多いが、SDK を利用したサンプルが以外に少ないので自身の備忘録として記載する。プログラムの動作までには…

ARM 版の Application Gateway を PowerShell で作成する

今回はコマンドラインにて Application Gateway を作成する。Application Gateway をご存じでない方のために簡単に捕捉すると「機能が豊富なロードバランサ( Azure ロードバランサ比)」だ。よく使いたいといわれる Application Gateway の機能は以下だ。 c…

ASM 版の仮想マシンを ARM 版の仮想マシンに移行する

今回は掲題の通り Azure Service Management 版の仮想マシンを Azure Resource Manager 版の仮想マシンに移行する方法を紹介する。何を言っているのか分からない方もいると思うので、念のため以下でざっくりおさらいをする。 Azure Service Management(ASM…

Microsoft Azure の請求書をメールで取得する

先月末にクラウド課金の見落としを心配する各位に朗報となる機能が追加された。掲題通り請求書をメールで送付してくれる機能であり、Azure invoices emailed directly to your inbox によれば月次で請求書を設定したメールアドレスに送付してくれるとのこと…

Linux+Apache の認証で Azure Active Directory を利用する

年末からに引き続き、Microsoft テクノロジ on Linux の露払いを行いたいと思う。今回紹介したいのは掲題の通り、Azure Active Directory を Apache の認証に利用する方法だ。 Azure Active Directory は他クラウドと Microsoft Azure の明確な差別化機能で…

CentOS on Microsoft Azure で mdadm を利用した大容量領域の作成

はじめに Microsoft Azure の IaaS(仮想マシン)で RDB を構築したくなるケースが往々にして存在すると思うが、この際に課題となりやすいのが「仮想マシンのディスク一本あたり上限サイズが 1TB 」という点だ。昨今(というか一昔前でも)の RDB なら 1TB …

Azure Automation を利用して PowerShell DSC for Linux で Apache をセットアップする

今回も Linux と Microsoft Platform の露払いをしたいと思う。Desired State Configuration と呼ばれるコンセプトの実現技術として Linux では Puppet, Chef 等が存在するが、PowerShell DSC と呼ばれる技術も Linux 版に対応していることをご存じだろうか…

Linux 版 PowerShell を利用して ARM テンプレートをデプロイしてみる

最近の Microsoft がクロスプラットフォームに力を入れているのはよくご存じだと思う。ご存知の方も多いと思うが PowerShell on Linux and Open Source! で PowerShell on Linux もオープンソース化のうえ、Linux で利用できるようになったことが発表されて…

Azure AD ドメインサービスを利用して Windows も Linux もドメイン参加させてみる - その2 ~Windows と Linux マシンをドメインに参加させる~

はじめに 前回で Azure AD ドメインサービスを利用して Windows も Linux もドメイン参加させてみる - その1 ~まずはドメインサービスの有効化~ にてドメインサービスの有効化を記載したが、今回は実際に Windows Server と Linux サーバをドメインに参加…

Azure AD ドメインサービスを利用して Windows も Linux もドメイン参加させてみる - その1 ~まずはドメインサービスの有効化~

はじめに Azure Active Directory には様々な機能があるが、特に Azure Active Directory ドメイン サービス はクラウド上の PaaS としてドメインコントローラを利用できる便利な機能だ。現状(2016年12月現在)では以下の制約があるが、PoC 等で利用する場…

Azure AD へサービス プリンシパル認証をさせるための簡単な azure-cli 向けスクリプト

自分の備忘録となるが、Microsoft Azure のリソースを操作する場合は Azure リソース マネージャーでのサービス プリンシパルの認証 に記載されている内容を一通り租借をしなければならない。 既に PowerShell 版は Azure AD へサービス プリンシパル認証を…

Azure AD へサービス プリンシパル認証をさせるための簡単な PowerShell スクリプト

今回はほぼ自分の備忘録としての記載となるが、Azure ARM SDK 等のアプリケーションから Microsoft Azure のリソースを操作する場合は Azure リソース マネージャーでのサービス プリンシパルの認証 に記載されている内容を一通り租借をしなければならない。…

Application Insights を Java のコンソールアプリで利用する

Application Insights のドキュメントを確認すると Web アプリでの利用が多いが、実はコンソールアプリケーションでも利用可能なことをご存じだろうか? 今回は Java コンソールアプリで Application Insights で利用する方法を紹介する。すでに Github にて…

Azure Toolkit for Eclipse の2016/3/6 更新と Maven プロジェクトを WebApps にデプロイする方法

2016年3月7日に Azure Toolkit for Eclipse がリリースされた。主なインストール手順は Azure Toolkit for Eclipse のインストール に記載があるので詳細は不要だと認識してるが、同更新での主な追加機能は以下となる。 ① Java の Web アプリ( Tomcat or Je…

Microsoft Azure のリソースグループからテンプレートをエクスポートして環境をコピーする

Microsoft Azure がリソースグループと呼ばれる管理単位を利用し、仮想マシンや WebApps といったリソースをひとまとまりで管理することが可能になる。これにより、リソースの区切り単位が明確になった他、リソースグループ単位で一括で削除ができるために削…

Application Insights の collectd プラグインを利用して Linux のCPUやメモリの負荷状況を取得する

Application Insights が発表されてからかなりの時間が経過したが、実は Application Insights に collectd と連携してログ情報を取り扱う機能が追加されているのをご存じだろうか? Application Insights のライブラリはアプリケーション( war, ear の中身…

Microsoft Azure の Machine Learning を利用して日経平均株価を予測してみる~その①まずは作ってみる~

Microsoft Azure にて Machine Learning がリリースされてから大分経過したのはご存知の方も多いと思う。話題にあがることは多いので知識として知っている方は多いと思うが、実際に利用したことのあるかたは実は少ないのではないだろうか? 実際に手を動かす…

AppInsights の Java SDK を利用して CentOS の CPU 使用率、メモリ使用量、Process IO rate を確認する

前回までの記事で、Application Insights の Java 版 SDK を利用することで、Windows の場合に CPU 使用率、メモリ使用量、Process IO rate が取得できることが分かった。 Unix の場合はどうなのかと確認したところ、ApplicationInsights-Java/core/src/main…

AppInsights の Java SDK が出力するログを確認したい場合

Application Insights を利用する場合、設定ファイルが読み込まれたか?何か内部エラーが発生していないか等を詳細に確認したい場合がある。その際に利用できる InternalLogger について紹介する。 有効化する - コンソール出力編 以下のように ApplicationI…

クラウドサービスで Application Insights の Java SDK を利用する場合の TIPS

本ブログで何度も紹介させて頂いている Application Insights だが、クラウドサービスの利用時に AVAILBABLE MEMORY, PROCESS IO RATE, PROCESSOR TIME が以下の様に出力されない場合がある。 解決方法を先に言ってしまうと、クラウドサービスのスタートアッ…