サイズ変更をできなくする
  ┌───────────────┬─────────────────────┐
  │FormBorderStyle               │FixedSingle                               │
  └───────────────┴─────────────────────┘

  最大化けるボタンを無効にする
  ┌───────────────┬─────────────────────┐
  │MaximizeBox                   │False                                     │
  └───────────────┴─────────────────────┘

エラーメッセージ「式が必要です」の原因。

シングルクォーテーションで文字列を囲っていない？
Web系(PHPやjQuery)と混同してやってしまいがちなミス。

EXEを二回実行した場合、別々にアプリが起動しないようにする設定。
これを行うと、二回目の実行時に、既に起動済みのフレームにフォーカスがあたるだけで
起動を抑止してくれる。

「My Project／アプリケーションフレームワーク」の設定で
「■単一インスタンスのアプリケーションを作成する」にチェックを入れる。

エントリポイントに何かを仕込みたくて、自前でエントリポイントを作る場合。

まず、「My Project／アプリケーション」にて
既定では有効になっている「アプリケーションフレームワーク」を無効にする。

この時点で、自動生成されるソース(My Project/Application.Designer.vb)の記述が
放棄され、エントリポイント(Main())を自前で定義できるようになる。
＃上記に直接何かを書き込んでもよいが、自動生成されるソースなので
  いつ何時上書されて破棄されるか保証がないようなものだ

そして、自前で以下のようなモジュール処理を追加してあげればよい。
┌──────────────────────────────────────┐
│Module Program                                                              │
│    <STAThread()> _                                                         │
│    Sub Main()                                                              │
│        Application.Run(New Formスタートアップ())                           │
│    End Sub                                                                 │
│End Module                                                                  │
└──────────────────────────────────────┘
最低限、「スタートアップフォーム」は自前で起動するようにしてあげた形。

それ以外にも初期処理が必要なのであろが(終了処理も)、
「アプリケーションフレームワーク」でいろいろやってくれているので
これを補完するとなると中々難しい(というかこれ以上は把握できていない)。

結論からいうと、「アプリケーションフレームワーク」は無効にしない方が無難だ。

デバッグ時だけDBの接続先を評価環境にしたい場合。

まず、以下のような部分クラスを用意し、接続文字列を書き換えられるようにする。
┌──────────────────────────────────────┐
│Namespace My                                                                │
│    Partial Friend NotInheritable Class MySettings                          │
│        Friend Sub SetConnectionString(ByVal 接続文字列 As String)          │
│            Me("■■DBConnectionString") = 接続文字列                       │
│        End Sub                                                             │
│    End Class                                                               │
│End Namespace                                                               │
└──────────────────────────────────────┘

そして、適宜それを呼ぶ。
┌──────────────────────────────────────┐
│#If DEBUG Then                                                              │
│    My.Settings.SetConnectionString("Data Source=…(略)")                   │
│#End If                                                                     │
└──────────────────────────────────────┘
設定する内容については、「SetConnectionString」あたりでソースをgrepしてみて
既定の設定方法を探しそれを参考にし、一部を書き換えてあげる感じとなる。

さて、上記をどこに置けばよいかが問題となる。
開始処理に置くのが望ましいので、エントリポイント(Main())が最適だ。
ただ、「アプリケーションフレームワーク」が有効な場合(*1)、
そこは自動生成されるソース(My Project/Application.Designer.vb)の
中となってしまう。

さすがにそこに記述できない(記述はできるが上書される恐れあり)ということで代替案。

この場合、「スタートアップフォーム」に設定されたフォーム(*1)が
まず最初に起動される訳なので、
そこのコンストラクタ(New())に記述してしまえば間違いないだろう。
┌──────────────────────────────────────┐
│Public Class Formスタートアップ                                             │
│    Sub New()                                                               │
│        ' この呼び出しはデザイナーで必要です。                              │
│        InitializeComponent()                                               │
│        ' InitializeComponent() 呼び出しの後で初期化を追加します。          │
│#If DEBUG Then                                                              │
│        My.Settings.SetConnectionString("Data Source=…(略)")               │
│#End If                                                                     │
└──────────────────────────────────────┘

起動からの処理の流れ。
┌──────────────────────────────────────┐
│エントリポイント(Main())  ←★ここに置くか                                  │
│↓                                                                          │
│スタートアップフォーム                                                      │
││コンストラクタ          ←★ここに置く                                    │
││↓                                                                        │
└──────────────────────────────────────┘

*1：いずれも「My Project／アプリケーション」にて設定

通常のボタンを画像ボタンに変更する方法。

  まず、画像ファイルをインポートする。
  ┌───────────────┬────────────────────┐
  │Image                         │(画像ファイルを選択)                    │
  └───────────────┴────────────────────┘
  →インポートされたファイルは別途記録されるようだ(インポート元はお役御免)

  次に元のボタンを目立たなくする。
  ┌───────────────┬────────────────────┐
  │FlatStyle                     │Flat                                    │
  ├───────────────┼────────────────────┤
  │FlatAppearance                │                                        │
  │┌───────────────┬───────────────────┤
  ││BorderColor                   │Control(背景と同色)                   │
  │├───────────────┼───────────────────┤
  ││BorderSize                    │0(なし)                               │
  └┴───────────────┴───────────────────┘

  それとボタンをクリックした時に線が出てくるのを防止する。
  ┌───────────────┬────────────────────┐
  │FlatAppearance                │                                        │
  │┌───────────────┬───────────────────┤
  ││MouseDownBackColor            │Control(背景と同色)                   │
  │├───────────────┼───────────────────┤
  ││MouseOverBackColor            │Control(背景と同色)                   │
  └┴───────────────┴───────────────────┘

  おまけに、カーソルを指にしてあげればWeb画面のボタンっぽくなるだろう。
  ┌───────────────┬────────────────────┐
  │Cursor                        │Hand                                    │
  └───────────────┴────────────────────┘

「My.Application.Info.Version.ToString」で取得できる。

設定の方法は以下の通り。

「MyProject／アプリケーション」で「アセンブリ情報」ボタンを押下し
(「アセンブリバージョン」と)「ファイルバージョン」を変更し、「OK」ボタン押下。
後はリビルドすればOK。

ソリューションエクスプローラで「すべてのファイルを表示」で
「Settings.settings」を表示させダブルクリック。
型は「(接続文字列)」型ということになる。

接続先DBを変更したかったのだが、
VisualStudioから変更ができなさそうなので
該当箇所(接続先情報)をgrepして置換したらうまく変更できた。

アイコンがまず必要だが、Windows上のアイコン(*1)とは違い、
専用のアイコンデータが必要だ。
  *1：サイズ32×32のBMP画像を拡張子「.ico」にしたもの

ということで、変換ツール等を使ってアイコンファイルを作成する。(拡張子は「.ico」)

そうしたら、「My Project／アプリケーション」にて
「アイコン」にそれを設定すれば完了。exeファイルのアイコンがそれになる。

また、各フォームのアイコンを設定するには、フォームのプロパティにて
「Icon」にそれを設定すればよい。